Lokaler Sprachassistent

Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).

Diese Anleitung baut aus drei Programmen dieses Buchs einen Sprachassistenten, der vollständig auf dem eigenen Rechner läuft. Man stellt eine Frage ins Mikrofon, whisper.cpp macht daraus Text, ein Sprachmodell in Ollama formuliert die Antwort und Piper liest sie vor. Keine Aufnahme und keine Frage verlässt den Rechner.

Vorbemerkungen

  • Ablauf: Aufnahme mit arecord → Spracherkennung mit whisper.cpp → Antwort von qwen3:4b-instruct in Ollama → Sprachausgabe mit Piper → Wiedergabe mit aplay. Ein kleines Python-Programm verbindet die Schritte.
  • Voraussetzung: Ein laufendes Ollama mit dem Modell qwen3:4b-instruct. Die übrigen Programme richtet diese Anleitung selbst ein. Wer die Anleitungen zu whisper.cpp und Piper schon durchgearbeitet hat, kennt die Schritte bereits.
  • Grafikkarte: Im Test auf einer GeForce GTX 1660 mit 6 GB passten das Whisper-Modell und das Sprachmodell gleichzeitig in den Grafikspeicher. Eine Frage samt Antwort dauerte rund vier Sekunden. Ohne Grafikkarte funktioniert alles auch, nur deutlich langsamer.
  • Ohne Mikrofon testen: Damit der erste Test unabhängig vom Mikrofon gelingt, spricht Piper zuerst zwei Testfragen in Dateien, die der Assistent dann beantwortet.
  • Kleine Modelle wissen wenig: Im Test hat der Assistent Kiel richtig als Landeshauptstadt genannt, aber eine falsche Einwohnerzahl (180 000 statt rund 250 000). Für Fakten ist ein Modell mit 4 Milliarden Parametern nicht verlässlich.
  • Version: Getestet mit whisper.cpp 1.8.3 aus Ubuntu 26.04, piper-tts 1.8.0, ollama (Python-Paket) 0.6 und Ollama 0.34.

Installation

1. Paketlisten aktualisieren

Damit apt die aktuellen Versionen kennt.

sudo apt update

2. whisper.cpp und Python-Umgebungen installieren

  • whisper.cpp – die Spracherkennung
  • libggml0-backend-vulkan – damit whisper.cpp auf der Grafikkarte rechnet. Ohne geeignete Grafikkarte kann es entfallen.
  • python3-venv – für die virtuelle Umgebung des Assistenten
sudo apt install whisper.cpp libggml0-backend-vulkan python3-venv

3. Projektordner anlegen

mkdir ~/assistent

4. In den Projektordner wechseln

Alle weiteren Befehle werden hier ausgeführt.

cd ~/assistent

5. Virtuelle Umgebung anlegen

python3 -m venv .venv

6. Virtuelle Umgebung aktivieren

Die Eingabezeile beginnt danach mit (.venv). In jedem neuen Terminal muss die Umgebung erneut aktiviert werden.

source .venv/bin/activate

7. Piper und den Ollama-Client installieren

  • piper-tts – die Sprachausgabe
  • ollama – die Python-Anbindung an den laufenden Ollama-Dienst
pip install piper-tts ollama

8. Deutsche Stimme herunterladen

python -m piper.download_voices de_DE-thorsten-high

9. Modell für die Spracherkennung herunterladen

curl -L -o ggml-large-v3-turbo-q5_0.bin https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-large-v3-turbo-q5_0.bin

Prüfen: Im Ordner liegen de_DE-thorsten-high.onnx, de_DE-thorsten-high.onnx.json und ggml-large-v3-turbo-q5_0.bin.

ls

Das Programm

10. Programm anlegen

nano assistent.py

Füge diesen Inhalt ein (Strg+Umschalt+V):

import subprocess
import sys
import wave

import ollama
from piper import PiperVoice

WHISPER_MODELL = "ggml-large-v3-turbo-q5_0.bin"
SPRACHMODELL = "qwen3:4b-instruct"
STIMME = PiperVoice.load("de_DE-thorsten-high.onnx")

# Bisheriges Gespräch, damit das Modell Rückfragen versteht
verlauf = [
    {
        "role": "system",
        "content": "Du bist ein freundlicher Sprachassistent. Antworte auf Deutsch in höchstens zwei kurzen Sätzen, "
        "ohne Aufzählungen, Emojis oder Formatierungen, denn deine Antwort wird vorgelesen.",
    }
]


def aufnehmen(datei, sekunden=5):
    """Nimmt über das Standardmikrofon auf."""
    print(f"Sprich jetzt ({sekunden} Sekunden) …")
    subprocess.run(["arecord", "-q", "-f", "S16_LE", "-r", "16000", "-c", "1", "-d", str(sekunden), datei], check=True)


def erkennen(datei):
    """Wandelt Sprache mit whisper.cpp in Text um."""
    ergebnis = subprocess.run(
        ["whisper-cli", "-m", WHISPER_MODELL, "-l", "de", "-nt", "-np", "-f", datei],
        capture_output=True, text=True, check=True,
    )
    return ergebnis.stdout.strip()


def antworten(frage):
    """Fragt das Sprachmodell in Ollama."""
    verlauf.append({"role": "user", "content": frage})
    antwort = ollama.chat(model=SPRACHMODELL, messages=verlauf).message.content
    verlauf.append({"role": "assistant", "content": antwort})
    return antwort


def sprechen(text, datei="antwort.wav"):
    """Spricht den Text mit Piper und spielt ihn ab."""
    with wave.open(datei, "wb") as wav:
        STIMME.synthesize_wav(text, wav)
    subprocess.run(["aplay", "-q", datei], check=True)


def runde(datei):
    frage = erkennen(datei)
    print("Du:", frage)
    antwort = antworten(frage)
    print("Assistent:", antwort)
    sprechen(antwort)


if len(sys.argv) > 1:
    # Fertige Audiodateien nacheinander beantworten
    for datei in sys.argv[1:]:
        runde(datei)
else:
    while input("Enter drücken zum Sprechen, q und Enter zum Beenden: ").strip().lower() != "q":
        aufnehmen("frage.wav")
        runde("frage.wav")
  • verlauf – die Liste aller bisherigen Fragen und Antworten. Sie geht bei jeder Frage mit an das Modell, deshalb versteht es Rückfragen wie „Und wie viele Einwohner hat sie?“. Die erste Nachricht mit der Rolle system legt fest, wie der Assistent antwortet. Kurze Sätze ohne Aufzählungen klingen beim Vorlesen natürlicher.
  • aufnehmen – nimmt fünf Sekunden im Format auf, mit dem Whisper intern arbeitet.
  • erkennen – ruft whisper-cli auf. -nt lässt die Zeitangaben weg, -np alle Meldungen außer dem erkannten Text.
  • antworten – schickt den Verlauf an Ollama und hängt die Antwort an.
  • sprechen – erzeugt mit Piper die Datei antwort.wav und spielt sie mit aplay ab.
  • Zwei Betriebsarten: Mit Dateinamen beim Aufruf beantwortet das Programm diese Aufnahmen. Ohne Dateinamen hört es nach jedem Enter fünf Sekunden zu.

Speichere mit Strg+O und Enter und beende nano mit Strg+X.

Test ohne Mikrofon

11. Erste Testfrage sprechen lassen

Piper spricht die Frage in die Datei frage1.wav.

echo "Wie heißt die Landeshauptstadt von Schleswig-Holstein?" | piper -m de_DE-thorsten-high.onnx -f frage1.wav

12. Zweite Testfrage sprechen lassen

Eine Rückfrage, die sich auf die erste bezieht.

echo "Und wie viele Einwohner hat sie ungefähr?" | piper -m de_DE-thorsten-high.onnx -f frage2.wav

13. Assistent mit den Testfragen starten

python assistent.py frage1.wav frage2.wav

Prüfen: Nach einigen Sekunden stehen im Terminal etwa diese Zeilen, und du hörst beide Antworten aus dem Lautsprecher:

Du: Wie heißt die Landeshauptstadt von Schleswig-Holstein?
Assistent: Die Landeshauptstadt von Schleswig-Holstein ist Kiel.
Du: Und wie viele Einwohner hat sie ungefähr?
Assistent: Kiel hat etwa 180.000 Einwohner.

Die Rückfrage wurde verstanden: „sie“ hat der Assistent auf Kiel bezogen. Die Zahl ist allerdings falsch, siehe Vorbemerkungen.

Mit dem Mikrofon sprechen

14. Assistent ohne Dateien starten

python assistent.py

15. Eine Frage stellen

Drücke Enter, warte auf Sprich jetzt (5 Sekunden) … und stelle deine Frage. Nach der Aufnahme zeigt das Programm, was es verstanden hat, und spricht die Antwort. Danach kannst du mit Enter die nächste Frage stellen oder mit q und Enter aufhören.

Prüfen: Hinter Du: steht deine Frage. Steht dort etwas, das du nicht gesagt hast, z. B. Untertitelung des ZDF, 2020, war die Aufnahme leer. Dann in den Einstellungen von Ubuntu das richtige Mikrofon als Eingabegerät wählen, siehe whisper.cpp.

Wie geht es weiter?

  • Eigenes Wissen: Statt allgemeiner Fragen kann der Assistent in eigenen Dokumenten nachschlagen. Dafür sucht man vor antworten mit Chroma passende Abschnitte und gibt sie in der Nachricht mit.
  • Werkzeuge: Mit tools=[…] bei ollama.chat kann das Modell Python-Funktionen aufrufen, etwa für die Uhrzeit oder einen Lagerbestand, wie in Vercel AI SDK oder Mastra gezeigt.
  • Länger zuhören: sekunden=5 in aufnehmen ändern oder whisper-stream aus whisper.cpp für fortlaufendes Mitschreiben verwenden.
  • Andere Stimme oder anderes Modell: STIMME und SPRACHMODELL oben im Programm anpassen.

Deinstallieren

1. Virtuelle Umgebung verlassen

deactivate

2. Projekt entfernen

Löscht den Projektordner samt virtueller Umgebung, Stimme, Whisper-Modell und Aufnahmen.

rm -rf ~/assistent

3. whisper.cpp entfernen (optional)

Nur ausführen, wenn du whisper.cpp nicht mehr brauchst. Wird libggml0-backend-vulkan noch von llama.cpp gebraucht, lass es im Befehl weg.

sudo apt purge whisper.cpp libggml0-backend-vulkan

4. Nicht mehr benötigte Abhängigkeiten entfernen

apt zeigt vorher die Liste an und fragt nach. Stehen dort Pakete, die du noch brauchst, mit n abbrechen.

sudo apt autoremove --purge

Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).

Open Knowledge (Freies Wissen): Alle Texte stehen unter der freien Lizenz Creative Commons Namensnennung – Weitergabe unter gleichen Bedingungen 4.0 International (CC BY-SA 4.0) und können frei gelesen, geteilt und weiterverarbeitet werden.

Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).

Open Knowledge (Freies Wissen): Alle Texte stehen unter der freien Lizenz Creative Commons Namensnennung – Weitergabe unter gleichen Bedingungen 4.0 International (CC BY-SA 4.0) und können frei gelesen, geteilt und weiterverarbeitet werden.

Autor: Thorsten · Installationsanleitungen für Ubuntu

Alle Anleitungen ohne Gewähr. Befehle mit sudo verändern das System – vorher lesen, dann ausführen.