Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).
AnythingLLM
Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).
AnythingLLM ist ein Desktop-Programm, in dem man mit Sprachmodellen chattet und ihnen eigene Dokumente zum Nachschlagen gibt (RAG). Es bringt Vektordatenbank, Dokumentenimport und Oberfläche in einer Anwendung mit. Mit Ollama als Modell bleibt dabei alles auf dem eigenen Rechner.
Teilweise getestet: Installation, AppArmor-Profil, Start und die Erkennung der Ollama-Modelle wurden unter Ubuntu 26.04 geprüft. Die Einrichtung und der Chat in der Oberfläche (ab Schritt 10) wurden nicht durchgeklickt.
Vorbemerkungen
- Voraussetzung: Ollama läuft und hat die Modelle
qwen3:4b-instructundnomic-embed-textgeladen. - Keine Installation über apt: Für Linux gibt es AnythingLLM Desktop nur als AppImage. Das ist eine einzelne Programmdatei, die ohne Installation läuft. Der Hersteller bietet auch ein Installationsskript an. Diese Anleitung macht dieselben Schritte von Hand, lässt aber das zusätzliche, eingebaute Ollama weg, weil Ollama schon als Dienst läuft.
- Version: Getestet mit AnythingLLM Desktop 1.16.2.
- AppArmor: Ubuntu erlaubt Programmen seit Version 24.04 bestimmte Sandbox-Funktionen nur mit einem passenden AppArmor-Profil. Ohne Profil bricht AnythingLLM beim Start ab mit
The SUID sandbox helper binary was found, but is not configured correctly. Schritt 6 legt das Profil an. - Ports: AnythingLLM startet im Hintergrund einen eigenen Server auf 127.0.0.1:3001 und einen Dokumentensammler auf 127.0.0.1:8888. Port 3001 verwendet auch Wiki.js in dieser Sammlung. Läuft Wiki.js, stoppe es vor dem Start von AnythingLLM mit
sudo systemctl stop wikijs. - Platz: Das AppImage ist etwa 900 MB groß.
Installation
1. Paketlisten aktualisieren
Damit apt die aktuellen Versionen der Hilfspakete aus dem nächsten Schritt kennt.
sudo apt update
2. FUSE-Bibliothek installieren
AppImages binden sich beim Start als eigenes kleines Dateisystem ein. Dafür braucht AnythingLLM die ältere FUSE-Bibliothek in Version 2, die Ubuntu nicht mehr standardmäßig installiert. Ohne sie bricht der Start ab mit error loading libfuse.so.2.
sudo apt install libfuse2t64 curl
3. Ordner für Programme anlegen
Ein eigener Ordner im Home-Verzeichnis hält selbst heruntergeladene Programme zusammen.
mkdir -p ~/Anwendungen
4. AppImage herunterladen
Lädt AnythingLLM Desktop 1.16.2 (etwa 900 MB). Die aktuelle Version steht auf https://github.com/Mintplex-Labs/anything-llm/releases. Der Dateiname muss AnythingLLMDesktop.AppImage lauten, weil das AppArmor-Profil in Schritt 6 genau diesen Namen erwartet.
curl -L -o ~/Anwendungen/AnythingLLMDesktop.AppImage https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.16.2/AnythingLLMDesktop.AppImage
5. AppImage ausführbar machen
Heruntergeladene Dateien sind unter Linux zunächst nicht ausführbar. chmod +x ändert das.
chmod +x ~/Anwendungen/AnythingLLMDesktop.AppImage
6. AppArmor-Profil anlegen
Legt ein Profil an, das AnythingLLM die Sandbox-Funktionen erlaubt. Es gilt für jede Datei namens AnythingLLMDesktop.AppImage, egal in welchem Ordner.
sudo nano /etc/apparmor.d/anythingllmdesktop
Füge diesen Inhalt ein (Strg+Umschalt+V), speichere mit Strg+O und Enter und beende nano mit Strg+X:
# AppArmor-Profil für AnythingLLM Desktop
abi <abi/4.0>,
include <tunables/global>
profile anythingllmdesktop /**/AnythingLLMDesktop.AppImage flags=(unconfined) {
userns,
}
profile anythingllmdesktop /**/AnythingLLMDesktop.AppImage– der Name des Profils und für welche Dateien es gilt./**/steht für einen beliebigen Ordner.flags=(unconfined)– das Programm wird sonst nicht eingeschränkt.userns,– erlaubt dem Programm, sogenannte User-Namespaces anzulegen. Die eingebaute Chromium-Sandbox braucht sie.
7. Profil laden
Lädt das neue Profil sofort, ohne Neustart.
sudo apparmor_parser -r /etc/apparmor.d/anythingllmdesktop
Prüfen: Das Profil erscheint in der Liste der geladenen Profile.
sudo aa-status | grep anythingllm
Starten
8. AnythingLLM starten
Startet das Programm. Beim ersten Start richtet es seinen Datenordner ~/.config/anythingllm-desktop ein, das dauert einige Sekunden.
~/Anwendungen/AnythingLLMDesktop.AppImage
Das Terminal bleibt belegt, solange AnythingLLM läuft, und zeigt laufend Meldungen. Beim Schließen des Fensters endet auch der Befehl.
9. Hintergrund-Server prüfen
Öffne ein zweites Terminal. Dieser Befehl fragt den eingebauten Server von AnythingLLM, ob er läuft.
curl -s http://127.0.0.1:3001/api/ping
Prüfen: Die Antwort lautet {"online":true}.
Einrichten (nicht getestet)
10. Ollama als Sprachmodell wählen
Beim ersten Start führt AnythingLLM durch eine Einrichtung. Wähle beim Sprachmodell (LLM Preference) den Anbieter Ollama. Als Adresse trägst du http://127.0.0.1:11434 ein, falls sie nicht schon da steht. Im Test fand AnythingLLM die Modelle von Ollama darüber selbst. Wähle qwen3:4b-instruct.
11. Ollama für Embeddings wählen
Unter Embedder wählst du ebenfalls Ollama und das Modell nomic-embed-text. Sonst nutzt AnythingLLM ein eingebautes, kleineres Embedding-Modell. Als Vektordatenbank bleibt die eingebaute LanceDB eingestellt. Sie braucht keine weitere Einrichtung.
12. Arbeitsbereich anlegen und Dokument hochladen
Lege einen Arbeitsbereich (Workspace) an, z. B. „Rösterei“. Über das Symbol zum Hochladen ziehst du eine Textdatei, ein PDF oder ein Word-Dokument hinein und fügst sie dem Arbeitsbereich hinzu (Move to Workspace, dann Save and Embed). AnythingLLM zerlegt das Dokument und speichert die Vektoren.
13. Frage stellen
Stelle im Arbeitsbereich eine Frage zum Inhalt des Dokuments. Unter der Antwort zeigt AnythingLLM die verwendeten Quellen. Als Übungsdokumente eignen sich die beiden Texte aus der Anleitung LlamaIndex.
Optional: Eintrag im Anwendungsmenü
14. Starter anlegen
Damit AnythingLLM im Anwendungsmenü von Ubuntu erscheint, braucht es eine Desktop-Datei. Das ~ wird darin nicht verstanden, deshalb steht dort der volle Pfad. Ersetze DEINNAME durch deinen Benutzernamen (Ausgabe von whoami).
nano ~/.local/share/applications/anythingllmdesktop.desktop
Füge diesen Inhalt ein, speichere und beende nano:
[Desktop Entry]
Type=Application
Name=AnythingLLM Desktop
Exec=/home/DEINNAME/Anwendungen/AnythingLLMDesktop.AppImage
Icon=/home/DEINNAME/.config/anythingllm-desktop/storage/icon.png
StartupWMClass=anythingllm-desktop
Categories=Utility;
Wo liegt was?
~/Anwendungen/AnythingLLMDesktop.AppImage– das Programm.~/.config/anythingllm-desktop/storage– Einstellungen, hochgeladene Dokumente, Vektordatenbank und Chats./etc/apparmor.d/anythingllmdesktop– das AppArmor-Profil.
Aktualisieren
1. AnythingLLM beenden
Schließe das Fenster von AnythingLLM.
2. Neue Version herunterladen
Überschreibt das AppImage mit der neuen Version. Ersetze v1.16.2 durch die aktuelle Versionsnummer. Einstellungen und Dokumente bleiben erhalten.
curl -L -o ~/Anwendungen/AnythingLLMDesktop.AppImage https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.16.2/AnythingLLMDesktop.AppImage
3. Wieder ausführbar machen
Die neue Datei ist wie beim ersten Download nicht ausführbar.
chmod +x ~/Anwendungen/AnythingLLMDesktop.AppImage
Deinstallieren
1. AnythingLLM beenden
Schließe das Fenster von AnythingLLM.
2. Programm löschen
Entfernt das AppImage.
rm ~/Anwendungen/AnythingLLMDesktop.AppImage
3. Daten löschen
Löscht Einstellungen, Dokumente, Vektoren und Chats. Achtung: Alles, was du in AnythingLLM gespeichert hast, geht verloren.
rm -rf ~/.config/anythingllm-desktop
4. Menüeintrag löschen (falls angelegt)
Entfernt die Desktop-Datei aus Schritt 14. -f verhindert eine Fehlermeldung, falls es sie nicht gibt.
rm -f ~/.local/share/applications/anythingllmdesktop.desktop
5. AppArmor-Profil entladen
Nimmt das Profil aus dem laufenden AppArmor heraus.
sudo apparmor_parser -R /etc/apparmor.d/anythingllmdesktop
6. AppArmor-Profil löschen
Entfernt die Datei aus Schritt 6.
sudo rm /etc/apparmor.d/anythingllmdesktop
7. FUSE-Bibliothek entfernen (optional)
Nur ausführen, wenn kein anderes AppImage sie braucht.
sudo apt purge libfuse2t64
Prüfen: Das Profil ist nicht mehr geladen, die Ausgabe ist leer.
sudo aa-status | grep anythingllm
Quellen und Lizenz
- Offizielle Dokumentation: https://github.com/Mintplex-Labs/anything-llm
- Lizenz: AnythingLLM steht unter der MIT.
Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).
Open Knowledge (Freies Wissen): Alle Texte stehen unter der freien Lizenz Creative Commons Namensnennung – Weitergabe unter gleichen Bedingungen 4.0 International (CC BY-SA 4.0) und können frei gelesen, geteilt und weiterverarbeitet werden.