11 views
# RAG: Solutions *Begleitpaper zu "Agentic Shift: Eine Momentaufnahme" | März 2026* Eine Übersicht über Retrieval Augmented Generation Systeme: von proprietären Flagships bis zu FOSS-Alternativen und dem offenen Gap im Ökosystem. **Was ist RAG?** Retrieval Augmented Generation bezeichnet eine Architektur, bei der ein Sprachmodell vor der Antwortgenerierung externe Wissensquellen abfragt und die gefundenen Inhalte in seinen Kontext einbettet. Nicht Trainingswissen allein, sondern Trainingswissen plus abgerufenes, aktuelles oder domänenspezifisches Wissen. Grundlagenarbeit: Lewis et al. (2020), NeurIPS, [arxiv.org/abs/2005.11401](https://arxiv.org/abs/2005.11401). ## Flagship: das Maß aller Dinge ### NotebookLM ⭐ `proprietär` `Google SaaS` `Referenz` [notebooklm.google.com](https://notebooklm.google.com) Das aktuell stärkste RAG-System für Endnutzer. Das Designprinzip ist der Schlüssel: Quellen müssen explizit definiert werden, das Modell antwortet ausschließlich darauf und zitiert direkt. Kein implizites Web-Crawling, minimales Halluzinationsrisiko. Audio Overviews (zwei synthetische Stimmen diskutieren eine Quelle) sind ein einzigartiges Feature für Einarbeitung und Literaturrecherche. *Benchmark für alle anderen. Kein FOSS-Äquivalent erreicht bisher diesen Design-Flow.* ## Verwandte proprietäre Ansätze ### Perplexity `proprietär` `SaaS` [perplexity.ai](https://perplexity.ai) Stark bei Web-Quellen in Echtzeit mit Quellenangaben. Eher Research- und Such-Tool als echter RAG-Workspace: die Quellenbasis ist kaum kontrollierbar, der Nutzer gibt keine eigenen Dokumente vor. *Guter Web-Researcher, kein Dokumenten-RAG.* ### Glean `proprietär` `Enterprise SaaS` [glean.com](https://glean.com) Enterprise-Wissensmanagement mit RAG über Slack, Drive, Mail und weitere Unternehmenssysteme. Konzeptuell nah an NotebookLM, aber auf Organisations-Wissensgraphen ausgerichtet. Entsprechend teuer und nicht für Einzelpersonen ausgelegt. *Enterprise-Pendant zu NotebookLM, ohne dessen Zugänglichkeit.* ### Cursor `proprietär` `Desktop + SaaS` [cursor.sh](https://cursor.sh) RAG über Codebases: exzellent in seiner Nische. Sourcegraph Cody ist ein vergleichbarer Ansatz. Beide sind auf Code spezialisiert und nicht auf allgemeine Dokumentenarbeit übertragbar. *RAG-Exzellenz in einer engen, aber wichtigen Nische.* ## FOSS & selbst-hostbare Alternativen ### AnythingLLM `FOSS` `Docker` `YunoHost-Package` [anythingllm.com](https://anythingllm.com) Nächstkommender FOSS-Kandidat zu NotebookLM. Selbst-hostbar via Docker, unterstützt lokale Modelle über Ollama sowie Cloud-APIs. Workspace-Ansatz ähnlich wie NotebookLM: Quellen rein, Fragen stellen. Für YunoHost existiert ein Community-Package. *Stärkster FOSS-Kandidat für selbst-gehostetes Dokumenten-RAG.* ### Danswer / Onyx `FOSS` `Team-fokussiert` [github.com/danswer-ai/danswer](https://github.com/danswer-ai/danswer) Team-Wissensmanagement mit Konnektoren für Confluence, Slack, Google Drive und weitere Quellen. Solider Enterprise-FOSS-Ansatz mit semantischer Suche über alle verbundenen Quellen. Kein Audio-Äquivalent, kein Einzelnutzer-Flow wie NotebookLM. *FOSS-Gegenstück zu Glean, nicht zu NotebookLM.* ### Khoj `FOSS` `Hybrid: RAG + Agent` [khoj.dev](https://khoj.dev) Open Source, selbst-hostbar, mit einem Agentic-Ansatz der über reines RAG hinausgeht. Unterstützt lokale Dokumente, Notizen, Web-Suche. Positioniert sich zwischen reinem RAG-System und echtem Agenten. Aktiv entwickelt mit wachsender Community. *Interessanter Hybrid-Ansatz, noch nicht ausgereift wie AnythingLLM.* ### PrivateGPT `FOSS` `lokal` [github.com/zylon-ai/private-gpt](https://github.com/zylon-ai/private-gpt) Früher Pionier im lokalen RAG-Bereich. Vollständig offline, keine Daten verlassen das Gerät. Bleibt eher Proof-of-Concept als produktionsreifes System, wird aber aktiv weiterentwickelt. *Maximale Datensouveränität, begrenzte Nutzerfreundlichkeit.* ### Open WebUI `FOSS` `YunoHost-Package` [openwebui.com](https://openwebui.com) Primär ein Interface für lokale und Cloud-Modelle, mit RAG-Erweiterungen via Dokumenten-Upload und Vektorsuche. Sehr aktiv entwickelt, große Community, auf YunoHost verfügbar. Eher Interface-Layer als dediziertes RAG-System. *Vielseitig und gut gepflegt, RAG als Feature unter vielen.* ## Developer Frameworks ### LlamaIndex `FOSS` `Framework` [llamaindex.ai](https://www.llamaindex.ai) Eines der führenden Python-Frameworks für RAG-Pipelines. Bietet Datenconnektoren, Indexierungsstrategien, Query-Engines und Agent-Integrationen. Kein fertiges Produkt, sondern Bausteine für eigene Systeme. *Go-to Framework für eigene RAG-Implementierungen.* ### Haystack `FOSS` `Framework` [haystack.deepset.ai](https://haystack.deepset.ai) FOSS-Framework von deepset für produktionsreife RAG- und NLP-Pipelines. Modular aufgebaut, unterstützt diverse Vektordatenbanken und LLM-Provider. Eher Enterprise-orientiert als LlamaIndex. *Solide Basis für produktionsreife RAG-Systeme.* ### Ragie `proprietär` `RAG-as-a-Service` [ragie.ai](https://ragie.ai) Managed RAG-Infrastruktur als API: Dokumente hochladen, Retrieval-Endpunkte nutzen, ohne eigene Vektordatenbank betreiben zu müssen. Richtet sich an Entwickler die RAG in eigene Produkte integrieren wollen. *Convenience-Layer für Entwickler, keine Datensouveränität.* ## Identifiziertes Gap: The Missing OpenRAG Kein FOSS-System erreicht bisher den Design-Flow von NotebookLM. Die erzwungene Quellendefinition als Designprinzip, die Zitier-UI, der Audio-Overview-Mechanismus: das ist ein Gesamtpaket, das im FOSS-Raum noch nicht existiert. AnythingLLM kommt am nächsten, denkt aber eher als allgemeiner LLM-Client. Ein dediziertes "OpenRAG" nach NotebookLM-Vorbild, selbst-hostbar, DSGVO-konform und EU-freundlich, wäre eine relevante Lücke im Ökosystem. Für Kontexte wie c3hamm, FOSSEA³M oder HSHL wäre das zugleich Forschungsthema und praktisches Werkzeug. ## Wissenschaftliche Referenzen - Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020. [arxiv.org/abs/2005.11401](https://arxiv.org/abs/2005.11401) - Gao et al. (2023): Retrieval-Augmented Generation for Large Language Models: A Survey. [arxiv.org/abs/2312.10997](https://arxiv.org/abs/2312.10997) - LangChain RAG-Dokumentation: [python.langchain.com/docs/concepts/rag](https://python.langchain.com/docs/concepts/rag/)