Häufig gestellte Fragen

Hier finden Sie Antworten auf häufig gestellte Fragen zu F13.

Teilen Sie häufig gestellte Fragen (FAQ) mit der F13 Community!

Sie haben allgemeine Fragen zu F13, die durch diese FAQ nicht beantwortet werden? Sie verwenden oder betreiben F13 und bemerken häufig gestellte Fragen? Teilen Sie diese gerne mit der F13 Community! Wir freuen uns über Ihre Nachricht.

Allgemeines zu F13

Was ist F13?

F13 ist eine KI-basierte Textassistenz zur Anwendung im Webbrowser. Mit F13 wird das Potential großer, vortrainierter KI-Sprachmodelle (Large Language Models, LLMs) für die öffentliche Verwaltung getestet.

F13 bietet allgemein vier Funktionen: einen Chat-Bot, eine Rechercheassistenz zu landespolitischen Themen, sowie die Generierung von Zusammenfassungen. Bitte beachten Sie, dass die Ihnen zur Verfügung stehende Version von F13 möglicherweise nicht alle dieser Funktionen anbietet.

Wer entwickelt F13?

F13 wurde ursprünglich vom Land Baden-Württemberg entwickelt und als quelloffene Software zur Nachnutzung und Weiterentwicklung auf openCode bereitgestellt.

Was bedeutet der Name „F13“?

Die Funktionstasten F1 bis F12 sind auf Computer-Tastaturen Standard. Mit ihrer Hilfe können Nutzerinnen und Nutzer beispielsweise Texte speichern (F12) oder löschen (F4). Der Name „F13“ der KI-Textassistenz steht für eine gedachte dreizehnte Funktionstaste F13 und verdeutlicht, dass das System eine zusätzliche Hilfsfunktion für die Textarbeit anbietet.

Was sind bekannte Fehler von F13?

F13 wird stetig weiterentwickelt. Hierzu gehört u.a. die Behebung von neu auftretenden Fehlern („Bugs“), weswegen wir für Fehlerhinweise dankbar sind. Bei Entdeckung eines Fehlers bitten wir daher um die Rückmeldung per Feedbackfunktion. Gleichzeitig gibt es bereits bekannte Bugs, die in den kommenden Weiterentwicklungen abgearbeitet werden. Hierzu gehören:

• Die Uploads und Verarbeitung größerer Dateien kann länger dauern. Laden Sie die Seite bitte nicht neu, während das Dokument verarbeitet wird. Es gibt zum Abschluss der Verarbeitung eine Meldung. Sofern möglich, können Sie auch nur die Teile eines Dokuments verarbeiten, die für Sie relevant sind. Dafür können Sie zum Beispiel die entsprechenden Teile in das Freitextfeld kopieren.
• In der Recherche-Funktion kann es ein wenig dauern, bis eine Antwort sichtbar ist.
• Die Ausschnitte der Referenzdaten (sog. Chunks), welche in der Recherche verwendet werden, haben teilweise Logikbrüche oder eine schlechte Interpunktion. Das beeinträchtigt gelegentlich die Ergebnisqualität von Rechercheanfragen. Wir empfehlen in diesem Fall das Ergebnis mit der Originaldatei zu vergleichen.

Der Chat

Wo finde ich Informationen und Beispiele für gutes „Prompten“ (Prompt = Benutzereingabe / Anweisung im Chat)?

Allgemeine Tipps und Tricks für effizientes „Prompten“ finden Sie in den Schulungsmaterialien. Konkrete Anwendungsbeispiele finden Sie in den „Prompt“-Vorlagen direkt in der Web-Anwendung. Aktuell können Sie Ihre besten Prompt-Vorlagen noch nicht direkt in der F13 Web-Anwendung speichern. Diese ist ein geplantes Feature auf unserer Roadmap.

Worin unterscheiden sich Chat und Recherche?

Der Chat und die Rechercheassistenz verwenden unterschiedliche Daten für die Generierung der Antworten. Der Chat verwendet keine F13-spezifischen Datenquellen, sondern bietet freie Interaktion mit einem vortrainierten Sprachmodell. Auch ist der Chat nicht mit aktuellen externen oder spezifisch verwaltungsrelevanten Datenquellen verknüpft, und sollte deswegen nicht für Fachfragen wie „Wer leitet Referat ABC im Ministerium XYZ?“ verwendet werden.

In der Rechercheassistenz ist es möglich, gezielt Daten auszuwählen, die für die Generierung der Antwort durchsucht werden sollen. Somit eignet sich der Chat für allgemeine Anfragen und die Rechercheassistenz für Fachfragen, die ein spezielles, verwaltungsrelevantes Wissen voraussetzen.

Beispielhafte Fachfrage für die Rechercheassistenz: „Erzähle mir etwas über die diesjährige Bildungsreform der Landesregierung“.

Die Zusammenfassung

Welche Dokumentenformate kann ich bei der Zusammenfassungsfunktion hochladen?

Sie können folgende Dokumentenformate hochladen: .pdf, .txt, .docx. Die Zusammenfassungsfunktion kann sowohl barrierefreie als auch nicht-barrierefreie Dokumente verarbeiten.

Wieso können keine sehr kurzen Texte zusammengefasst werden?

Die Zusammenfassungsfunktion nutzt Sprachmodelle, welche bei kurzen Eingaben kreative und daher unzuverlässige Antworten geben (sogenannte „Halluzinationen“). Die Einschränkung einer Mindestlänge von 500 Zeichen dient daher der Qualitätssicherung der Zusammenfassung.

Wie groß kann mein Dokument für die Zusammenfassung sein?

Das Dokument darf maximal 25 MB groß sein. Außerdem ist es möglich, dass die maximale Berechnungszeit von 10 Minuten bei großen Dateien überschritten wird. Dokumente mit bis zu 200 Seiten können erfahrungsgemäß problemlos zusammengefasst werden.

Was kann ich tun, damit F13 schneller Zusammenfassungen liefert?

Die Verarbeitung großer Textmengen braucht eine gewisse Zeit. Wenn Sie die Wartezeit verkürzen möchten, können Sie auf folgende Aspekte achten: das Dateiformat, die Seitenanzahl und die gewünschte Zusammenfassungslänge.

• Der Aufwand bei der Verarbeitung von .pdf-Dateien ist am größten und bei Texten aus der Zwischenablage oder .txt-Dateien am niedrigsten.
• Je größer das Dokument bzw. je länger der Text, desto länger dauert auch die Verarbeitung.
• Eine lange Ziellänge braucht weniger Zeit als eine kurze Ziellänge.

Warum funktioniert die Zusammenfassung von nicht-deutschsprachigen Texten nicht wie gewünscht?

Die Zusammenfassungsfunktion ist derzeit für deutschsprachige Texte optimiert. Die Funktionalität wird zukünftig für Fremdsprachen erweitert. Wir bitten Sie daher um etwas Geduld.

Warum entspricht die Zusammenfassungslänge nicht immer der Ziellänge?

Die Zusammenfassungsfunktion ist derzeit auf kurze Ziellängen optimiert. Mehrseitige Zusammenfassungen weisen daher nicht immer die gewünschte Länge auf. Sie fallen stattdessen teilweise kürzer aus. Wir arbeiten an dem Problem und bitten Sie daher um etwas Geduld.

Warum stellt die Zusammenfassungsfunktion Rückfragen, wenn es keine Interaktionsmöglichkeiten gibt?

Das Sprachmodell fügt in manchen Fällen einleitende Worte, Schulssbemerkungen oder höfliche Rückfragen der Antwort hinzu, statt aussließlich mit der Zusammenfassung zu antworten. Allerdings bietet die Zusammenfassungsfunktion keine weiteren Interaktionsmöglichkeiten an. Für diese Zwecke möchten wir auf die anderen Funktionalitäten von F13 verweisen. Wir arbeiten derzeit an einer Lösung, um dieses unerwünschte Verhalten zu unterbinden.

Werden hochgeladene Dokumente gespeichert?

Nein, die Zusammenfassungsfunktion speichert weder hochgeladene Dokumente noch sonstige Testeingaben. Auch die generierten Zusammenfassungen werden nicht gespeichert. Lediglich das Feedback, dass Nutzerinnen und Nutzer geben können, wird gespeichert.

Warum entspricht die Dokumentenlänge in Seiten in F13 nicht immer exakt der Seitenanzahl meines Dokuments?

In der Zusammenfassungsfunktion ist die Seitenanzahl als eine Schätzung basierend auf der Anzahl der Zeichen des Textes implementiert. Eine Seite entspricht hier 4000 Zeichen. Je nach Formatierung des Textes (wie bspw. Textgröße, Leerzeilen, Bilder) kommt es bei dieser Schätzung zu Abweichungen in der Genauigkeit.

Die Zusammenfassungsfunktion verwendet den F13 Parsing Microservice, der Text aus Dokumenten extrahiert und bereinigt. Hier finden Sie häufig gestellte Fragen, die sich auf das Parsing beziehen:

Welche Dokumentformate können geparsed werden?

Sie können folgende Dokumentenformate hochladen: .pdf, .txt, .docx. Der Parser kann sowohl barrierefreie als auch nicht-barrierefreie Dokumente verarbeiten.

Was kann ich tun, damit der Parsing Microservice schneller Ergebnisse liefert?

Die Verarbeitung großer Textmengen braucht eine gewisse Zeit. Wenn Sie die Wartezeit verkürzen möchten, können Sie auf folgende Aspekte achten: das Dateiformat, die Seitenanzahl und die gewünschte Zusammenfassungslänge.

• Der Aufwand bei der Verarbeitung von .pdf-Dateien ist am größten und bei Texten aus der Zwischenablage oder .txt-Dateien am niedrigsten.
• Je größer das Dokument bzw. je länger der Text, desto länger dauert auch die Verarbeitung.

Warum wird die Eingabesprache bei PDF Dateien nicht zuverlässig beibehalten?

Der Parser für .pdf-Dateien basiert auf Docling und EasyOCR. Hierbei nutzen wir derzeit ein deutschsprachiges Modell. Zukünftig wollen wir mit Spracherkennung und ggf. einem anderen OCR Modell das Parsen von nicht-deutschsprachigen Texten ermöglichen. Wir bitten Sie daher um etwas Geduld.

Werden hochgeladene Dokumente gespeichert?

Nein, der Parser speichert weder hochgeladenen Dokumente noch sonstige Texteingaben.

Die Recherchefunktion

Hier finden Sie Antworten auf häufig gestellte Fragen zur Recherchefunktion.

Welche Dokumentenformate kann ich bei der Recherchefunktion hochladen?

Sie können folgende Dokumentenformate hochladen: .pdf, .txt, .doc und .docx. Die Recherchefunktion kann barrierefreie und nicht-barrierefreie Dokumente durchsuchen.

Wie viele Dokumente kann ich gleichzeitig hochladen?

Sie können fünf Dokumente gleichzeitig hochladen.

Können bei der Recherchefunktion auch Informationen aus Metadaten (zum Beispiel aus Kommentare in PDFs oder Fußnoten) gezogen werden?

Nein, es werden ausschließlich die Informationen aus dem Haupttext für die Antwortgenerierung genutzt.

Kann F13 aus den Wissensdatenbanken wörtlich zitieren?

Nein, F13 kann als Text-Assistenz basierend auf großen KI-Sprachmodellen nicht wörtlich zitieren. Auch wenn bei der Recherchefunktion ein gezielter Auswahlprozess der Quellen stattfindet, ändert dieser nichts an der technischen Funktionsweise von KI-Sprachmodellen.

Wie bemisst F13 die Relevanz der Quellen für die Antwort und findet dadurch die einschlägigsten Quellen?

F13 verwendet „semantische Suche“. Dabei wird gemessen, wie stark der Fragetext sprachlich und inhaltlich mit einer Quelle übereinstimmt. Je sprachlich ähnlicher ein Textabschnitt in einer Quelle ist, desto relevanter wird dieser eingestuft. Die semantische Suche kann dabei mit Synonymen umgehen und ist nicht auf exakte Suchbegriffe angewiesen.

Kann ich ein Dokument hochladen und gleichzeitig auch die Wissensdatenbank auswählen?

Ja, Sie können ein Dokument hochladen und gleichzeitig die Wissensdatenbank für die Antwortgenerierung Ihrer Anfrage auswählen. F13 wird sowohl für das hochgeladene Dokument, wie auch für die Wissensdatenbank, eine eigene Antwort zu Ihrer Frage mit den passendsten Quellen erstellen.

Kann ich zwei Dokumente hochladen und diese gegeneinander vergleichen lassen?

Nein, das ist mit der aktuellen Funktionsweise der Recherche nicht möglich.

Kann man auch Ordner zur Auswertung bei der Recherche hochladen?

Nein, Sie können aktuell einzelne Dokumente (max. 5 gleichzeitig) hochladen oder per Drag & Drop in die Web-Anwendung ziehen.

Hintergrund zu KI-Sprachmodellen und die Datengrundlage von F13

Was ist die zugrundeliegende Technologie von F13?

F13 nutzt zum Verständnis von Rechercheanfragen und zur Erstellung von Antworten große KI-Sprachmodelle (Large Language Models, kurz LLMs) bzw. generative KI. Generative KI bezeichnet eine Untergruppe der KI, die sich auf die Erzeugung neuer Inhalte, Daten oder Informationen konzentriert. Im Gegensatz zu traditionellen KI-Systemen, die bestehende Daten verarbeiten oder analysieren, ist generative KI in der Lage, neue Daten zu erzeugen, die nicht explizit programmiert wurden.

Welche Inhalte umfasst der Trainingsdatensatz eines KI-Sprachmodells?

Generell geben die meisten und auch hier verwendeten Anbieter großer Sprachmodelle keinen detaillierten Einblick in ihre Trainingsdaten. Der Trainingsdatensatz eines KI-Sprachmodells basiert generell auf einer Vielzahl von Textdaten aus unterschiedlichen Quellen, um dem Modell ein breites Verständnis der Sprache zu vermitteln. Diese Daten umfassen u. a. Bücher wie Romane, Sachbücher, wissenschaftliche Werke und technische Dokumentationen, Gesetze und Rechtsdokumente, Nachrichten und journalistische Artikel, Websites und Foren, Enzyklopädien, Dialoge und Konversationen aus beispielsweise öffentlichen Online-Diskussionen. Der übliche Standard ist, dass die zum Training verwendeten Daten öffentlich zugänglich und legal nutzbar sind. Privatsphäre und Urheberrecht müssen beachtet werden, weshalb oft keine persönlichen oder sensiblen Daten zum Training verwendet wurden. Korrekturen, Filtersysteme und Moderationen sind Teil des weiteren Trainingsprozesses, um sicherzustellen, dass das Modell keine unangemessenen oder irreführenden Inhalte wiedergibt.

Werden die verwendeten KI-Sprachmodelle nachtrainiert?

Die in F13 verwendeten KI-Sprachmodelle werden nicht nachtrainiert. Auch die von Anwenderinnen und Anwendern eingegebenen Ausgangstexte und hochgeladene Dokumente werden nicht als Wissensquelle für ein Nachtraining genutzt. Die KI-Sprachmodelle bleiben bei Nutzung von F13 zu 100% unverändert.

Welche Daten verwendet F13?

In F13 werden drei Typen von Daten verwendet:

• die für F13 nicht nachtrainierten Trainingsdatensätze der Sprachmodelle
• die Eingaben der Nutzenden
• im Fall der Rechercheassistenz die hinterlegten Daten.

Die Eingaben der Nutzenden werden zur Steuerung und für die Anfragen an F13 verwendet. Mit Beantwortung der Frage werden sie direkt gelöscht. Ein Nachtraining der KI-Sprachmodelle findet nicht statt. In der Rechercheassistenz sind unterschiedliche Dokumente und Informationen hinterlegt, die teilweise täglich aktualisiert werden, um den Wissensstand aktuell zu halten.

Kann F13 „lernen“?

F13 ist nicht als selbstlernendes System angelegt. Die für Evaluationszwecke kurzfristig gespeicherten Feedback-Daten werden nach Auswertung durch das Entwicklungsteam gelöscht.

Wie entstehen Halluzinationen und wie kann das Auftreten von Halluzinationen reduziert werden?

Es liegt in der Natur der Sache, dass generative KI Halluzinationen entwickelt. Dies kann nicht verhindert werden. Beim „Halluzinieren“ produziert das Sprachmodell einen Text, der zwar plausibel klingt, allerdings ungenaue oder falsche Informationen enthält. Sprachmodelle sind besonders beim Umgang mit Zahlen, Zeiten und fachspezifischen Inhalten fehleranfällig.

Bei Verdacht auf Halluzinationen im Chat kann durch Nachfrage bzw. Umformulierungen die Antwort des Chats validiert werden. Ansonsten nutzen Sie bitte eine reguläre Internetrecherche. Sollten Ihnen bestimmte Muster von Halluzinationen auffallen, teile Sie diese gerne über die Feedback-Funktion (Daumen hoch/runter + Kommentar) mit.

Was sind Tokens und wie kommen sie bei F13 zum Einsatz?

Tokens können einzelne Wörter, Wortteile, Satzzeichen oder sogar Emojis repräsentieren. Sie dienen als grundlegende Bausteine für das Verständnis und die Erzeugung menschlicher Sprache in KI-Systemen. Die Anzahl der Tokens in einem Text hängt von verschiedenen Faktoren ab, wie der verwendeten Sprache, der Textlänge und dem spezifischen KI-Modell. Bei der Verarbeitung von Text zerlegt das KI-Modell den Eingabetext in Tokens, analysiert deren Beziehungen zueinander und generiert basierend darauf eine Antwort. Im Durchschnitt können Sie für deutsche Texte davon ausgehen, dass etwa 1,5 bis 1,8 Tokens pro Wort anfallen. Wenn Sie mehr über die „Tokenisierung“ von KI-Sprachmodellen lernen möchten, finden Sie auf folgender Webseite weiterführende Informationen: OpenAI.

Wie wird sichergestellt, dass die Trainingsdaten der KI-Sprachmodelle diskriminierungsfrei sind?

Die Diskriminierungsfreiheit der Trainingsdaten muss durch die Entwicklerinnen und Entwickler der KI-Modelle sichergestellt werden, da in F13 selbst keine KI-Modelle trainiert werden. Aktuell nutzen wir bei F13 keine weiteren Filter, sind dazu aber in Gesprächen mit verschiedenen Anbietern.

Wie wird sichergestellt, dass die Ergebnisse von F13 keine Hassbotschaften und Diskriminierungen enthalten?

Die bei F13 verwendeten KI-Sprachmodelle besitzen bereits eigene Filter, um Hassbotschaften und Diskriminierung in der Ergebnisgenerierung zu verhindern. Aktuell nutzen wir bei F13 keine weiteren Filter, sind dazu aber in Gesprächen mit verschiedenen Anbietern.

Wird über die Feedback-Funktion ein Nachtraining von F13 durchgeführt?

Auch über die Feedback-Funktion wird kein Nachtraining der KI-Modelle durchgeführt. Wenn Sie in der Web-Anwendung Feedback über die Qualität von erstellten Texten übermitteln, wird dieses zu Evaluationszwecken erfasst. In diesem Fall werden zusätzlich auch die von Ihnen zuvor eingegebenen Daten für drei Monate gespeichert. Darüber hinaus wird kein Nachtraining mit den Daten durchgeführt.

Technische Grundlagen zu F13

Welche Daten darf ich bei der Nutzung von F13 verwenden?

Grundsätzlich gilt, dass die Verarbeitung personenbezogener oder besonders schützenswerter Daten auch in der elektronischen Datenverarbeitung sparsam und zweckgebunden zu erfolgen hat. Verschlusssachen oder Dokumente mit darüberhinausführenden Geheimhaltungsstufen dürfen in F13 generell nicht verarbeitet werden, solange keine explizite Freigabe Ihrer Behörde vorliegt.

Kann jemand die Daten einsehen, die ich in F13 eingebe?

Nein, dies ist nicht möglich.

In der Recherche-Funktion werden die hochgeladenen Dokumente nur temporär für maximal eine Stunde in einer angeschlossenen Vektor-Datenbank vorgehalten. Diese können aber von niemanden eingesehen werden. In der Chat-Funktion eingegebene Anfragen können von niemandem eingesehen werden.

Kann F13 barrierefreie Dokumente und Texte erstellen?

Mit Hilfe von F13 kann aktuell nicht mit einem Klick ein barrierefreies Dokument oder Text erstellt werden. F13 kann Sie darin unterstützen, die allgemein gültigen Regeln für Barrierefreiheit in Erfahrung zu bringen.

Wie kann ich die Ergebnisse von F13 prüfen?

Wie bei allen Anwendungen von generativer KI können Antworten Fehler bzw. „Halluzinationen“ enthalten. Die Antworten des Chats müssen mit gesundem Menschenverstand oder eigener Recherche überprüft werden. In der Rechercheassistenz werden die der Antwort zu Grunde liegenden Quellen angegeben. Mithilfe der Quellen kann ein sachlicher Abgleich der Antwort erfolgen.

Entwicklung und Betrieb von F13

Warum ist pytest im Dev-Container nicht verfügbar?

Wenn im Dev Container pytest nicht verfügbar ist, kann es helfen im Container die Kommando-Palette zu öffnen (Tastenkombination Ctrl+Shift+P) und unter "Python: Select Interpreter" den korrekten projektspezifischen Python-Interpreter auszuwählen.

Welche Sprachmodelle können für die Zusammenfassungsfunktion empfohlen werden?

Basierend auf unseren Erfahrungen können wir folgende Empfehlungen aussprechen:

Für Anwendungsfälle in denen mehrseitige Zusammenfassungen gewünscht sind empfehlen wir cortecs/Llama-3.3-70B-Instruct-FP8-Dynamic.

Für Anwendungsfälle in denen Zusammenfassungen mit einer Länge von bis zu 1,5 Seiten gewünscht sind sowie in Anwendungsfällen in denen nur begrenzte Ressourcen für ein lokales Sprachmodell verfügbar sind empfehlen wir google/gemma-3-27b-it

Wir haben den F13 Summary Microservice auch mit dem Reasoning-Modell tngtech/DeepSeek-TNG-R1T2-Chimera getestet. Positiv ist uns aufgefallen, dass die Zusammenfassung mit einem Gesamtüberblick des Originaltextes startet und dass eine hohe Informationsdichte erzielt wird. Allerdings ist die Wartezeit mindestens doppelt so lang als bei einer Nutzung von llama 3.3 70B. Zudem zeigten unsere Tests, dass es auch bei diesem rechenintensiven Modell zu Halluzinationen kommen kann. Trotz dieses Vorteils können wir den Einsatz nicht empfehlen, da aus unser Sicht die Vorteile nicht den erhöhten Ressourcenaufwand und die erhöhte Wartezeit rechtfertigen. Falls dennoch ein Reasoning-Modell mit dem F13 Summary Microservice genutzt werden soll, möchten wir hier darauf hinweisen, dass ein Entfernen des Denkprozesses aus allen Antworten des Reasoning-Modells im Code nötig ist, damit der Map and Reduce Approach der Zusammenfassungsfunktion weiterhin funktionieren kann.

Wie kann ich die manuellen Evaluationen starten?

Bitte nutzen Sie hierfür den Dev-Container wie in der README.md des F13 Summary Microservices beschrieben.

Im Dev-Container können Sie im tests-Ordner einzelne Tests auswählen und starten. Die Evaluationen befinden sich im Ordner tests/evaluation/ und sind mit "manual_evaluation" markiert. Bitte beachten Sie, dass für diese Tests ein großes in einer Clould gehostetes Sprachmodell empfohlen wird, da es sonst zu sehr langen Wartezeiten kommen kann. In der Entwicklung haben wir mit Llama 3.1 70B und Llama 3.3 70B gearbeitet. Alle Tests, die mit "automatic_ci_test" markiert wurden, werden auch in der CI-Pipeline ausgeführt.

Warum kann nicht garantiert werden, dass alle Chunks die minimale und maximale Chunkgröße respektieren?

Algorithmisch ist es notwendig, dass die minimale Chunkgröße eine gewisse Differenz zur maximalen Chunkgröße wahrt, damit der Text entsprechend der Chunkgrößen zerlegt werden kann. Hierfür darf die minimale Chunkgröße nicht mehr als 50% der maximalen Chunkgröße betragen. Wenn gegen dieses Verhältnis verstoßen wird, kann es vermehrt zu Chunks außerhalb des gewünschten Größenbereichs kommen. Innerhalb des F13 Summary Microservices wird daher die minimale Chunkgröße auf 45% der maximalen Chunkgröße limitiert. Dennoch sollte beachtet werden, dass es vorkommen kann, dass der letzte Chunk die maximale Chunkgröße überschreitet. Dieser Fall tritt ein, falls der Chunk nicht zerlegt werden kann, ohne die minimale Chunkgröße zu unterschreiten.

Wie starte ich das Mock-Backend?

Öffnen Sie den Ordner mock_backend in einem separaten Terminal und starten Sie das Mock-Backend mit node app.js.

Warum funktioniert meine Verbindung mit dem Mock-Backend nicht?

Überprüfen Sie in der .env, ob Sie die richtige URL mit korrektem Port (z.B. http://localhost:3000) eingegeben haben. Falls das Problem weiterhin besteht, änderen Sie den ":" zu "=".

Warum werden keine Modelle im Frontend angezeigt, obwohl Ollama erreichbar ist?

Ollama lädt ein Modell in den GPU-vRAM sobald das Modell angefragt wird. Je nach Hardware und Größe des LLM benötigt Ollama mehrere Minuten, um ein Modell zu laden. Unter Umständen wird dabei ein Timeout für die Anfrage überschritten und die Verbindung wird abgebrochen. Dies veranlasst Ollama dazu, das Modell wieder aus dem Speicher zu entfernen.

Stellen Sie sicher, dass die Modelle, die Sie verwenden, bereits erreichbar sind, bevor F13 gestartet wird.