← Zurück zur Übersicht läuft

KI-Chat

Ein eigener KI-Chat auf eigener Infrastruktur. Die Modelle laufen auf einem Rechner unter meinem Schreibtisch — und der Assistent kann mehr als reden.

Warum ein eigener Chat

Es gibt gute Chat-Dienste im Netz. Ich wollte trotzdem einen eigenen — aus zwei Gründen. Der erste: Die Gespräche bleiben hier. Die Modelle laufen auf einem Rechner unter meinem Schreibtisch, nicht bei einem Anbieter, der sie mitliest oder für sein nächstes Training verwendet.

Der zweite Grund ist der interessantere: Ein fremder Chat kann nicht in meinen Kalender schauen. Meiner schon.

Werkzeuge statt bloßem Reden

Der Assistent kann während einer Antwort Werkzeuge benutzen. Er entscheidet selbst, welches er braucht, und man sieht dabei zu.

  • Aufgaben, Kalender, Notizen, Kontakte — anlegen, ansehen, ändern, abhaken.
  • E-Mail — lesen, durchsuchen, Antworten als Entwurf vorbereiten.
  • Merkzettel — persönliche Fakten, die er sich über Gespräche hinweg merken soll.
  • Dateien nachschlagen — Hochgeladenes lesen und durchsuchen.
  • Im Netz suchen und lesen — mit Angabe der Quellen.
  • Programme bauen lassen — das übernimmt der Coder.
  • Ergebnisse ausgeben — als Excel-Tabelle, PDF, Word-Dokument oder fertige Webseite.
Der NEVIM-Chat: auf die Frage nach seinen Werkzeugen zählt der Assistent sie als Liste auf
Auf Nachfrage zählt der Assistent auf, was er kann. Die Liste ist nicht fest eingebaut — sie ergibt sich daraus, welche Bausteine im Studio an ihm hängen.

Dateien im Gespräch

Man kann mehrere Dateien hochladen, auch per Ziehen. Oben rechts sammelt ein Zettel alle Dateien des Gesprächs, und an jeder sitzt ein Haken: Nur was angehakt ist, bekommt der Coder beim nächsten Lauf zu sehen. Frisch Hochgeladenes ist automatisch angehakt, selbst Erzeugtes nicht — sonst schleppt man Zwischenstände mit, die keiner mehr braucht.

Ein Klick auf eine Datei zeigt sie an: ein PDF im Betrachter, ein Word-Dokument als Text, eine Tabelle als Tabelle, eine Webseite als laufende Seite mit Umschalter zum Quelltext. Word- und Excel-Dateien liest der Chat selbst — eine solche Datei ist im Kern ein Archiv mit Struktur darin, das kann man ohne fremde Zusatzsoftware auspacken.

Man sieht, was er tut

Über der Antwort stehen die Arbeitsschritte: was gerade getan wird, wofür, und wie lange es gedauert hat. Aufklappbar, wenn man genauer hinsehen will. Das ist mir wichtiger als es aussieht — ein Assistent, bei dem man nur den fertigen Text bekommt, ist eine Blackbox. Wenn eine Antwort falsch ist, will ich sehen können, an welcher Stelle es abgebogen ist.

Sprechen und Vorlesen gehen auch, in mehreren Sprachen.

Recherche: der aufwendigste Teil

Für größere Fragen gibt es einen eigenen Modus. Der läuft in zwei Phasen.

Erst planen. Im Gespräch entsteht gemeinsam eine Arbeitsanweisung: Thema, Ziel, die einzelnen Schritte, bevorzugte Quellen. Die steht sichtbar neben dem Chat und ist von Hand änderbar — ich kann jeden Schritt umschreiben, bevor irgendetwas losläuft.

Dann arbeiten. Ein Programm arbeitet die Anweisung Schritt für Schritt ab: erst die maßgeblichen Quellen finden, dann deren Dokumente durchgehen — auch PDFs — und erst zuletzt allgemein im Netz suchen, für das, was dann noch fehlt. Man sieht live, welcher Schritt gerade läuft und mit welcher Suchanfrage.

Das eigentliche Problem ist nicht das Suchen

Es ist das Glauben. Ein Sprachmodell schreibt eine falsche Zahl genauso überzeugend hin wie eine richtige. Dagegen sitzt eine eigene Prüfschicht:

  • Jede Aussage im Bericht muss auf eine Quelle zeigen. Was nur einmal belegt ist, wird als solches gekennzeichnet.
  • Nachrichtenportale und Sammelseiten zählen nicht als Erstquelle — eine Zahl gilt erst, wenn sie dort steht, wo sie herkommt.
  • Gerechnete Werte werden auf ihre Einheiten geprüft. Prozent geteilt durch Währung ergibt keine sinnvolle Zahl, und genau solche Rechnungen fliegen auf.
  • Zahlen aus weit zurückliegenden Zeiträumen werden gemeldet, wenn der Bericht sich eigentlich auf heute bezieht.
  • Zwei Zahlen widersprechen sich nur dann, wenn sie sich auf denselben Zeitraum und dieselbe Bezugsgröße beziehen. Sonst ist es kein Widerspruch, sondern ein Vergleich von Äpfeln mit Birnen.

Und wo nichts Belastbares zu finden war, steht am Ende eine Lücke — mitsamt dem Hinweis, wo man weitersuchen müsste. Eine ehrliche Lücke ist mir lieber als eine schöne Erfindung.

Was noch fehlt

  • Eine Recherche dauert je nach Umfang mehrere Minuten. Woran genau die Zeit hängt, wird inzwischen pro Lauf mitgeschrieben — schneller ist sie dadurch noch nicht.
  • Gespräche zu Projekten zusammenzufassen ist angefangen, aber noch nicht gebaut.