LaLama: Herausforderungen bei der Implementierung eines LLM

Um die Effizienz zu steigern, hat unser Team ein innovatives Tool entwickelt, das die Art und Weise, wie Benutzer mit internen Dokumenten interagieren, revolutioniert. LaLama verspricht eine Reduzierung der Abfragezeiten um mindestens 60%. Mehr als nur ein Werkzeug ist LaLama ein technologisches Wunderwerk, das darauf ausgelegt ist, Benutzerabfragen über unsere riesigen Dokumentenspeicher zu optimieren. Stellen Sie sich vor, Sie könnten wichtige Daten aus den von Ihrem Unternehmen erstellten Dokumenten ohne mühsame Suche abrufen. LaLama macht genau das möglich - eine angenehme Erfahrung statt einer lästigen Aufgabe.

Die Implementierung von Regeln für LaLama stellte eine doppelte Herausforderung dar: Flexibilität bei gleichzeitiger Einhaltung von Grenzen. Wir mussten sicherstellen, dass unser KI-System aussagekräftige Ergebnisse liefert, während es die Parameter der Dokumente respektiert und sich nicht von den darin enthaltenen Fakten entfernt. Es war nicht einfach, Richtlinien für das Verhalten von LaLama zu entwickeln. Die Herausforderung bestand darin, dem AI genügend Freiraum für Erkundungen zu gewähren, gleichzeitig aber dafür zu sorgen, dass sie nicht in sensible oder irrelevante Bereiche innerhalb der Dokumente oder darüber hinaus abschweift.

Der Schlüssel zum Erfolg lag darin, den "Sweet Spot" – Regeln zu finden, die flexible Abfragen ermöglichten, aber auch als Grenzen dienten, um die KI auf Kurs zu halten. Es war ein mühsamer Prozess aus Fehlern und Lernen, dem Feintuning von Parametern und der Entwicklung projektbezogener Regelwerke. Beispielsweise erfordern bestimmte Projekte mehr Kreativität oder Programmierung, während andere allgemeiner sind.

Die ursprüngliche Idee hinter LaLama war die Entwicklung eines Abfragetools für unsere internen Dokumentationen. Doch das Interesse an LaLama wuchs rasant, und immer mehr interne Projekte zeigten Interesse daran, ihre Projektdokumentationen hinzuzufügen, um sie selbst abfragen zu können (z. B. HR für den schnellen Bezug von Unternehmensrichtlinien). Die Idee war es, separate Instanzen der Hauptklasse zu erstellen, die die Funktionen des Aufrufens, Beantwortens und Verwaltens von Dokumenten hatte, und dann der richtigen Benutzerprofilinstanz zuzuweisen. Somit kann ein Projektleiter nun seine eigene LaLama-Instanz erstellen und Projektmitglieder hinzufügen, die dann die einzigen mit Zugriff auf diese Instanz sind.

"Do Anything Now" (DAN) stellte eine erhebliche Herausforderung dar, da es versuchte, die von den Entwicklern festgelegten Einschränkungen zu überwinden. DAN ist ein Textprompt, den Benutzer in LLM-Abfragen schreiben können, um bestimmte Richtlinien oder Regeln zu umgehen. Es könnte auf vertrauliche Dokumente zugreifen, auf Informationen zugreifen, die nicht zugänglich sein sollten, oder Moderationsrichtlinien umgehen.

Um DAN entgegenzuwirken, entwickelten wir eine allgemeine Regel: "Wenn es nicht in den Dokumenten steht, dann tue es nicht". LaLama identifiziert nun vor der Beantwortung ein Dokument und stellt sicher, dass das aus der Datenbank zurückgegebene Dokument der Benutzerabfrage entspricht. Dies bedeutet, dass LaLama im Falle eines fehlenden DAN-bezogenen Dokuments mitteilt, dass keine Informationen verfügbar sind.

Es war schwierig, dem LLM zu ermöglichen, nur auf die Dokumente zu reagieren. Wir haben verschiedene Testläufe mit verschiedenen Regeln durchgeführt, aber letztendlich erwies sich der effektivste Ansatz darin, die veröffentlichten DAN-Prompts (die mit einer einfachen Google-Suche gefunden werden können) zu durchsuchen und bestimmte "Schlüsselwörter" zu blockieren. Beispielsweise lehnt LaLama Versuche des Benutzers ab, es zu "entsperren", und die Umbenennung des AI ist ebenfalls verboten, da dies auch als Mittel dient, LaLama in DAN zu verwandeln.

Die Entwicklung von LaLama war keine leichte Aufgabe. Unsere Hauptproblematik bestand darin, ein Gleichgewicht zwischen Preis und Qualität der Antworten zu finden. Nach reiflicher Überlegung entschieden wir uns für das gpt-3.5-turbo-16k-Modell. Seine erschwinglichen Kosten, die große Token-Grenze und die hervorragende Leistung schienen perfekt aufeinander abgestimmt. Eine detaillierte Analyse verschiedener Modelle und Technologien wird in einem umfassenderen Folgeartikel behandelt werden.

Ein weiterer wichtiger Aspekt war der Schutz und die Privatsphäre der dem AI zugänglichen Dokumente. Konkret sollte die KI niemals Daten preisgeben, die persönliche Informationen von Mitarbeitern enthielten oder nicht für die allgemeine Veröffentlichung bestimmt waren. Um dies zu beheben, wurde die KI von sensiblen Informationen isoliert und nur mit Dokumenten versorgt, denen ein bestimmtes Sicherheitsniveau zugewiesen wurde, wodurch der Zugriff auf vertrauliche Informationen außerhalb ihres Zuständigkeitsbereichs verhindert wurde.

Auch das Rätsel des User Interfaces (UI) musste gelöst werden. Unser Ziel war es, eine nahtlose Navigation zwischen mehreren Projekten zu ermöglichen, einschließlich Benutzerprofile, und die Konversation sichtbar auf der Seite zu halten. Inspiriert von bereits existierenden LLM-Benutzeroberflächen entwickelten unsere Designer ein einfaches, aber nützliches Design und erkannten die Bedeutung eines benutzerfreundlichen Interfaces für den Erfolg des Tools. Auch wenn es in seiner aktuellen Form schlicht erscheint, ist das Einrichten einer GPT-basierten LLM keine einfache Aufgabe. Wir haben eine Reihe von Diensten kombiniert und mussten Dokumente laden, auf die Hauptklasse zugreifen und individuelle Instanzen abfragen, um projektbezogene LaLama-Instanzen zu erstellen.

LangChain ist ein Open-Source-Framework, das Entwicklern im Bereich Künstliche Intelligenz (KI) und ihrer Teilmenge Machine Learning ermöglicht, große Sprachmodelle mit anderen externen Komponenten zu kombinieren, um LLM-basierte Anwendungen zu entwickeln. Bei der Nutzung von LangChain wurde während des Ladevorgangs von Google Dokumenten ein schwerwiegender Fehler festgestellt. Um dies zu beheben, mussten wir den LangChain-Code für die Dokumentenladung anhand der ID ändern.

Unsere Lösung bestand darin, Text aus Spalten und Zeilen zu kombinieren, da das System nach der Konvertierung der Dokumente die gesamten Dokumentbytes als Tabelle geladen hatte oder genauer gesagt, unsere Lösung bestand darin, die Bytes des Dokuments in ein DocxDocument aus der Docx-Bibliothek zu kombinieren. Nach der Implementierung funktionierte LaLama nahtlos.

Obwohl die Entwicklung von LaLama im Moment einfach erscheint, erwarten wir, dass der Prozess uns weiterhin vor Herausforderungen stellt: die Auswahl des besten Modells, die Erstellung einer benutzerfreundlichen Oberfläche und die Bewältigung potenzieller unvorhergesehener Probleme, die sich durch die Einbindung externer Dienste ergeben. Obwohl die Reise einige Umwege enthielt, ist das Ergebnis ein starkes, effektives und benutzerfreundliches Tool, das die Informationsbeschaffung über Projekte hinweg vereinfacht.