Dataiku formalisiert die Einführung von LLM Guard Services in dem, was der Herausgeber LLM Mesh nennt, einem „gemeinsamen Rückgrat“ für generative KI-Anwendungen.
LLM Guard Services nutzt Funktionen, die von der DSS 12-Plattform eingeführt und in DSS 13 und dann in der seit dem 3. Oktober verfügbaren Version 13.2 verstärkt wurden.
Diese Lösung besteht aus drei Komponenten:
- Sicherer Schutz,
- Qualitätswächter,
- Kostenwächter.
Safe Guard verfügt über DSS-Funktionen, um Anfragen an große Sprachmodelle und deren Antworten daraufhin auszuwerten, ob sie persönliche oder vertrauliche Daten enthalten, und sie bei Bedarf zu blockieren.
Dataiku hatte bereits Presidio integriert, ein von Microsoft entwickeltes Open-Source-SDK (unter MIT-Lizenz) zur Identifizierung und Anonymisierung sensibler Daten in Texten (vorzugsweise unter Berücksichtigung einer bestimmten Struktur) und Bildern (via OCR).
Das System von Dataiku erkennt generische Einheiten wie Bankkartennummern, IBAN-Codes, E-Mail-Adressen, Telefonnummern, URLs, physische und IP-Adressen oder sogar Namen. Hinzu kommen länderspezifische Entitäten, darunter US-amerikanische oder italienische Lizenzkennungen sowie australische und britische medizinische Daten (unter anderem).
In DSS 13.2 fügt das Unternehmen Unterstützung für Meta PromptGuard hinzu, ein Klassifizierungsmodell, das Injektionen in Eingabeaufforderungen und böswillige Anweisungen erkennen kann. Diese Integration ist in der privaten Vorschau für Kunden verfügbar, die das „Advanced LLM Mesh Early Adopter“-Programm abonniert haben.
Quality Guard verbirgt auch eine Funktionalität, die über dieselbe Modalität zugänglich ist. Dataiku hat ein Rezept zur Auswertung der Ergebnisse eines LLM entwickelt.
„Mit LLM Quality Guard können Kunden automatisch Standard-LLM-Bewertungsmetriken berechnen, einschließlich LLM-as-a-Judge-Techniken wie Antwortrelevanz, Antwortkorrektheit, Kontextgenauigkeit usw. sowie statistische Techniken wie BERT, Red und Blue , und mehr“, sagte Dataiku in einer Erklärung.
Ein kurzes Video ermöglicht es Ihnen, sich mit dem Rezept vertraut zu machen. Abhängig von der Art der Aufgabe (Chatbot, Übersetzung, Zusammenfassung usw.) werden Empfehlungen zu den zu sammelnden Metriken gegeben. Auch das Hinzufügen personalisierter Auswertungen ist möglich: Die Rezeptoberfläche beinhaltet ein Python-Notebook. Wenn sich die Qualität der Ergebnisse eines in eine Anwendung integrierten LLM verschlechtert, können Warnungen ausgelöst werden. Der Editor ermöglicht es Ihnen, die Auswertungsergebnisse und den für ihre Ausführung verwendeten Code zu Vergleichszwecken aufzubewahren.
Den Wert von PoCs beherrschen und beweisen
Cost Guard war der erste der LLM Guard-Dienste, der im März 2024 angekündigt wurde. Zusätzlich zu einem Audit-Trail bietet Dataiku ein Dashboard, das die Kosten und die Nutzung von LLMs verfolgt, unabhängig davon, ob sie über die API aufgerufen oder vor Ort bereitgestellt werden. Der Editor bietet auch eine Möglichkeit, die häufigsten Anfragen und Antworten zwischenzuspeichern.
„Seit mehreren Jahren interessieren sich Unternehmen für Statistiken, Daten, maschinelles Lernen, Datenwissenschaft und Analytik. Alle diese Bereiche werden häufig wahllos zusammengefasst und von Unternehmen versucht, sie auszunutzen. Seit der Einführung von ChatGPT vor zwei Jahren hat die Geschäftsleitung ihre Bemühungen intensiviert und ihre Datenteams ermutigt, diese Revolution nicht zu verpassen“, fasst Amaury Delplancq, Vizepräsident für Südeuropa bei Dataiku, zusammen.
Die historischen Kontakte von Dataiku, etwa Chief Data Officers und IT-Abteilungen, führen seit etwa anderthalb bis zwei Jahren Experimente mit Tools wie den Mistral-, OpenAI- und Meta-Modellen durch. „Derzeit befinden sich die meisten dieser Initiativen im Proof of Concept (PoC)-Stadium“, meint Amaury Delplancq.
„Allerdings treten wir in eine neue Phase ein“, stellt er fest. „In großen CAC 40-Unternehmen treten Manager, die ihre Teams ermutigt haben, diese Gelegenheit nicht zu verpassen, jetzt einen Schritt zurück. Sie erkennen, dass sie viel Geld und Ressourcen ausgeben, ohne einen klaren Nachweis der Kapitalrendite (ROI) zu haben. Dadurch entsteht Druck für PoCs, konkrete Ergebnisse zu zeigen.“
Während der Veranstaltung „Everyday AI Week Paris“, die vom 24. bis 26. September stattfand, berichteten mehrere Kunden, darunter GRDF, Malakoff Humanis, BNP Paribas und Société Générale, über ihre Fortschritte in diesem Bereich.
Ein regulatorischer „Paradigmenwechsel“
Hinzu kommen europäische Vorschriften. „Nach der Einführung der DSGVO ist es von entscheidender Bedeutung, die möglichen Auswirkungen des KI-Gesetzes zu verstehen. Das bedeutet, dass Unternehmen sich organisieren müssen, um ihre Projekte zu dokumentieren und nachzuweisen, dass sie diese Experimente kontrollieren“, betont er.
Unternehmen wären „nicht bereit“, das KI-Gesetz einzuhalten. „Ich hatte mehrere Treffen mit großen CAC40-Unternehmen. Viele Prozesse werden durch akkumulierte Systeme verwaltet, von denen einige nur ein oder zwei Personen kennen“, erzählt Amaury Delplancq. „Daher sind einige Unternehmen mit der Idee einer behördlichen Prüfung nicht sehr zufrieden. Auch sind nicht alle perfekt organisiert, da die aktuellen Regelungen noch nicht vollständig definiert sind.“ Nachdem der Text nun in Kraft getreten sei, „erleben wir einen Paradigmenwechsel“.
Dies ist der Zweck der LLM Guard-Dienste und des Projektbewertungsmoduls im Hinblick auf die Anforderungen des KI-Gesetzes.
Ein zentraler Hub zur Verwaltung von Geschäfts-KI-Anwendungsfällen
Viele Akteure, darunter Cloud-Anbieter sowie Snowflake, Databricks, Splunk, Datadog und andere, bieten ähnliche FinOps- und Sicherheitsfunktionen. Ob es darum geht, den Einsatz generativer KI oder solche im Zusammenhang mit der Datenverarbeitung zu verwalten.
„Der Unterschied besteht darin, dass wir keine Richter und Parteien sind“, betont Amaury Delplancq. „Wir haben kein Modell für den Verbrauch von Cloud-Ressourcen. Und das ändert absolut alles“, versichert er. „Deshalb verlangen unsere Großkunden von uns, dass wir die Kosten unter Kontrolle halten.“
Generell will sich Dataiku als Kontrollturm für alle KI-Projekte positionieren.
„Dataiku positioniert sich als zentraler Knotenpunkt“, sagt Amaury Delplancq. „Wir können einen Überblick über alle Anwendungsfälle im Unternehmen geben“, fügt er hinzu. „Wir sind sogar in der Lage, Anwendungsfälle zu verwalten, die außerhalb von Dataiku durchgeführt werden, beispielsweise auf Snowflake oder Databricks. Einige Entwickler nutzen diese Tools oder sogar Google Vertex, ohne die Dataiku-Schnittstelle zu nutzen.“
Die oben genannten und andere Großkunden würden aus diesem Grund an den Verlag gehen. „Wir sehen sogar, dass einige Unternehmen trotz ihrer großen Reife und einer Gruppe von 200 sehr produktiven Datenwissenschaftlern erkennen, dass sie nur 10 bis 20 % des Bedarfs ihrer Organisation decken können“, sagt der Manager. „Diese Beobachtung lässt diese Unternehmen verstehen, dass sie eine Plattform benötigen, die viele der Aufgaben und Tools integrieren kann, die für die Umsetzung von Analyse- und KI-Projekten erforderlich sind.“
Der Herausgeber weist jedoch darauf hin, dass er die Governance von Modellen und Algorithmen verwalten kann, nicht von Daten. „Die von uns eingeführte Governance zielt darauf ab, unseren Kunden bei der Einhaltung regulatorischer Anforderungen zu helfen. In Wirklichkeit werden nicht wir es sein, die direkt auf die Regulierungsbehörden reagieren müssen“, präzisiert der Vizepräsident für Südeuropa.
Related News :