Nvidia stellt sein neues NeMo Guardrails-Tool für KI-Entwickler vor und verspricht, KI-Chatbots ähnlich zu machen ChatGPT nur ein bisschen weniger verrückt. Die Open-Source-Software steht Entwicklern jetzt zur Verfügung und konzentriert sich auf drei Bereiche, um KI-Chatbots nützlicher und weniger beunruhigend zu machen.
Das Tool befindet sich zwischen dem Benutzer und dem Large Language Model (LLM), mit dem er interagiert. Es dient der Sicherheit von Chatbots, Antworten abzufangen, bevor sie überhaupt das Sprachmodell erreichen, um das Modell entweder an der Reaktion zu hindern oder ihm spezifische Anweisungen zu geben, wie es reagieren soll.
Laut Nvidia konzentriert sich NeMo Guardrails auf Themen, Sicherheit und Schutzgrenzen. Der thematische Fokus scheint am nützlichsten zu sein, da er den LLM dazu zwingt, in einem bestimmten Antwortbereich zu bleiben. Nvidia führte Guardrails vor, indem es einen Chatbot zeigte, der auf der HR-Datenbank des Unternehmens trainiert wurde. Auf eine Frage zu Nvidias Finanzen wurde eine vorgefertigte Antwort gegeben, die mit NeMo Guardrails programmiert wurde.
Verwandt
- Top-Autoren verlangen von KI-Firmen eine Bezahlung für die Nutzung ihrer Arbeit
- GPT-4: So verwenden Sie den KI-Chatbot, der ChatGPT in den Schatten stellt
- Nvidia möchte nicht, dass Sie etwas über seine umstrittene neue GPU erfahren
Dies ist wichtig aufgrund der vielen sogenannten Halluzinationen, die wir bei KI-Chatbots gesehen haben. Microsofts Bing Chat, Zum Beispiel, lieferte uns einiges Bizarres und sachlich falsche Antworten in unserer ersten Demo. Wenn der LLM mit einer Frage konfrontiert wird, die er nicht versteht, erfindet er häufig eine Antwort, um die Frage zu beantworten. NeMo Guardrails zielt darauf ab, diesen erfundenen Reaktionen ein Ende zu setzen.
Empfohlene Videos
Die Sicherheitsgrundsätze konzentrieren sich darauf, unerwünschte Reaktionen aus dem LLM herauszufiltern und zu verhindern, dass Benutzer damit herumspielen. Wie wir bereits gesehen haben, ist das möglich Jailbreak ChatGPT und andere KI-Chatbots. NeMo Guardrails nimmt diese Anfragen entgegen und verhindert, dass sie jemals das LLM erreichen.
Obwohl NeMo Guardrails darauf ausgelegt ist, Chatbots themenbezogen und präzise zu halten, handelt es sich nicht um eine Allheillösung. Laut Nvidia eignet es sich am besten als zweite Verteidigungslinie und Unternehmen, die Chatbots entwickeln und einsetzen, sollten das Modell dennoch anhand einer Reihe von Sicherheitsmaßnahmen trainieren.
Auch Entwickler müssen das Tool an ihre Anwendungen anpassen. Dadurch kann NeoMo Guardrails auf Middleware aufbauen, die KI-Modelle bereits verwenden, wie beispielsweise LangChain, das bereits einen Rahmen dafür bietet, wie KI-Chatbots mit Benutzern interagieren sollen.
Nvidia ist nicht nur Open-Source, sondern bietet im Rahmen seines Programms auch NeMo Guardrails an AI Foundations-Dienst. Dieses Paket bietet mehrere vorab trainierte Modelle und Frameworks für Unternehmen, die weder die Zeit noch die Ressourcen haben, um ihre eigenen Modelle zu trainieren und zu warten.
Empfehlungen der Redaktion
- Aus diesem Grund denken die Leute, dass GPT-4 mit der Zeit dümmer werden könnte
- ChatGPT: die neuesten Nachrichten, Kontroversen und Tipps, die Sie wissen müssen
- Was ist eine DAN-Eingabeaufforderung für ChatGPT?
- Wix verwendet ChatGPT, um Ihnen beim schnellen Aufbau einer gesamten Website zu helfen
- Google Bard kann jetzt sprechen, aber kann es ChatGPT übertönen?
Werten Sie Ihren Lebensstil aufDigital Trends hilft Lesern mit den neuesten Nachrichten, unterhaltsamen Produktrezensionen, aufschlussreichen Leitartikeln und einzigartigen Einblicken, den Überblick über die schnelllebige Welt der Technik zu behalten.
