Nvidia introducerar sitt nya NeMo Guardrails-verktyg för AI-utvecklare, och det lovar att göra AI-chatbotar som ChatGPT bara lite mindre galen. Programvaran med öppen källkod är tillgänglig för utvecklare nu, och den fokuserar på tre områden för att göra AI-chatbotar mer användbara och mindre oroande.
Verktyget sitter mellan användaren och den stora språkmodellen (LLM) de interagerar med. Det är en säkerhet för chatbots, som avlyssnar svar innan de någonsin når språkmodellen för att antingen stoppa modellen från att svara eller ge den specifika instruktioner om hur den ska svara.
Nvidia säger att NeMo Guardrails är fokuserat på aktuella, säkerhets- och säkerhetsgränser. Det aktuella fokuset verkar vara det mest användbara, eftersom det tvingar LLM att stanna inom ett visst antal svar. Nvidia demonstrerade Guardrails genom att visa en chatbot tränad i företagets HR-databas. När den ställdes en fråga om Nvidias ekonomi gav den ett standardsvar som programmerades med NeMo Guardrails.
Relaterad
- Toppförfattare kräver betalning från AI-företag för att de använder deras arbete
- GPT-4: hur man använder AI-chatboten som gör ChatGPT på skam
- Nvidia vill inte att du ska veta om dess kontroversiella nya GPU
Detta är viktigt på grund av de många så kallade hallucinationer vi har sett från AI-chatbotar. Microsofts Bing Chat, till exempel, försett oss med flera bisarra och faktiskt felaktiga svar i vår första demo. När den ställs inför en fråga som LLM inte förstår, kommer den ofta att skapa ett svar i ett försök att tillfredsställa frågan. NeMo Guardrails syftar till att sätta stopp för dessa påhittade svar.
Rekommenderade videor
Säkerhetsprinciperna fokuserar på att filtrera bort oönskade svar från LLM och förhindra att användarna leker med det. Som vi redan har sett kan du jailbreak ChatGPT och andra AI-chatbotar. NeMo Guardrails tar dessa frågor och blockerar dem från att någonsin nå LLM.
Även om NeMo Guardrails är byggda för att hålla chatbotarna aktuella och korrekta, är det inte en sammanfattande lösning. Nvidia säger att det fungerar bäst som en andra försvarslinje, och att företag som utvecklar och distribuerar chatbotar fortfarande bör träna modellen på en uppsättning skyddsåtgärder.
Utvecklare måste också anpassa verktyget för att passa deras applikationer. Detta gör att NeoMo Guardrails kan sitta ovanpå mellanprogram som AI-modeller redan använder, såsom LangChain, som redan tillhandahåller ett ramverk för hur AI-chatbotar ska interagera med användare.
Förutom att vara öppen källkod erbjuder Nvidia också NeMo Guardrails som en del av sitt AI Foundations tjänst. Detta paket tillhandahåller flera förutbildade modeller och ramverk för företag som inte har tid eller resurser att träna och underhålla sina egna modeller.
Redaktörens rekommendationer
- Här är anledningen till att folk tror att GPT-4 kan bli dummare med tiden
- ChatGPT: de senaste nyheterna, kontroverserna och tipsen du behöver veta
- Vad är en DAN-prompt för ChatGPT?
- Wix använder ChatGPT för att hjälpa dig att snabbt bygga en hel webbplats
- Google Bard kan nu tala, men kan det överrösta ChatGPT?
Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.
