Nvidia introduserer sitt nye NeMo Guardrails-verktøy for AI-utviklere, og det lover å lage AI-chatbots som ChatGPT bare litt mindre gal. Programvaren med åpen kildekode er tilgjengelig for utviklere nå, og den fokuserer på tre områder for å gjøre AI-chatboter mer nyttige og mindre urovekkende.
Verktøyet sitter mellom brukeren og den store språkmodellen (LLM) de samhandler med. Det er en sikkerhet for chatbots, som fanger opp svar før de noen gang når språkmodellen for enten å stoppe modellen fra å svare eller gi den spesifikke instruksjoner om hvordan den skal svare.
Nvidia sier at NeMo Guardrails er fokusert på aktuelle grenser, sikkerhet og sikkerhetsgrenser. Det aktuelle fokuset ser ut til å være det mest nyttige, siden det tvinger LLM til å holde seg i et bestemt spekter av svar. Nvidia demonstrerte Guardrails ved å vise en chatbot trent på selskapets HR-database. Da det ble stilt et spørsmål om Nvidias økonomi, ga det et hermetisert svar som var programmert med NeMo Guardrails.
I slekt
- Toppforfattere krever betaling fra AI-firmaer for å bruke arbeidet deres
- GPT-4: hvordan bruke AI-chatboten som gjør ChatGPT til skamme
- Nvidia vil ikke at du skal vite om den kontroversielle nye GPUen
Dette er viktig på grunn av de mange såkalte hallusinasjonene vi har sett fra AI-chatboter. Microsofts Bing Chat, for eksempel, ga oss flere bisarre og faktisk feil svar i vår første demo. Når den står overfor et spørsmål som LLM ikke forstår, vil den ofte lage et svar i et forsøk på å tilfredsstille spørringen. NeMo Guardrails har som mål å sette en stopper for de oppdiktede svarene.
Anbefalte videoer
Sikkerhets- og sikkerhetsprinsippene fokuserer på å filtrere ut uønskede svar fra LLM og forhindre at brukere leker med det. Som vi allerede har sett, kan du jailbreak ChatGPT og andre AI chatbots. NeMo Guardrails vil ta disse spørsmålene og blokkere dem fra å nå LLM.
Selv om NeMo Guardrails er bygget for å holde chatbots aktuelt og nøyaktig, er det ikke en helhetlig løsning. Nvidia sier det fungerer best som en andre forsvarslinje, og at selskaper som utvikler og distribuerer chatboter fortsatt bør trene modellen på et sett med sikkerhetstiltak.
Utviklere må også tilpasse verktøyet for å passe deres applikasjoner. Dette gjør at NeoMo Guardrails kan sitte på toppen av mellomvare som AI-modeller allerede bruker, for eksempel LangChain, som allerede gir et rammeverk for hvordan AI-chatboter skal samhandle med brukere.
I tillegg til å være åpen kildekode, tilbyr Nvidia også NeMo Guardrails som en del av sitt AI Foundations-tjeneste. Denne pakken gir flere forhåndsopplærte modeller og rammeverk for selskaper som ikke har tid eller ressurser til å trene og vedlikeholde sine egne modeller.
Redaktørenes anbefalinger
- Her er grunnen til at folk tror at GPT-4 kan bli dummere over tid
- ChatGPT: de siste nyhetene, kontroversene og tipsene du trenger å vite
- Hva er en DAN-forespørsel for ChatGPT?
- Wix bruker ChatGPT for å hjelpe deg raskt å bygge et helt nettsted
- Google Bard kan nå snakke, men kan det overdøve ChatGPT?
Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.
