Nvidia introducerer sit nye NeMo Guardrails-værktøj til AI-udviklere, og det lover at få AI-chatbots som ChatGPT bare lidt mindre sindssyg. Open source-softwaren er tilgængelig for udviklere nu, og den fokuserer på tre områder for at gøre AI-chatbots mere nyttige og mindre foruroligende.
Værktøjet sidder mellem brugeren og den store sprogmodel (LLM), som de interagerer med. Det er en sikkerhed for chatbots, der opsnapper svar, før de nogensinde når sprogmodellen for enten at stoppe modellen i at reagere eller give den specifikke instruktioner om, hvordan den skal reagere.
Nvidia siger, at NeMo Guardrails er fokuseret på aktuelle, sikkerheds- og sikkerhedsgrænser. Det aktuelle fokus ser ud til at være det mest nyttige, da det tvinger LLM til at forblive i en bestemt række af svar. Nvidia demonstrerede Guardrails ved at vise en chatbot trænet i virksomhedens HR-database. Da det blev stillet et spørgsmål om Nvidias økonomi, gav det et svar på dåse, der var programmeret med NeMo Guardrails.
Relaterede
- Topforfattere kræver betaling fra AI-virksomheder for at bruge deres arbejde
- GPT-4: hvordan man bruger AI chatbot, der gør ChatGPT til skamme
- Nvidia ønsker ikke, at du skal vide om dens kontroversielle nye GPU
Dette er vigtigt på grund af de mange såkaldte hallucinationer, vi har set ud af AI-chatbots. Microsofts Bing Chat, for eksempel, forsynet os med flere bizarre og faktuelt forkerte svar i vores første demo. Når den står over for et spørgsmål, som LLM ikke forstår, vil den ofte udgøre et svar i et forsøg på at tilfredsstille forespørgslen. NeMo Guardrails har til formål at sætte en stopper for disse opdigtede svar.
Anbefalede videoer
Sikkerheds- og sikkerhedsprincipperne fokuserer på at bortfiltrere uønskede svar fra LLM og forhindre, at det bliver leget med af brugerne. Som vi allerede har set, kan du jailbreak ChatGPT og andre AI-chatbots. NeMo Guardrails vil tage disse forespørgsler og blokere dem fra nogensinde at nå LLM.
Selvom NeMo Guardrails er bygget til at holde chatbots ved lige og præcise, er det ikke en samlet løsning. Nvidia siger, at det fungerer bedst som en anden forsvarslinje, og at virksomheder, der udvikler og implementerer chatbots, stadig bør træne modellen i et sæt sikkerhedsforanstaltninger.
Udviklere skal også tilpasse værktøjet, så det passer til deres applikationer. Dette giver NeoMo Guardrails mulighed for at sidde oven på middleware, som AI-modeller allerede bruger, såsom LangChain, som allerede giver en ramme for, hvordan AI-chatbots skal interagere med brugerne.
Udover at være open source tilbyder Nvidia også NeMo Guardrails som en del af sit AI Foundations service. Denne pakke indeholder flere præ-trænede modeller og rammer til virksomheder, der ikke har tid eller ressourcer til at træne og vedligeholde deres egne modeller.
Redaktørens anbefalinger
- Her er grunden til, at folk tror, at GPT-4 kan blive dummere med tiden
- ChatGPT: de seneste nyheder, kontroverser og tips, du har brug for at vide
- Hvad er en DAN-prompt til ChatGPT?
- Wix bruger ChatGPT til at hjælpe dig med hurtigt at bygge et helt websted
- Google Bard kan nu tale, men kan den overdøve ChatGPT?
Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.
