Nvidia introduceert zijn nieuwe NeMo Guardrails-tool voor AI-ontwikkelaars en belooft AI-chatbots leuk te maken ChatGPT net iets minder gek. De open-sourcesoftware is nu beschikbaar voor ontwikkelaars en richt zich op drie gebieden om AI-chatbots nuttiger en minder verontrustend te maken.
De tool bevindt zich tussen de gebruiker en het Large Language Model (LLM) waarmee hij communiceert. Het is een veiligheidsmaatregel voor chatbots, die reacties onderscheppen voordat ze het taalmodel ooit bereiken, om te voorkomen dat het model reageert of om het specifieke instructies te geven over hoe te reageren.
Nvidia zegt dat NeMo Guardrails zich richt op actuele, veiligheids- en beveiligingsgrenzen. De actuele focus lijkt het nuttigst, omdat het de LLM dwingt om binnen een bepaald bereik van antwoorden te blijven. Nvidia demonstreerde Guardrails door een chatbot te laten zien die getraind was in de HR-database van het bedrijf. Toen hem een vraag werd gesteld over de financiën van Nvidia, kreeg hij een standaardantwoord dat was geprogrammeerd met NeMo Guardrails.
Verwant
- Topauteurs eisen betaling van AI-bedrijven voor het gebruik van hun werk
- GPT-4: hoe je de AI-chatbot gebruikt die ChatGPT te schande maakt
- Nvidia wil niet dat je iets weet over zijn controversiële nieuwe GPU
Dit is belangrijk vanwege de vele zogenaamde hallucinaties die we hebben gezien bij AI-chatbots. BingChat van Microsoft, Bijvoorbeeld, voorzag ons van een aantal bizarre en feitelijk onjuiste reacties in onze eerste demo. Wanneer hij wordt geconfronteerd met een vraag die de LLM niet begrijpt, zal hij vaak een antwoord verzinnen in een poging aan de vraag te voldoen. NeMo Guardrails wil een einde maken aan deze verzonnen reacties.
Aanbevolen video's
De veiligheids- en beveiligingsprincipes zijn erop gericht ongewenste reacties van de LLM uit te filteren en te voorkomen dat er door gebruikers mee wordt gespeeld. Zoals we al hebben gezien, kan dat jailbreak ChatGPT en andere AI-chatbots. NeMo Guardrails zal deze vragen behandelen en voorkomen dat ze ooit de LLM bereiken.
Hoewel NeMo Guardrails is gebouwd om chatbots actueel en accuraat te houden, is het geen allesomvattende oplossing. Nvidia zegt dat het het beste werkt als tweede verdedigingslinie, en dat bedrijven die chatbots ontwikkelen en inzetten het model nog steeds moeten trainen op een reeks waarborgen.
Ontwikkelaars moeten de tool ook aanpassen aan hun applicaties. Hierdoor kan NeoMo Guardrails bovenop middleware zitten die AI-modellen al gebruiken, zoals LangChain, dat al een raamwerk biedt voor de manier waarop AI-chatbots geacht worden met gebruikers te communiceren.
Naast dat het open-source is, biedt Nvidia ook NeMo Guardrails aan als onderdeel van zijn programma AI Foundations-service. Dit pakket biedt verschillende vooraf getrainde modellen en raamwerken voor bedrijven die niet de tijd of middelen hebben om hun eigen modellen te trainen en te onderhouden.
Aanbevelingen van de redactie
- Dit is de reden waarom mensen denken dat GPT-4 in de loop van de tijd dommer zal worden
- ChatGPT: het laatste nieuws, controverses en tips die u moet weten
- Wat is een DAN-prompt voor ChatGPT?
- Wix gebruikt ChatGPT om u te helpen snel een hele website te bouwen
- Google Bard kan nu spreken, maar kan het ChatGPT overstemmen?
Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.
