Nvidia memperkenalkan alat NeMo Guardrails barunya untuk pengembang AI, dan berjanji akan membuat chatbot AI seperti itu ObrolanGPT hanya sedikit kurang gila. Perangkat lunak sumber terbuka ini kini tersedia untuk pengembang, dan berfokus pada tiga area untuk membuat chatbot AI lebih berguna dan tidak terlalu mengganggu.
Alat ini berada di antara pengguna dan Model Bahasa Besar (LLM) yang berinteraksi dengan mereka. Ini adalah keamanan bagi chatbot, mencegat tanggapan sebelum mereka mencapai model bahasa untuk menghentikan model merespons atau memberikan instruksi spesifik tentang cara merespons.
Nvidia mengatakan NeMo Guardrails berfokus pada batasan topik, keselamatan, dan keamanan. Fokus topik tampaknya paling berguna, karena memaksa LLM untuk tetap berada pada kisaran respons tertentu. Nvidia mendemonstrasikan Guardrails dengan menunjukkan chatbot yang dilatih pada database SDM perusahaan. Ketika ditanya pertanyaan tentang keuangan Nvidia, ia memberikan tanggapan terekam yang diprogram dengan NeMo Guardrails.
Terkait
- Penulis terkenal menuntut pembayaran dari perusahaan AI untuk menggunakan karya mereka
- GPT-4: cara menggunakan chatbot AI yang mempermalukan ChatGPT
- Nvidia tidak ingin Anda tahu tentang GPU barunya yang kontroversial
Hal ini penting karena banyaknya halusinasi yang kita lihat dari chatbot AI. Obrolan Bing Microsoft, Misalnya, memberi kami beberapa hal aneh dan tanggapan yang sebenarnya salah dalam demo pertama kami. Ketika dihadapkan pada pertanyaan yang tidak dipahami oleh LLM, LLM sering kali akan memberikan tanggapan dalam upaya untuk memuaskan pertanyaan tersebut. NeMo Guardrails bertujuan untuk menghentikan tanggapan yang dibuat-buat tersebut.
Video yang Direkomendasikan
Prinsip keselamatan dan keamanan fokus pada menyaring tanggapan yang tidak diinginkan dari LLM dan mencegahnya dipermainkan oleh pengguna. Seperti yang telah kita lihat, Anda bisa jailbreak ObrolanGPT dan chatbot AI lainnya. NeMo Guardrails akan menerima pertanyaan tersebut dan memblokirnya agar tidak mencapai LLM.
Meskipun NeMo Guardrails dibuat untuk menjaga chatbot tetap sesuai topik dan akurat, ini bukanlah solusi yang mencakup semua hal. Nvidia mengatakan ini berfungsi paling baik sebagai garis pertahanan kedua, dan perusahaan yang mengembangkan dan menerapkan chatbot harus tetap melatih model tersebut mengenai serangkaian perlindungan.
Pengembang juga perlu menyesuaikan alat agar sesuai dengan aplikasi mereka. Hal ini memungkinkan NeoMo Guardrails untuk ditempatkan di atas middleware yang sudah digunakan oleh model AI, seperti LangChain, yang sudah menyediakan kerangka kerja tentang bagaimana chatbot AI seharusnya berinteraksi dengan pengguna.
Selain bersifat open-source, Nvidia juga menawarkan NeMo Guardrails sebagai bagiannya Layanan Yayasan AI. Paket ini menyediakan beberapa model dan kerangka kerja terlatih bagi perusahaan yang tidak memiliki waktu atau sumber daya untuk melatih dan memelihara model mereka sendiri.
Rekomendasi Editor
- Inilah alasan orang berpikir GPT-4 mungkin menjadi semakin bodoh seiring berjalannya waktu
- ChatGPT: berita terkini, kontroversi, dan tips yang perlu Anda ketahui
- Apa yang dimaksud dengan perintah DAN untuk ChatGPT?
- Wix menggunakan ChatGPT untuk membantu Anda membangun keseluruhan situs web dengan cepat
- Google Bard sekarang dapat berbicara, tetapi bisakah ia meredam ChatGPT?
Tingkatkan gaya hidup AndaTren Digital membantu pembaca mengawasi dunia teknologi yang bergerak cepat dengan semua berita terbaru, ulasan produk yang menyenangkan, editorial yang berwawasan luas, dan cuplikan unik.
