We hebben Google Duplex getest, de AI voor bellen die deze zomer komt

Terwijl ik bij de receptie van een Thais restaurant in New York City werkte, pakte ik de telefoon, maakte een reservering en hing op. Surrealistisch was het eerste woord dat daarna in me opkwam, niet omdat ik deed alsof ik bij een werkte restaurant, maar waar ik zojuist mee heb gesproken en een tafel heb gereserveerd via de kunstmatig intelligente Google Assistent.

Ik kon de gedachte niet van me afzetten dat de stem aan de andere kant van de lijn geen levend wezen was, ook al was het maar een gesprek van twee minuten. Dat wil niet zeggen dat de assistent niet overtuigend was; als het mij niet had verteld (en als ik niet in een demo-omgeving was geweest), zou ik niet veel hebben nagedacht over de uitwisseling met wat klonk als een ander mens aan de andere kant.

De robotuitwisseling die ik had was onderdeel van een persdemonstratie waarvoor werd gehouden De Duplex-technologie van Google, voor het eerst aangekondigd op de I/O van het bedrijf

ontwikkelaarsconferentie in mei. Hiermee kunnen mensen een tafel in een restaurant reserveren, een knipafspraak plannen en de openingstijden van de winkel achterhalen Google Assistent. De stem assistent belt het restaurant of de winkel - nadat u een verzoek hebt ingediend vanaf uw telefoon of een slimme luidspreker met Assistent, zoals een Google huis - en minuten later ontvang je een melding waarin wordt bevestigd dat je plannen officieel zijn geboekt (of dat het gesprek niet kon worden voltooid).

De demo op I/O was overweldigend, maar was niet zonder controverse. Er werden zorgen geuit: waarom moest de AI zo levensecht klinken en waarom werd er geen disclaimer aangekondigd aan de menselijke beller, wat neerkwam op wat sommigen als bedrog beschouwden. En omdat het gesprek werd opgenomen, vroegen sommigen zich af of de technologie bepaalde wetten met betrekking tot telefoongesprekken zou schenden.

Sindsdien heeft Google zijn standpunt verduidelijkt en hebben we nu enkele antwoorden. Digital Trends bracht enige tijd door met het team erachter Dubbelzijdig en de technologie voor onszelf gedemonstreerd. Maar voordat we in onze ervaring duiken, laten we eens kijken naar de nieuwe details die we nog niet hebben besproken over hoe en waar Duplex zal werken.

Wat is Duplex en waar werkt het?

Duplex is een technologie in ontwikkeling waarmee Google Assistant op de gebruiker kan bellen namens, en het komt voort uit jarenlang onderzoek en werk op het gebied van kunstmatige intelligentie voor natuurlijke taal verwerken.

“We kunnen nu natuurlijke spraak begrijpen en we kunnen natuurlijke spraak genereren”, zegt Nick Fox, vice-president Product Management bij Google. “Deze technologieën worden bij Duplex toegepast om een ​​natuurlijk, boeiend gesprek te voeren dat zich aanpast aan wat er in het gesprek gebeurt, uiteindelijk met als doel dingen voor elkaar te krijgen.”

U helpen dingen gedaan te krijgen is het doel van Google voor Assistant, en met Duplex begint het bedrijf mee drie specifieke taken: een tafel reserveren in een restaurant, openingstijden van winkels vinden en een kapsalon plannen afspraak. Duplex kan momenteel niets meer doen dan dit, dus als een vraag niet relevant is (bijvoorbeeld vragen over het weer of sportuitslagen), zal de Assistent het niet begrijpen. Op dezelfde manier kan een gebruiker de Assistent niet vragen om oproepen te plaatsen die geen verband houden met de bovengenoemde taken.

Voor de gebruiker scheelt het wat tijd als de Assistent deze oproepen doet, maar het levert ook voordelen op voor bedrijven die deze oproepen ontvangen. Als een beller de Assistent bijvoorbeeld vraagt ​​naar de vakantietijden van een plaatselijke winkel, zal de Assistent bellen, antwoord krijgen en de uren worden toegevoegd aan Google Maps en Google Zoeken zodat iedereen het kan zien, met een geverifieerde tag ernaast.

Met deze informatie hoeft de Assistent, als andere bellers dezelfde informatie willen weten, deze alleen van de servers van Google te halen en niet nog een keer te bellen. Er is maar één persoon nodig om de Assistent te vragen, maar het kan potentieel veel tijd besparen voor werknemers die anders vast zouden zitten aan het beantwoorden van oproepen over winkeltijden.

Tijdens de testfase van Google deze zomer zal Duplex alleen werken met geselecteerde bedrijven en gebruikers in de VS, en zal alleen beschikbaar zijn bij restaurants en kapsalons die geen online boeking hebben systeem. Google Assistent al werkt met OpenTable, zodat hij geen restaurants hoeft te bellen die de boekingsservice gebruiken.

Google zal de komende weken eerst bellen tijdens kantooruren testen, en later deze zomer zal de test worden uitgebreid naar bellen voor reserveringen en knipafspraken. Er zal in deze periode veel worden getest en aangepast, dus het eindresultaat van Duplex kan er iets anders uitzien dan wat we al hebben gezien. Bedrijven kunnen zich afmelden als ze geen oproepen van de Google Assistent willen ontvangen.

“Wat je ziet is een technologie die zich nog in een zeer vroeg stadium bevindt”, zei Fox. “We willen er zelfs in dit stadium publiekelijk over praten om er zeker van te zijn dat we het goed doen, maar je ziet hier al iets heel vroeg in het proces.”

De demo

De demo-ervaring, die plaatsvond op Thep Thai in de wijk Upper East Side van New York City, werd zwaar gecontroleerd. Eerst gaf Google een presentatie waarin het totale proces van het plaatsen en beëindigen van een oproep werd getoond, maar waarin de technologie in realtime werd gebruikt. Een technicus gaf Duplex een tijd en groepsgrootte door die we hadden voorgesteld voor een boeking, en dit is wat volgde.

Het idee is dat je de Google Assistent op je telefoon vertelt of Google huis dat je “om 20.00 uur een tafel wilt reserveren bij Thep Thai voor twee. morgen." De assistent vraagt ​​of het goed is om een ​​tijd vanaf 20.00 uur te reserveren. tot 21.00 uur in het geval dat er om 20.00 uur geen tafel beschikbaar is en nadat u dit heeft bevestigd, wordt er gebeld naar het restaurant en wordt er contact met u opgenomen spoedig.

Als de restaurantmedewerker de telefoon opneemt, zegt Assistent het volgende, of iets wat daar op lijkt: “Hallo, ik bel om te reserveren. Ik ben de geautomatiseerde boekingsservice van Google, dus ik neem het gesprek op. Kan ik een tafel reserveren voor donderdag?”

Het gesprek wordt opgenomen, zodat menselijke operators bij Google de opname kunnen terugluisteren, aantekeningen kunnen maken bij het gesprek en eventuele fouten kunnen benadrukken die Duplex heeft gemaakt, zodat de service kan worden verbeterd.

De Assistent reageert vervolgens op elke gestelde vraag, zoals hoe laat de reservering is en hoeveel er zijn mensen in het gezelschap, en de naam voor de reservering - en het gesprek beleefd en snel loopt af. Als er om informatie zoals het e-mailadres van een gebruiker wordt gevraagd, zegt de Assistent dat hij geen toestemming heeft om die informatie te verstrekken.

De persoon die de reservering via Assistant heeft geboekt, krijgt nu een melding dat de tafel is gereserveerd en wordt automatisch toegevoegd aan Google Agenda. Voorafgaand aan de reservering krijgt de gebruiker een melding en de mogelijkheid om de afspraak te annuleren indien zij niet meer kan komen. De restauranteigenaar van Thep Thai zei dat veel mensen een reservering maken en vervolgens niet komen opdagen. Hij heeft goede hoop dat dit systeem, dat een gemakkelijke manier biedt om een ​​boeking te annuleren, voor minder lege tafels zal zorgen.

Na de hoofddemo stond Google ons toe het te proberen. Toen we de oproep beantwoordden, probeerden we Duplex te laten struikelen en wat complicaties op te leveren, maar de Assistent loste ze goed op. We vroegen hem om aan het begin van het gesprek stil te staan ​​– waarop hij ‘mhmm’ antwoordde in plaats van een mondeling ‘ja’. Toen we het vertelden, was de 6 p.m. de boekingstijd was vol, de assistent reageerde met een bereik tussen 18.00 uur. en 20.00 uur, en het werd geregeld voor onze 19.45 uur. aanbeveling. Vervolgens vroegen we om een ​​naam en telefoonnummer voor de reservering, en of de Assistent de naam kon spellen, wat met succes gebeurde.

Het is indrukwekkend hoe consistent goed Assistant zijn demo's afhandelde, hoewel we wel een moment tegenkwamen waarop het moest terugvallen op een menselijke operator. Het was toen iemand vroeg of de cliënt van de assistent het goed vond om e-mails van het restaurant te ontvangen. De formulering was een beetje vreemd en de assistent antwoordde met: "Het spijt me, ik denk dat ik in de war was", en er stond dat er een supervisor aan de lijn werd gezet. De menselijke telefoniste nam het snel over, vertelde de beller dat hij het e-mailadres niet mocht onthullen en rondde het boeken van de reservering af.

Hoe Duplex werkt

Vroege testversies van Duplex, die Google voor ons speelde, klonken ongelooflijk robotachtig. De Assistent kon echter nog steeds pauzes in het gesprek begrijpen en zelfs 'hallo?' zeggen. toen een restaurantmedewerker een paar seconden pauzeerde. Toch zei Scott Huffman, vice-president van Engineering voor Google Assistant, dat het ‘pijnlijk was om ernaar te luisteren’.

Duplex op het niveau krijgen waar het nu is, begon met veel handmatig en menselijk werk. Menselijke operators belden naar restaurants, annoteerden gesprekken en voerden de resultaten in Duplex in. Het team koppelde uitdrukkingen als ‘hoeveel mensen’ en zijn varianten aan ‘aantal mensen in de partij’, waardoor Duplex de vraag kon begrijpen.

In de tweede fase luisterden menselijke operators naar de telefoontjes die de Assistent pleegde, en als de zaken uit de hand liepen, sprong de telefoniste in om het over te nemen en ervoor te zorgen dat het gesprek succesvol was. Hierdoor kon het team de ruwe kanten van de service identificeren, die gesprekken annoteren en deze terugkoppelen naar de machine learning-algoritmen, zodat Duplex kon leren.

De laatste testfase is de geautomatiseerde modus, waarbij het geautomatiseerde systeem oproepen plaatst en voltooit. Dankzij de in het systeem ingebouwde ontsnappingsluiken kan de assistent terugspringen naar het belangrijkste doel: het voltooien van de taak, dankzij zinnen als: 'Ik weet niet zeker wat je zei. maar kan ik een tafel voor drie reserveren.” Als het systeem echt niet weet wat het nu moet doen, zal het zich sierlijk uit het gesprek terugtrekken en zal de menselijke operator over.

Op dit moment zegt Huffman dat ongeveer vier van de vijf oproepen die via Duplex worden gedaan, geen hulp van een menselijke telefoniste nodig hebben. Interessant genoeg zei hij dat menselijke operators niet van de service zullen worden weggetrokken naarmate Duplex beter wordt, omdat Google ze ziet als een integraal onderdeel om ervoor te zorgen dat Duplex probleemloos werkt.

De ‘ums’ en ‘ahs’

Tijdens het hele proces van het lesgeven aan Assistent legde Google de nadruk op het natuurlijker laten klinken, en minder als een robot. Na de demo bij Google I/O vroegen critici zich af waarom Google ‘ums en ahs’ probeert te combineren om de Assistent klinkt menselijker, vooral als er geen disclaimer aan het begin van de oproep werd toegevoegd dat het geen mens was. Er zijn nu disclaimers, maar Huffman zei dat spraakonvloeiendheden zoals ‘eh’ of ‘mhm’ zijn toegevoegd om de gespreksstroom gaande te houden.

“We proberen niet te misleiden of na te doen, maar als je teruggaat naar die opname van dat pijnlijke vroege systeem, klonk het niet erg natuurlijk, het klonk niet erg menselijk,” zei Huffman. “Maar als gevolg daarvan was de assistent niet erg succesvol in het voltooien van de taken. Veel mensen hingen op, of raakten in de war over waar ze mee praatten; het gesprek mislukte gewoon omdat het niet natuurlijk aanvoelde.

Huffman zei volgens hem onvloeiendheden in de spraak taalkundigen, zijn een belangrijk onderdeel van het gaande houden van een menselijk gesprek tussen twee mensen. Het is gemakkelijk om te zien hoe goed dit werkt als je gesprekken met de Assistent beluistert, en de resultaten zijn verre van de originele opname.

Eén manier waarop spraakonvloeiendheden helpen, is voor gespreksbevestiging, bijvoorbeeld wanneer één persoon aan het praten is, maar u wilt dat wel zorg ervoor dat de ontvanger weet dat je nog steeds bezig bent en luistert, bijvoorbeeld wanneer de Assistent 'mhmm' tegen ons zei toen hem werd gevraagd uitstel.

Een ander handig hulpmiddel is ‘eh’ zeggen als er onzekerheid is, als een beleefde manier om opheldering te vragen. De assistent voegde een 'eh' toe nadat hij niet kon horen wat de restaurantmedewerker zei, en volgde het verzoek opnieuw op.

De assistent met deze onvloeiende spraak vormt een schril contrast met de originele, robotachtige assistent. Het is veel minder koud en het gesprek verliep veel sneller. En in plaats van eenvoudige commando's te accepteren, communiceert de Assistent feitelijk met mensen via onze taal, wat sommigen zeker zal opwinden en anderen bang zal maken.

Gemak

Bij Duplex draait alles om gemak. Het bespaart u wat tijd, het kan u nauwkeurigere winkeltijden opleveren en het kan bedrijven ook tijd besparen. Google zei ook dat er hier een grote kans ligt om mensen te helpen die niet kunnen praten of moeite hebben met praten.

Huffman zei Duplex te zien als een evolutie van geautomatiseerde stemmachines uit het verleden, zoals bij het bellen naar uw bank, toen het een langzaam proces was van het indrukken van cijfers om naar rechts te gaan afdeling.

‘Als je vandaag de dag die luchtvaartmaatschappijen of banken belt, krijg je iets veel, veel leukers’, zei hij. “Je hoort een veel natuurlijker klinkende stem, en die zegt misschien iets als: ‘Vertel me gewoon wat je nodig hebt, je kunt dingen zeggen als: hoe laat is mijn vlucht?’ Duplex, we gaan eigenlijk gewoon een stap verder met datzelfde idee, waardoor het gesprek evolueert en het natuurlijker wordt, zodat het succesvoller is voor gebruikers en ondernemingen."

Google heeft ons niet laten zien hoe Duplex tijdens winkeluren naar bedrijven belt, en het heeft ook geen demonstratie gegeven van het plannen van knipafspraken – dus we kunnen geen commentaar geven op hoe goed Duplex in deze gevallen zou werken. We weten ook niet zeker of de menselijke operators toegang hebben tot uw telefoonnummer en volledige naam, aangezien dat een klein privacyrisico met zich meebrengt. We vragen ons ook af of Duplex in de toekomst meerdere talen zou ondersteunen. We hebben contact opgenomen met Google om een ​​aantal onbeantwoorde vragen te verifiëren, maar er zullen er uiteraard nog meer volgen naarmate de technologie vordert.

Van wat we tot nu toe hebben gezien, is het een veelbelovende technologie, maar is het iets dat we moeten omarmen of vrezen? We zullen blij zijn als we nooit meer urenlang in de wacht hoeven te staan, maar het is belangrijk om hier naar het traject te kijken. We streven voortdurend naar een toekomst waarin we met niemand hoeven te praten, waar je geïsoleerd in een appartement kunt leven, waarbij het eten bij je wordt bezorgd; pakketten afgeleverd door drones, en duizenden uren aan media om te consumeren zonder ooit naar buiten te hoeven stappen.

Hoewel Duplex misschien begint met enkele van de meer alledaagse telefoongesprekken, zal de AI steeds beter worden in gesprekken, waardoor het gemakkelijk wordt om naar andere industrieën te porten. Het zal aan ons als samenleving zijn om te beslissen hoeveel van ons gepraat via AI moet gebeuren, en of het de moeite waard is om de telefoon weer op te pakken.

Aanbevelingen van de redactie

• Ik heb mezelf een 14,5-inch tablet laten proberen, en dat ging niet zo goed
• Ik vind de Pixel 7a erg leuk, maar er is één groot probleem dat ik niet kan negeren
• Ik wil dol zijn op de Pixel 7 en Pixel 7 Pro, maar Google staat dat niet toe
• Hier is alles wat Google niet heeft aangekondigd tijdens het Pixel Fall Launch-evenement
• Alles wat Google niet heeft aangekondigd op Google I/O 2021