Vi testade Google Duplex, telefonsamtal AI som kommer i sommar

När jag arbetade i receptionen på en thairestaurang i New York, lyfte jag luren, tog ner en bokning och lade på. Surrealistiskt var det första ordet som kom att tänka på efteråt, inte för att jag låtsades jobba på a restaurang, men som jag precis pratat med och bokat bord från det artificiellt intelligenta Google Assistent.

Jag kunde inte skaka tanken på att rösten i andra änden inte var en levande varelse, även om det bara var ett två minuters samtal. Därmed inte sagt att assistenten inte var övertygande; om det inte berättade för mig (och om jag inte var i en demomiljö), skulle jag inte ha tänkt så mycket på utbytet med vad som lät som en annan människa i andra änden.

Robotutbytet jag hade var en del av en pressdemo som hölls för Googles Duplex-teknik, först tillkännagavs vid företagets I/O utvecklarkonferens i maj. Det låter folk boka bord på en restaurang, boka tid för en frisyr och ta reda på butikens öppettider

Google Assistant. De röstassistent kommer att ringa restaurangen eller butiken — efter att du har gjort en förfrågan från din telefon eller Assistent-aktiverade smarta högtalare, som en Google Home - och minuter senare får du ett meddelande som bekräftar att dina planer är officiellt bokade (eller om samtalet inte kunde slutföras).

Demon på I/O var häpnadsväckande, men var inte utan kontroverser. Bekymmer väcktes: Varför behövde AI låta så verklighetstrogen och varför tillkännagav den inte en ansvarsfriskrivning till den mänskliga uppringaren, vilket motsvarar vad vissa ansåg vara bedrägeri. Och eftersom samtalet spelades in ifrågasatte några om tekniken skulle bryta mot vissa lagar som styr telefonsamtal.

Sedan dess har Google klargjort sin ståndpunkt, och vi har nu några svar. Digital Trends tillbringade lite tid med teamet bakom Duplex och demonstrerade tekniken för oss själva. Men innan vi dyker in i vår upplevelse, låt oss ta en titt på de nya detaljerna vi har tagit reda på om hur och var Duplex kommer att fungera.

Vad är Duplex och var fungerar det?

Duplex är en teknik under utveckling som gör att Google Assistant kan ringa telefonsamtal på användarens på uppdrag, och det härrör från år av forskning och arbete med artificiell intelligens för naturligt språk bearbetning.

"Vi kan nu förstå naturligt tal och vi kan generera naturligt tal," sa Nick Fox, vice vd för produkthantering på Google. "Dessa teknologier tillämpas med Duplex för att ha en naturlig, engagerande konversation som anpassar sig till vad som händer i konversationen, i slutändan med målet att få saker gjorda."

Att hjälpa dig att få saker gjorda är Googles mål för Assistant, och med Duplex börjar företaget med tre specifika uppgifter: Boka bord på en restaurang, hitta butikstider och schemalägga en frisersalong utnämning. Duplex kan inte göra något mer än så här för tillfället, så om en fråga inte är relevant (säg att fråga om vädret eller sportresultat) kommer assistenten inte att förstå. På samma sätt kan en användare inte be assistenten att ringa samtal som inte är relaterade till ovannämnda uppgifter.

För användaren frigör det lite tid att assistenten ringer dessa samtal, men det gynnar också företag som tar emot dessa samtal. Till exempel, om en uppringare frågar assistenten om helgtiderna i en lokal butik, kommer assistenten att ringa samtalet, få svar och timmarna läggs till Google kartor och Google Sök för alla att se, med en verifierad tagg bredvid.

Med denna information, om andra uppringare vill veta samma information, skulle assistenten bara behöva hämta den från Googles servrar och inte ringa ett nytt samtal. Det krävs bara en person för att fråga Assistant, men har potential att spara mycket tid för anställda som annars skulle ha fastnat för att svara på samtal om butikstider.

Under Googles testfas i sommar kommer Duplex endast att fungera med utvalda företag och användare i USA, och det kommer endast att finnas på restauranger och frisörsalonger som inte har en onlinebokning systemet. Google Assistant redan fungerar med OpenTable, så det behöver inte ringa restauranger som använder bokningstjänsten.

Google kommer att testa samtal för öppettider först under de närmaste veckorna, och senare i sommar kommer testet att utökas till att ringa för bokningar och tid för frisyr. Det kommer att bli mycket testning och justeringar under denna period, så slutresultatet av Duplex kan se lite annorlunda ut än vad vi redan har sett. Företag kommer att kunna välja bort dem om de inte vill ta emot samtal från Google Assistant.

"Vad du ser är en teknik som är mycket tidiga," sa Fox. "Vi vill prata om det offentligt även i detta skede för att se till att vi får det rätt, men du ser något ganska tidigt i processen här."

Demon

Demoupplevelsen, som ägde rum kl Thep Thai i Upper East Side-kvarteren i New York City, var hårt kontrollerad. Först höll Google en presentation som visar den övergripande processen för att ringa och avsluta ett samtal, men som faktiskt använder tekniken i realtid. En ingenjör gav Duplex en tid och en gruppstorlek som vi föreslog för en bokning, och här är vad som följde.

Tanken är att du skulle berätta för Google Assistant på din telefon eller Google Home att du vill ”boka bord på Thep Thai för två kl 20.00. i morgon." Assistenten frågar om det är okej att boka en tid från 20.00. till 21.00 om det inte finns något ledigt bord kl. 20.00, och efter att du har bekräftat, kommer den att säga att den kommer att ringa restaurangen och återkommer till dig snart.

När restauranganställda lyfter luren säger assistenten följande, eller något liknande: "Hej, jag ringer för att boka. Jag är Googles automatiska bokningstjänst så jag spelar in samtalet. Kan jag boka bord på torsdag?”

Samtalet spelas in så att mänskliga operatörer på Google kan lyssna tillbaka på inspelningen, kommentera konversationen och markera eventuella misstag som Duplex gjort så att det kan göra tjänsten bättre.

Assistenten fortsätter att svara på varje fråga som ställs – till exempel vilken tid bokningen gäller, hur många människor är i sällskapet, och namnet på reservationen - och konversationen artigt och snabbt slutar. Om den efterfrågas information som en användares e-postadress kommer assistenten att säga att den inte har behörighet att tillhandahålla den informationen.

Personen som bokade bokningen via Assistant får nu ett meddelande om att bordet har reserverats, och det läggs automatiskt till i Google Kalender. Inför bokningen kommer användaren att få ett meddelande och en möjlighet att avboka mötet ifall hon inte längre kan göra det. Thep Thais restaurangägare sa att många människor gör bokningar och sedan inte dyker upp. Han hoppas att detta system, som erbjuder ett enkelt sätt att avboka en bokning, kommer att innebära färre tomma bord.

Efter huvuddemon tillät Google oss att prova det. När vi tog samtalet försökte vi fälla Duplex och kastade in några komplikationer, men Assistant hanterade dem bra. Vi bad den att hålla i början av konversationen - som den svarade "mhmm" snarare än ett verbalt "ja". När vi berättade det 6 kl. bokningstiden var full, assistenten svarade med ett intervall mellan 18.00. och 20.00, och det nöjde sig med vår 19.45. rekommendation. Vi bad sedan om ett namn och telefonnummer för bokningen, och om assistenten kunde stava namnet, vilket det gjorde med framgång.

Det är imponerande hur konsekvent väl Assistant hanterade sina demos, även om vi stötte på ett ögonblick då det behövde falla tillbaka på en mänsklig operatör. Det var när någon frågade om assistentens klient var okej med att ta emot e-postmeddelanden från restaurangen. Fraseringen var lite besvärlig, och assistenten svarade med: "Jag är ledsen, jag tror att jag blev förvirrad", och den sa att det satte en handledare på spel. Den mänskliga operatören tog snabbt över, sa till uppringaren att den inte kan avslöja e-postadressen och avslutade bokningen.

Hur duplex fungerar

Tidiga testversioner av Duplex, som Google spelade för oss, lät otroligt robotaktiga. Men assistenten kunde fortfarande förstå pauser i konversationen och till och med säga "hej?" när en restauranganställd pausade några sekunder. Ändå sa Scott Huffman, vice vd för teknik för Google Assistant, att det var "smärsamt att lyssna på det."

Att få Duplex till den nivå där det är nu började med mycket manuellt och mänskligt arbete. Mänskliga operatörer ringde restauranger, kommenterade konversationer och matade in resultaten i Duplex. Teamet skulle länka fraser som "hur många personer" och dess variationer till "antal personer i sällskapet", vilket gör att Duplex kan förstå frågan.

Det andra steget involverade mänskliga operatörer som lyssnade på samtal som assistenten ringde, och om saker gick ur spår hoppade operatören in för att ta över och se till att samtalet lyckades. Detta gjorde det möjligt för teamet att identifiera de grova kanterna kring tjänsten, kommentera dessa konversationer och mata tillbaka det till maskininlärningsalgoritmerna så att Duplex kunde lära sig.

Det sista teststeget är automatiserat läge, där det automatiserade systemet ringer och slutför dem. Utrymningsluckor inbyggda i systemet gör att assistenten kan hoppa tillbaka till huvudmålet att slutföra uppgiften, tack vare meningar som "Jag är inte säker på vad du sa, men kan jag boka ett bord för tre.” Om systemet verkligen inte vet vad det ska göra härnäst, kommer det graciöst att böja sig ur konversationen, och den mänskliga operatören kommer att ta över.

För tillfället sa Huffman att cirka fyra av fem samtal från Duplex inte behöver hjälp av en mänsklig operatör. Intressant nog sa han att mänskliga operatörer inte kommer att dras bort från tjänsten när Duplex blir bättre, eftersom Google ser dem som en integrerad del i att säkerställa att Duplex fungerar utan problem.

"ums" och "ahs"

Under hela processen med att lära ut Assistant, lade Google tonvikt på att få det att låta mer naturligt och mindre som en robot. Efter demon på Google I/O frågade kritikerna varför Google försöker blanda in "ums och ahs" för att göra assistenten låter mer mänskligt, särskilt om det inte lade till en ansvarsfriskrivning i början av samtalet att det inte var en människa. Det finns friskrivningar nu, men Huffman sa att talproblem som "um" eller "mhm" lades till för att hålla konversationsflödet igång.

"Vi försöker inte lura eller imitera, men om du går tillbaka till den där inspelningen av det smärtsamma tidiga systemet lät det inte särskilt naturligt, det lät inte särskilt mänskligt," sa Huffman. "Men som ett resultat av det var assistenten inte särskilt framgångsrik med att slutföra uppgifterna. Många människor lade på eller blev förvirrade över vad de pratade med, konversationen skulle bara bryta ihop för att det inte kändes naturligt.”

Huffman sa att tal störningar, enligt lingvister, är en viktig del av att hålla mänskliga samtal mellan två personer igång. Det är lätt att se hur bra detta fungerar när du hör konversationer med assistenten, och resultaten är långt ifrån den ursprungliga inspelningen.

Ett sätt som talarstörningar hjälper är att bekräfta samtalet, till exempel när en person pratar, men du vill se till att mottagaren vet att du fortfarande är engagerad och lyssnar, som när assistenten sa "mhmm" till oss när den blev ombedd att håll.

Ett annat användbart verktyg är att säga ”um” när det råder osäkerhet, som ett artigt sätt att be om ett förtydligande. Assistenten lade till ett "um" efter att den inte kunde höra vad restauranganställden sa och följde upp sin begäran igen.

Assistent med dessa talsvårigheter är en skarp kontrast mot den ursprungliga robotassistenten. Det är mycket mindre kallt och samtalet gick mycket snabbare. Och istället för att acceptera enkla kommandon, interagerar Assistant faktiskt med människor genom vårt språk, vilket säkert kommer att upphetsa vissa samtidigt som andra skrämmer.

bekvämlighet

Duplex handlar om bekvämlighet. Det sparar lite tid, det kan ge dig mer exakta butikstider och det kan också spara tid för företag. Google sa också att det finns en stor möjlighet här att hjälpa människor som inte kan prata eller har problem med att prata.

Huffman sa att han skulle tänka på Duplex som en utveckling av automatiserade röstmaskiner från det förflutna, som t.ex när du ringer din bank, när det var en långsam process att trycka på nummer för att komma till höger avdelning.

"Om du idag ringer dessa flygbolag eller banker får du något mycket, mycket trevligare," sa han. "Du kommer att höra en mycket mer naturligt klingande röst, och den kan säga något i stil med,"Säg bara vad du behöver, du kan säga saker som, vilken tid är mitt flyg?" Duplex, vi tar egentligen bara samma idé ett steg längre, utvecklar konversationen och gör den mer naturlig så att den blir mer framgångsrik för användare och företag.”

Google har inte visat oss hur Duplex ringer till företag under butikens öppettider, och inte heller har det demonstrerat schemaläggning av frisyrtider – så vi kan inte kommentera hur bra Duplex skulle fungera i dessa fall. Vi är också osäkra på om de mänskliga operatörerna kommer att ha tillgång till ditt telefonnummer och fullständiga namn, eftersom det utgör lite av en integritetsrisk. Vi undrar också om Duplex skulle stödja flera språk i framtiden. Vi har kontaktat Google för att verifiera några obesvarade frågor, men det kommer naturligtvis att bli fler allt eftersom tekniken fortskrider.

Av vad vi har sett hittills är det lovande teknik, men är det något vi bör anamma eller frukta? Vi kommer att vara glada om vi aldrig behöver ställas på is i timmar i sträck igen, men det är viktigt att överväga banan här. Vi går hela tiden mot en framtid där vi inte behöver prata med någon, där du kan bo isolerad i en lägenhet, med mat levererad till dig; paket som släpps av drönare och tusentals timmar av media att konsumera utan att någonsin behöva gå ut.

Även om Duplex kan börja med några av de mer vardagliga telefonsamtal, kommer AI: n att bli bättre på konversationer, vilket gör det enkelt att överföra till andra industrier. Det kommer att vara upp till oss som samhälle att bestämma hur mycket av vårt samtal som ska göras genom AI, och om det är värt att ta upp telefonen igen.

Redaktörens rekommendationer

• Jag fick mig själv att prova en 14,5-tums surfplatta - och det gick inte särskilt bra
• Jag gillar verkligen Pixel 7a, men det finns ett stort problem som jag inte kan ignorera
• Jag vill älska Pixel 7 och Pixel 7 Pro, men Google tillåter mig inte
• Här är allt Google inte tillkännagav vid Pixel Fall Launch-evenemanget
• Allt Google inte tillkännagav vid Google I/O 2021