Vi testede Google Duplex, den telefonopkaldende AI, der kommer til sommer

Mens jeg arbejdede i receptionen på en thai-restaurant i New York, tog jeg telefonen, tog en reservation ned og lagde røret på. Surrealistisk var det første ord, der kom til at tænke på bagefter, ikke fordi jeg foregav at arbejde på en restaurant, men som jeg lige har talt med og bestilt bord fra det kunstigt intelligente Google Assistent.

Jeg kunne ikke ryste tanken om, at stemmen i den anden ende ikke var et levende væsen, selvom det kun var en to-minutters samtale. Det betyder ikke, at assistenten ikke var overbevisende; hvis det ikke fortalte mig (og hvis jeg ikke var i et demomiljø), ville jeg ikke have tænkt meget over udvekslingen med det, der lød som et andet menneske i den anden ende.

Robotudvekslingen, jeg havde, var en del af en pressedemo afholdt for Googles Duplex-teknologi, først annonceret på virksomhedens I/O udviklerkonference i maj. Det lader folk booke et bord på en restaurant, planlægge en frisøraftale og finde ud af butikkens åbningstider

Google Assistant. Det stemmeassistent vil ringe til restauranten eller butikken — efter du har fremsat en anmodning fra din telefon eller Assistent-aktiverede smarthøjttaler, f.eks Google Home - og minutter senere får du en meddelelse, der bekræfter, at dine planer er officielt bookede (eller hvis opkaldet ikke kunne gennemføres).

Demoen på I/O var forbløffende, men var ikke uden kontroverser. Der blev rejst bekymringer: Hvorfor behøvede AI at lyde så naturtro, og hvorfor annoncerede den ikke en ansvarsfraskrivelse til den menneskelige, der ringer, svarende til, hvad nogle betragtede som bedrag. Og fordi opkaldet blev optaget, stillede nogle spørgsmålstegn ved, om teknologien ville overtræde visse love, der styrer telefonopkald.

Siden dengang har Google afklaret sin holdning, og vi har nu nogle svar. Digital Trends brugte noget tid sammen med holdet bag Duplex og demonstrerede teknologien for os selv. Men før vi dykker ned i vores oplevelse, lad os tage et kig på de nye detaljer, vi har afsløret om, hvordan og hvor Duplex vil fungere.

Hvad er Duplex, og hvor fungerer det?

Duplex er en teknologi under udvikling, der gør det muligt for Google Assistant at foretage telefonopkald på brugerens på vegne, og det stammer fra mange års forskning og arbejde med kunstig intelligens til naturligt sprog forarbejdning.

"Vi kan nu forstå naturlig tale, og vi kan generere naturlig tale," sagde Nick Fox, vicepræsident for Product Management hos Google. "Disse teknologier anvendes med Duplex for at have en naturlig, engagerende samtale, der tilpasser sig, hvad der sker i samtalen, i sidste ende med det mål at få tingene gjort."

At hjælpe dig med at få tingene gjort er Googles mål for Assistant, og med Duplex starter virksomheden med tre specifikke opgaver: Bestilling af bord på en restaurant, finde butiksåbningstider og planlægning af en frisørsalon aftale. Duplex kan ikke gøre mere end dette i øjeblikket, så hvis en forespørgsel ikke er relevant (f.eks. at spørge om vejret eller sportsresultater), forstår assistenten det ikke. På samme måde kan en bruger ikke bede Assistant om at foretage opkald, der ikke er relateret til de førnævnte opgaver.

For brugeren frigør det lidt tid, hvis assistenten foretager disse opkald, men det gavner også virksomheder, der modtager disse opkald. For eksempel, hvis en, der ringer op, beder assistenten om ferieåbningerne i en lokal butik, vil assistenten foretage opkaldet, få svaret, og åbningstiderne føjes til Google kort og Google Søgning, så alle kan se, med et bekræftet tag ved siden af.

Med denne information, hvis andre opkaldere vil vide den samme information, behøver assistenten kun at trække den fra Googles servere og ikke foretage et nyt opkald. Det kræver kun én person at spørge assistenten, men har potentiale til at spare en masse tid for medarbejdere, der ellers ville sidde fast ved at besvare opkald om butikstider.

Under Googles testfase denne sommer vil Duplex kun arbejde med udvalgte virksomheder og brugere i USA, og det vil kun være tilgængeligt på restauranter og frisørsaloner, der ikke har en online booking system. Google Assistant allerede fungerer med OpenTable, så den behøver ikke ringe til restauranter, der bruger bookingtjenesten.

Google vil først teste opkald til åbningstider inden for de næste par uger, og senere på sommeren udvides testen til at opfordre til reservationer og klipningsaftaler. Der vil være en masse test og justeringer i denne periode, så slutresultatet af Duplex kan se lidt anderledes ud end det, vi allerede har set. Virksomheder vil kunne fravælge dem, hvis de ikke ønsker at modtage opkald fra Google Assistant.

"Det, du ser, er en teknologi, der er meget tidlige stadier," sagde Fox. "Vi vil gerne tale om det offentligt selv på dette stadium for at sikre, at vi får det rigtigt, men du ser noget ret tidligt i processen her."

Demoen

Demooplevelsen, som fandt sted kl Thep Thai i Upper East Side-kvarteret i New York City, var stærkt kontrolleret. Først holdt Google en præsentation, der viser den overordnede proces med at foretage og afslutte et opkald, men faktisk bruge teknologien i realtid. En ingeniør gav Duplex et tidspunkt og en feststørrelse, vi foreslog til en reservation, og her er hvad der fulgte.

Ideen er, at du vil fortælle Google Assistant på din telefon eller Google Home at du vil ”bestille bord på Thep Thai for to kl. 20.00. i morgen." Assistent vil spørge, om det er i orden at bestille en tid fra kl. til 21.00. hvis der ikke er noget ledigt bord kl. 20.00, og efter du har bekræftet, vil den sige, at den vil ringe til restauranten og vende tilbage til dig snart.

Når restaurantmedarbejderen tager telefonen, siger assistenten følgende eller noget lignende: "Hej, jeg ringer for at reservere. Jeg er Googles automatiske bookingtjeneste, så jeg optager opkaldet. Kan jeg bestille bord til torsdag?”

Opkaldet optages, så menneskelige operatører hos Google kan lytte tilbage til optagelsen, kommentere samtalen og fremhæve eventuelle fejl, som Duplex har lavet, så det kan gøre tjenesten bedre.

Assistent fortsætter med at svare på hvert stillede spørgsmål - såsom hvornår reservationen er, hvor mange folk er i partiet, og navnet på reservationen - og samtalen høfligt og hurtigt slutter. Hvis den bliver bedt om oplysninger såsom en brugers e-mailadresse, vil assistenten sige, at den ikke har tilladelse til at give disse oplysninger.

Den person, der har reserveret reservationen gennem Assistant, får nu en notifikation om, at bordet er reserveret, og det vil automatisk blive tilføjet til Google Kalender. Forud for reservationen vil brugeren få en meddelelse og mulighed for at annullere aftalen, hvis hun ikke længere kan nå den. Thep Thais restaurantejer sagde, at mange mennesker foretager reservationer og derefter ikke dukker op. Han håber, at dette system, som tilbyder en nem måde at annullere en reservation på, vil betyde færre tomme borde.

Efter hoveddemoen gav Google os lov til at prøve det. Da vi tog opkaldet, forsøgte vi at slå Duplex op og kastede nogle komplikationer ind, men assistenten håndterede dem godt. Vi bad den om at holde i begyndelsen af ​​samtalen - hvorpå den svarede "mhmm," snarere end et verbalt "ja." Da vi fortalte det 6 om eftermiddagen. bookingtiden var fuld op, Assistent svarede med et interval mellem kl. og 20.00, og det nøjedes med vores 19.45. henstilling. Vi bad derefter om et navn og telefonnummer til reservationen, og om assistenten kunne stave navnet, hvilket den gjorde med succes.

Det er imponerende, hvor konsekvent godt Assistant håndterede sine demoer, selvom vi stødte på et øjeblik, hvor den skulle falde tilbage på en menneskelig operatør. Det var, da nogen spurgte, om assistentens klient var okay med at modtage e-mails fra restauranten. Fraseringen var lidt akavet, og assistenten svarede med: "Undskyld, jeg tror, ​​jeg blev forvirret," og den sagde, at det satte en supervisor på spil. Den menneskelige operatør tog hurtigt over, fortalte den, der ringer op, at den ikke kan afsløre e-mailadressen, og afsluttede reservationen.

Sådan fungerer Duplex

Tidlige testversioner af Duplex, som Google spillede for os, lød utrolig robotagtig. Assistenten var dog stadig i stand til at forstå pauser i samtalen og endda sige "hej?" da en restaurantmedarbejder holdt pause i et par sekunder. Alligevel sagde Scott Huffman, vicepræsident for Engineering for Google Assistant, at det var "smerteligt at lytte til det."

At få Duplex til det niveau, hvor det er nu, startede med en masse manuelt og menneskeligt arbejde. Menneskelige operatører ringede til restauranter, kommenterede samtaler og sendte resultaterne ind i Duplex. Holdet ville forbinde sætninger som "hvor mange mennesker" og dets variationer til "antal personer i partiet", hvilket giver Duplex mulighed for at forstå spørgsmålet.

Den anden fase involverede menneskelige operatører, der lyttede til opkald, som assistenten lavede, og hvis tingene gik af sporet, sprang operatøren til for at tage over og sikre sig, at opkaldet lykkes. Dette gjorde det muligt for teamet at identificere de barske kanter omkring tjenesten, kommentere disse samtaler og føre det tilbage til maskinlæringsalgoritmerne, så Duplex kunne lære.

Den sidste testfase er automatiseret tilstand, hvor det automatiserede system foretager opkald og afslutter dem. Escape-luger indbygget i systemet gør det muligt for assistenten at springe tilbage til hovedmålet med at fuldføre opgaven, takket være sætninger som: "Jeg er ikke sikker på, hvad du sagde, men kan jeg bestille bord til tre.” Hvis systemet virkelig ikke ved, hvad det skal gøre, vil det yndefuldt bøje sig ud af samtalen, og den menneskelige operatør vil tage over.

I øjeblikket sagde Huffman, at omkring fire ud af fem opkald foretaget af Duplex ikke behøver hjælp fra en menneskelig operatør. Interessant nok sagde han, at menneskelige operatører ikke vil blive trukket væk fra tjenesten, da Duplex bliver bedre, da Google ser dem som en integreret del i at sikre, at Duplex fungerer uden problemer.

"ums" og "ahs"

Gennem hele processen med at undervise i assistent, lagde Google vægt på at få det til at lyde mere naturligt og mindre som en robot. Efter demoen på Google I/O spurgte kritikere, hvorfor Google forsøger at blande "ums og ahs" for at gøre assistenten lyde mere menneskeligt, især hvis det ikke tilføjede en ansvarsfraskrivelse til begyndelsen af ​​opkaldet om, at det ikke var et menneske. Der er ansvarsfraskrivelser nu, men Huffman sagde, at taleforstyrrelser som "um" eller "mhm" blev tilføjet for at holde samtalestrømmen i gang.

"Vi forsøger ikke at snyde eller efterligne, men hvis du går tilbage til den optagelse af det smertefulde tidlige system, lød det ikke særlig naturligt, det lød ikke særlig menneskeligt," sagde Huffman. “Men som et resultat af det var assistenten ikke særlig succesfuld med at udføre opgaverne. Mange mennesker ville lægge røret på eller blive forvirrede over, hvad de talte til, samtalen ville bare bryde sammen, fordi det ikke føltes naturligt."

Huffman sagde talemangel, ifølge lingvister, er en vigtig del af at holde menneskelig samtale mellem to mennesker i gang. Det er nemt at se, hvor godt dette fungerer, når du hører samtaler med assistenten, og resultaterne er langt fra den originale optagelse.

En måde, hvorpå taleforstyrrelser hjælper, er til samtale-anerkendelse, såsom når én person taler, men du vil sørg for, at modtageren ved, at du stadig er engageret og lytter, som da assistenten sagde "mhmm" til os, da den blev bedt om at holde.

Et andet nyttigt værktøj er at sige "um", når der er usikkerhed, som en høflig måde at bede om afklaring på. Assistent tilføjede et "um", efter at den ikke kunne høre, hvad restaurantmedarbejderen sagde, og fulgte op med sin anmodning igen.

Assistent med disse talemangel er en skarp kontrast i forhold til den originale robotassistent. Det er langt mindre koldt, og samtalen gik meget hurtigere. Og i stedet for at acceptere simple kommandoer, interagerer Assistant faktisk med mennesker gennem vores sprog, hvilket helt sikkert vil begejstre nogle, mens det skræmmer andre.

Bekvemmelighed

Duplex handler om bekvemmelighed. Det sparer dig lidt tid, det kan give dig mere præcise butikstider, og det kan også spare virksomhederne tid. Google sagde også, at der er en stor mulighed her for at hjælpe folk, der ikke kan tale eller har problemer med at tale.

Huffman sagde at tænke på Duplex som en udvikling af automatiserede stemmemaskiner fra fortiden, som f.eks når du ringer til din bank, når det var en langsom proces med at trykke på tal for at komme til højre afdeling.

"Hvis du i dag ringer til disse flyselskaber eller banker, får du noget meget, meget bedre," sagde han. "Du vil høre en meget mere naturligt lydende stemme, og den siger måske noget i stil med: 'Bare fortæl mig, hvad du har brug for, du kan sige ting som, hvad klokken er mit fly?' Duplex, vi tager egentlig bare den samme idé et skridt videre, udvikler samtalen og gør den mere naturlig, så den bliver mere vellykket for brugere og virksomheder.”

Google har ikke vist os, hvordan Duplex foretager opkald til virksomheder i butikkens åbningstider, og det har heller ikke demonstreret planlægning af klipningsaftaler - så vi kan ikke kommentere på, hvor godt Duplex ville fungere i disse tilfælde. Vi er også usikre på, om de menneskelige operatører vil have adgang til dit telefonnummer og fulde navn, da det udgør lidt af en privatlivsrisiko. Vi spekulerer også på, om Duplex ville understøtte flere sprog i fremtiden. Vi har henvendt os til Google for at bekræfte nogle ubesvarede spørgsmål, men der er selvfølgelig flere, efterhånden som teknologien skrider frem.

Ud fra det, vi har set indtil videre, er det lovende teknologi, men er det noget, vi bør omfavne eller frygte? Vi vil være glade, hvis vi aldrig skal sættes i bero i timevis igen, men det er vigtigt at overveje banen her. Vi bevæger os hele tiden mod en fremtid, hvor vi ikke behøver at tale med nogen, hvor du kan bo isoleret i en lejlighed, med mad leveret til dig; pakker afleveret af droner og tusindvis af timers medier til at forbruge uden nogensinde at skulle træde udenfor.

Mens Duplex kan starte med nogle af de mere hverdagsagtige telefonopkald, vil AI blive bedre til samtaler, hvilket gør det nemt at overføre til andre industrier. Det vil være op til os som samfund at beslutte, hvor meget af vores snak, der skal foregå gennem AI, og om det er værd at tage telefonen op igen.

Redaktørens anbefalinger

• Jeg fik mig selv til at prøve en 14,5-tommer tablet - og det gik ikke særlig godt
• Jeg kan virkelig godt lide Pixel 7a, men der er et stort problem, jeg ikke kan ignorere
• Jeg vil elske Pixel 7 og Pixel 7 Pro, men Google vil ikke lade mig
• Her er alt, hvad Google ikke annoncerede ved Pixel Fall Launch-begivenheden
• Alt hvad Google ikke annoncerede på Google I/O 2021