Przetestowaliśmy Google Duplex, sztuczną inteligencję do rozmów telefonicznych, która pojawi się tego lata

Pracując w recepcji tajskiej restauracji w Nowym Jorku, odebrałem telefon, dokonałem rezerwacji i rozłączyłem się. Surrealistyczne – to pierwsze słowo, które przyszło mi później na myśl, nie dlatego, że udawałem, że pracuję w jakimś sklepie restauracji, ale właśnie z nią rozmawiałem i zarezerwowałem stolik w sztucznie inteligentnym Google Asystent.

Nie mogłam się pozbyć myśli, że głos po drugiej stronie nie był żywą istotą, nawet jeśli była to tylko dwuminutowa rozmowa. Nie oznacza to, że Asystent nie był przekonujący; gdyby mi to nie powiedziało (i gdybym nie znajdował się w środowisku demonstracyjnym), nie zastanawiałbym się wiele nad wymianą z czymś, co brzmiało jak inny człowiek po drugiej stronie.

Wymiana robotów, którą odbyłem, była częścią zorganizowanej demonstracji prasowej Technologia Duplex firmy Google, ogłoszone po raz pierwszy na firmowym we/wy konferencja deweloperska w maju

. Umożliwia rezerwację stolika w restauracji, umówienie wizyty u fryzjera i sprawdzenie godzin otwarcia sklepu Asystent Google. The asystent głosowy zadzwoni do restauracji lub sklepu — po wysłaniu prośby z telefonu lub inteligentnego głośnika z Asystentem, np Strona główna Google — a kilka minut później otrzymasz powiadomienie potwierdzające, że Twoje plany zostały oficjalnie zarezerwowane (lub że połączenie nie mogło zostać zrealizowane).

Demo na I/O było oszałamiające, ale nie obyło się bez kontrowersji. Pojawiły się wątpliwości: dlaczego sztuczna inteligencja musiała brzmieć tak realistycznie i dlaczego nie ogłosiła zastrzeżenia wobec osoby dzwoniącej, co niektórzy uważali za oszustwo. A ponieważ rozmowa została nagrana, niektórzy kwestionowali, czy technologia ta naruszy pewne przepisy regulujące rozmowy telefoniczne.

Od tego czasu Google wyjaśnił swoje stanowisko i teraz mamy kilka odpowiedzi. Digital Trends spędził trochę czasu z zespołem z tyłu Dupleks i sami zademonstrowaliśmy tę technologię. Zanim jednak zagłębimy się w nasze doświadczenia, przyjrzyjmy się nowym szczegółom, które odkryliśmy na temat tego, jak i gdzie będzie działać Duplex.

Co to jest Duplex i gdzie będzie działać?

Duplex to rozwijana technologia, która umożliwia Asystentowi Google wykonywanie połączeń telefonicznych z użytkownikiem imieniu i wynika z lat badań i pracy nad sztuczną inteligencją dla języka naturalnego przetwarzanie.

„Teraz rozumiemy mowę naturalną i potrafimy ją generować” – powiedział Nick Fox, wiceprezes ds. zarządzania produktami w Google. „Te technologie są stosowane w Duplex, aby prowadzić naturalną, wciągającą rozmowę, która dostosowuje się do tego, co dzieje się w trakcie rozmowy, a ostatecznie ma na celu załatwienie sprawy”.

Celem Google w przypadku Asystenta jest pomaganie w wykonywaniu zadań, a firma zaczyna od Duplexu trzy konkretne zadania: rezerwacja stolika w restauracji, znalezienie godzin otwarcia i ustalenie terminu wizyty w salonie fryzjerskim spotkanie. W tej chwili Duplex nie może zrobić nic więcej, więc jeśli zapytanie nie jest trafne (np. pytanie o pogodę lub wyniki sportowe), Asystent nie zrozumie. Podobnie użytkownik nie może prosić Asystenta o wykonywanie połączeń niezwiązanych z powyższymi zadaniami.

Dla użytkownika wykonanie tych połączeń przez Asystenta oszczędza trochę czasu, ale jest także korzystne dla firm odbierających te połączenia. Przykładowo, jeśli dzwoniący zapyta Asystenta o świąteczne godziny pracy lokalnego sklepu, Asystent nawiąże połączenie, otrzyma odpowiedź, a godziny zostaną dodane do mapy Google i wyszukiwarka Google, aby wszyscy mogli je zobaczyć, ze zweryfikowanym tagiem obok.

Jeśli dzięki tym informacjom inni rozmówcy będą chcieli poznać te same informacje, Asystent będzie musiał jedynie pobrać je z serwerów Google i nie wykonywać kolejnego połączenia. Wystarczy, że jedna osoba zapyta Asystenta, ale może zaoszczędzić mnóstwo czasu pracownikom, którzy w przeciwnym razie utknęliby w odpowiadaniu na telefony dotyczące godzin pracy sklepu.

Podczas fazy testowej Google tego lata funkcja Duplex będzie działać tylko z wybranymi firmami i użytkownikami w USA i będzie dostępna wyłącznie w restauracjach i salonach fryzjerskich, które nie mają rezerwacji online system. Asystent Google już współpracuje z OpenTable, dzięki czemu nie musi dzwonić do restauracji korzystających z usługi rezerwacji.

W ciągu najbliższych kilku tygodni Google przetestuje najpierw połączenia w godzinach pracy, a później tego lata test rozszerzy się na dzwonienie w celu rezerwacji i umówienia się na wizytę u fryzjera. W tym okresie będzie wiele testów i ulepszeń, więc końcowy wynik Duplexu może wyglądać nieco inaczej od tego, co już widzieliśmy. Firmy będą mogły zrezygnować, jeśli nie chcą odbierać połączeń od Asystenta Google.

„To, co widzisz, to technologia, która jest na bardzo wczesnym etapie” – powiedział Fox. „Chcemy porozmawiać o tym publicznie nawet na tym etapie, aby mieć pewność, że zrobimy to dobrze, ale coś widać na dość wczesnym etapie procesu”.

Demo

Spotkanie demonstracyjne, które odbyło się o godz Thep tajski w dzielnicy Upper East Side w Nowym Jorku było silnie kontrolowane. Najpierw Google przeprowadził prezentację pokazującą cały proces wykonywania i kończenia połączenia, ale faktycznie wykorzystując technologię w czasie rzeczywistym. Inżynier podał firmie Duplex czas i wielkość imprezy, które zasugerowaliśmy przy rezerwacji, i oto, co nastąpiło dalej.

Pomysł jest taki, że powiesz Asystentowi Google na swoim telefonie lub Strona główna Google że chcesz „zarezerwować stolik w Thep Thai dla dwojga o 20:00. jutro." Asystent zapyta, czy można zarezerwować godzinę od 20:00. do 21:00 w przypadku braku wolnego stolika o godzinie 20:00, a po potwierdzeniu poinformuje, że zadzwoni do restauracji i oddzwoni Wkrótce.

Gdy pracownik restauracji odbierze telefon, Asystent powie coś w tym stylu lub coś w tym stylu: „Witam, dzwonię w celu dokonania rezerwacji. Jestem automatycznym serwisem rezerwacji Google, więc nagram rozmowę. Czy mogę zarezerwować stolik na czwartek?”

Rozmowa jest nagrywana, dzięki czemu operatorzy w Google mogą odsłuchać nagranie, dodać notatki do rozmowy i wskazać wszelkie błędy popełnione przez firmę Duplex, co może ulepszyć usługę.

Asystent odpowiada następnie na każde zadane pytanie – na przykład na kiedy jest rezerwacja i na ile osób ludzie są na przyjęciu, a nazwa rezerwacji — i rozmowa grzecznie i szybko kończy się. Jeśli zostanie poproszony o podanie takich informacji, jak adres e-mail użytkownika, Asystent powie, że nie ma pozwolenia na podanie takich informacji.

Osoba, która dokonała rezerwacji poprzez Asystenta, otrzyma teraz powiadomienie o zarezerwowaniu stolika i zostanie on automatycznie dodany do Kalendarza Google. Użytkownik przed dokonaniem rezerwacji otrzyma powiadomienie oraz możliwość odwołania wizyty w przypadku, gdy nie będzie mógł już w niej uczestniczyć. Właściciel restauracji Thep Thai powiedział, że wiele osób dokonuje rezerwacji, a potem się nie pojawia. Ma nadzieję, że ten system, który oferuje łatwy sposób anulowania rezerwacji, będzie oznaczać mniej pustych stolików.

Po głównej wersji demonstracyjnej Google pozwolił nam to wypróbować. Kiedy odebraliśmy telefon, próbowaliśmy zepsuć Duplex i spowodowało to pewne komplikacje, ale Asystent dobrze sobie z nimi poradził. Poprosiliśmy go, aby wstrzymał się na początku rozmowy, na co odpowiedział „mhmm”, a nie werbalnym „tak”. Kiedy powiedzieliśmy to 6 po południu czas rezerwacji się skończył, Asystent odpowiedział z zakresem od 18:00. i 20:00, a my ustaliliśmy godzinę 19:45. rekomendacje. Następnie poprosiliśmy o imię i nazwisko oraz numer telefonu do celów rezerwacji oraz o to, czy Asystent może przeliterować nazwę, co też się udało.

To imponujące, jak konsekwentnie Asystent radził sobie ze swoimi demonstracjami, chociaż napotkaliśmy moment, w którym musiał polegać na ludzkim operatorze. To było wtedy, gdy ktoś zapytał, czy klient Asystenta nie ma nic przeciwko otrzymywaniu e-maili z restauracji. Sformułowanie było trochę niezręczne, więc Asystent odpowiedział: „Przepraszam, chyba się pomyliłem” i oznajmił, że naraża to przełożonego na rozmowę. Operator szybko przejął kontrolę, powiedział dzwoniącemu, że nie może ujawnić adresu e-mail, i zakończył rezerwację.

Jak działa dupleks

Wczesne wersje testowe Duplexu, które Google dla nas zagrał, brzmiały niesamowicie robotycznie. Asystent jednak nadal był w stanie zrozumieć przerwy w rozmowie, a nawet powiedzieć „cześć?” gdy pracownik restauracji zrobił pauzę na kilka sekund. Mimo to Scott Huffman, wiceprezes ds. inżynierii Asystenta Google, stwierdził, że „słuchanie tego jest bolesne”.

Doprowadzenie Duplexu do poziomu, na którym jest obecnie, rozpoczęło się od dużej ilości pracy ręcznej i ludzkiej. Operatorzy wykonywali połączenia z restauracjami, dodawali notatki do rozmów i wprowadzali wyniki do Duplexu. Zespół powiązał wyrażenia takie jak „ile osób” i ich odmiany z „liczbą osób na imprezie”, umożliwiając Duplexowi zrozumienie pytania.

Drugi etap polegał na tym, że operatorzy słuchali połączeń wykonywanych przez Asystenta, a jeśli coś pójdzie nie tak, operator wkraczał, aby przejąć kontrolę i upewnić się, że połączenie się powiodło. Umożliwiło to zespołowi zidentyfikowanie trudnych granic usługi, dodanie adnotacji do rozmów i wprowadzenie ich z powrotem do algorytmów uczenia maszynowego, aby Duplex mógł się uczyć.

Ostatnim etapem testów jest tryb automatyczny, w którym zautomatyzowany system wykonuje połączenia i je realizuje. Wbudowane w system luki ewakuacyjne pozwalają Asystentowi na powrót do kluczowego celu, jakim jest wykonanie zadania, dzięki zdaniom typu: „Nie jestem pewien, co powiedziałeś, ale czy mogę zarezerwować stolik dla trzech osób?” Jeśli system naprawdę nie będzie wiedział, co dalej robić, z gracją wycofa się z rozmowy, a operator zajmie się nią nad.

W tej chwili Huffman powiedział, że około czterech na pięć połączeń wykonywanych przez Duplex nie wymaga pomocy operatora. Co ciekawe, powiedział, że operatorzy nie zostaną odsunięci od usługi w miarę udoskonalania Duplexu, ponieważ Google postrzega ich jako integralną część zapewniającą bezproblemowe działanie Duplexu.

„Um” i „ach”

W całym procesie nauczania Asystenta Google położył nacisk na to, aby brzmiał bardziej naturalnie i mniej przypominał robota. Po demonstracji na konferencji Google I/O krytycy zapytali, dlaczego Google próbuje dodać „um” i „ach”, aby Asystent brzmi bardziej po ludzku, zwłaszcza jeśli na początku rozmowy nie zostanie dodane zastrzeżenie, że to nie jest człowiek. Obecnie pojawiają się zastrzeżenia, ale Huffman powiedział, że dodano niepłynność mowy, taką jak „um” lub „mhm”, aby utrzymać płynność rozmowy.

„Nie próbujemy oszukiwać ani się podszywać, ale jeśli wrócisz do nagrania tego bolesnego wczesnego systemu, nie brzmiało to zbyt naturalnie, nie brzmiało zbyt ludzko” – powiedział Huffman. „Ale w rezultacie Asystent nie był zbyt skuteczny w wykonywaniu zadań. Wiele osób rozłączało się lub było zdezorientowanych tym, z czym rozmawia, a rozmowa po prostu się psuła, ponieważ nie wydawała się naturalna.

Według Huffmana wystąpiły problemy z płynnością mowy lingwiści, są kluczową częścią podtrzymania rozmowy między dwojgiem ludzi. Jak dobrze to działa, łatwo przekonać się słuchając rozmów z Asystentem, a rezultaty odbiegają od oryginalnego nagrania.

Jednym ze sposobów pomocy w przypadku niepłynności mowy jest potwierdzenie w rozmowie, na przykład wtedy, gdy jedna osoba mówi, ale ty tego chcesz upewnij się, że odbiorca wie, że nadal jesteś zajęty i słuchasz, np. gdy Asystent powiedział nam „mhmm”, gdy został o to poproszony trzymać.

Innym przydatnym narzędziem jest mówienie „um”, gdy pojawia się niepewność, jako uprzejmy sposób proszenia o wyjaśnienia. Asystent dodał „um” po tym, jak nie usłyszał, co powiedział pracownik restauracji, i ponownie wykonał swoją prośbę.

Asystent z tymi zaburzeniami mowy stanowi wyraźny kontrast w stosunku do oryginalnego, automatycznego Asystenta. Jest znacznie mniej zimno, a rozmowa toczy się znacznie szybciej. Zamiast przyjmować proste polecenia, Asystent w rzeczywistości wchodzi w interakcję z ludźmi za pomocą naszego języka, co z pewnością niektórych ekscytuje, a innych przeraża.

Wygoda

Duplex to przede wszystkim wygoda. Oszczędza to trochę czasu, może zapewnić dokładniejsze godziny otwarcia sklepów, a także zaoszczędzić czas firm. Google stwierdziło również, że istnieje tu duża szansa, aby pomóc osobom, które nie mówią lub mają problemy z mówieniem.

Huffman powiedział, że należy myśleć o Duplexie jako o ewolucji zautomatyzowanych maszyn głosowych z przeszłości, takich jak podczas dzwonienia do banku, gdy wciskanie cyfr w prawo wymagało powolnego procesu dział.

„Dziś, jeśli zadzwonisz do tych linii lotniczych lub banków, dostaniesz coś o wiele, wiele ładniejszego” – powiedział. „Usłyszysz znacznie bardziej naturalnie brzmiący głos, który może powiedzieć coś w stylu: «Po prostu powiedz mi, czego potrzebujesz, możesz powiedzieć na przykład: O której godzinie mam lot?» Duplex, tak naprawdę idziemy o krok dalej z tym samym pomysłem, rozwijając rozmowę i czyniąc ją bardziej naturalną, dzięki czemu będzie skuteczniejsza dla użytkowników i biznes."

Google nie pokazało nam, jak Duplex dzwoni do firm w godzinach otwarcia sklepu, ani nie pokazało, jak planować wizyty u fryzjera – nie możemy więc komentować, jak dobrze Duplex sprawdzi się w takich przypadkach. Nie jesteśmy również pewni, czy operatorzy będą mieli dostęp do Twojego numeru telefonu i imienia i nazwiska, ponieważ stwarza to pewne ryzyko dla prywatności. Zastanawiamy się również, czy Duplex będzie w przyszłości obsługiwał wiele języków. Skontaktowaliśmy się z Google, aby zweryfikować niektóre pytania bez odpowiedzi, ale oczywiście w miarę postępu technologii z pewnością będzie ich więcej.

Z tego, co widzieliśmy do tej pory, jest to obiecująca technologia, ale czy powinniśmy się nią cieszyć, czy też powinniśmy się jej obawiać? Będziemy szczęśliwi, jeśli już nigdy nie będziemy musieli być wstrzymywani przez wiele godzin, ale ważne jest, aby wziąć pod uwagę trajektorię w tym przypadku. Nieustannie zmierzamy ku przyszłości, w której nie będziemy musieli z nikim rozmawiać, gdzie będzie można mieszkać w odosobnieniu w mieszkaniu, z dostawą jedzenia; paczki przywożone przez drony i tysiące godzin multimediów, z których można korzystać bez konieczności wychodzenia na zewnątrz.

Chociaż Duplex może zacząć się od bardziej przyziemnych rozmów telefonicznych, sztuczna inteligencja będzie coraz lepsza w rozmowach, co ułatwi przenoszenie do innych branż. To my, społeczeństwo, będziemy decydować, ile rozmów powinniśmy prowadzić za pośrednictwem sztucznej inteligencji i czy warto ponownie podnosić słuchawkę.

Zalecenia redaktorów

• Zmusiłem się do wypróbowania tabletu 14,5-calowego – i nie poszło mi zbyt dobrze
• Bardzo podoba mi się Pixel 7a, ale jest jeden duży problem, którego nie mogę zignorować
• Chcę pokochać Pixela 7 i Pixela 7 Pro, ale Google mi nie pozwala
• Oto wszystko, czego Google nie ogłosił podczas wydarzenia Pixel Fall Launch
• Wszystko, czego Google nie ogłosił na Google I/O 2021