Nous avons testé Google Duplex, l'IA pour les appels téléphoniques à venir cet été

Alors que je travaillais à la réception d'un restaurant thaïlandais de New York, j'ai décroché le téléphone, pris une réservation et raccroché. Surréaliste a été le premier mot qui m'est venu à l'esprit par la suite, non pas parce que je faisais semblant de travailler dans un restaurant, mais que je viens de parler et de réserver une table auprès du Google artificiellement intelligent Assistant.

Contenu

  • Qu'est-ce que Duplex et où fonctionnera-t-il ?
  • La démo
  • Comment fonctionne Duplex
  • Les « euh » et les « ah »
  • Commodité

Je ne pouvais pas m’empêcher de penser que la voix à l’autre bout du fil n’était pas un être vivant, même s’il ne s’agissait que d’une conversation de deux minutes. Cela ne veut pas dire que l’Assistant n’était pas convaincant; s’il ne me l’avait pas dit (et si je n’avais pas été dans un environnement de démonstration), je n’aurais pas beaucoup réfléchi à l’échange avec ce qui ressemblait à un autre humain à l’autre bout du fil.

Vidéos recommandées

L'échange de robots que j'ai eu faisait partie d'une démonstration de presse organisée pour

La technologie Duplex de Google, annoncé pour la première fois lors de l'I/O de l'entreprise conférence des développeurs en mai. Il permet aux gens de réserver une table dans un restaurant, de planifier un rendez-vous chez un coiffeur et de connaître les heures d'ouverture du magasin via Assistant Google. Le assistant vocal appellera le restaurant ou le magasin — après avoir fait une demande depuis votre téléphone ou votre haut-parleur intelligent compatible avec l'Assistant, comme un Accueil Google - et quelques minutes plus tard, vous recevrez une notification confirmant que vos projets sont officiellement réservés (ou si l'appel n'a pas pu être complété).

En rapport

  • J'ai mis Dynamic Island de l'iPhone sur mon Pixel 7 Pro – et je ne peux pas revenir en arrière
  • J'ai donné une seconde chance au Pixel 7 Pro – cela ne s'est pas passé comme je l'espérais
  • L’appareil photo Pixel 6 Pro de Google peut-il battre le Samsung Galaxy S21 Ultra? j'ai découvert
Google Duplex sur un téléphone Android
Julian Chokkattu/Tendances numériques

La démo présentée à I/O était à couper le souffle, mais n’a pas été sans controverse. Des inquiétudes ont été soulevées: pourquoi l’IA avait-elle besoin de paraître si réaliste et pourquoi n’a-t-elle pas annoncé d’avertissement à l’appelant humain, ce qui équivalait à ce que certains considéraient comme une tromperie. Et comme l’appel a été enregistré, certains se sont demandé si la technologie violerait certaines lois régissant les appels téléphoniques.

Depuis, Google a clarifié sa position et nous avons désormais quelques réponses. Digital Trends a passé du temps avec l'équipe derrière Duplex et avons fait une démonstration de la technologie pour nous-mêmes. Mais avant de plonger dans notre expérience, jetons un coup d’œil aux nouveaux détails que nous avons dévoilés sur comment et où Duplex fonctionnera.

Qu'est-ce que Duplex et où fonctionnera-t-il ?

Duplex est une technologie en développement qui permet à Google Assistant de passer des appels téléphoniques sur le téléphone de l'utilisateur. en son nom, et il découle d'années de recherche et de travail sur l'intelligence artificielle pour le langage naturel traitement.

"Nous pouvons désormais comprendre la parole naturelle et générer une parole naturelle", a déclaré Nick Fox, vice-président de la gestion des produits chez Google. "Ces technologies sont appliquées avec Duplex pour avoir une conversation naturelle et engageante qui s'adapte à ce qui se passe dans la conversation, dans le but ultime de faire avancer les choses."

Google Duplex planifie un rendez-vous chez le coiffeurGoogle

Vous aider à faire avancer les choses est l'objectif de Google pour Assistant, et avec Duplex, l'entreprise commence avec trois tâches spécifiques: réserver une table dans un restaurant, trouver les horaires d'ouverture d'un magasin et planifier un salon de coiffure rendez-vous. Duplex ne peut rien faire de plus pour le moment, donc si une requête n'est pas pertinente (par exemple, poser des questions sur la météo ou les résultats sportifs), l'Assistant ne comprendra pas. De même, un utilisateur ne peut pas demander à l'Assistant de passer des appels sans rapport avec les tâches susmentionnées.

Cela a le potentiel de faire gagner beaucoup de temps aux employés coincés à répondre aux appels concernant les heures d’ouverture des magasins.

Pour l'utilisateur, demander à l'Assistant de passer ces appels libère un peu de temps, mais cela profite également aux entreprises qui reçoivent ces appels. Par exemple, si un appelant demande à l'Assistant les heures d'ouverture d'un magasin local pendant les vacances, l'Assistant passera l'appel, obtiendra la réponse et les heures seront ajoutées à Google Maps et Google Search pour que tout le monde puisse le voir, avec une balise vérifiée à côté.

Avec ces informations, si d’autres appelants souhaitent connaître les mêmes informations, l’Assistant n’aura qu’à les extraire des serveurs de Google et ne pas passer un autre appel. Il suffit d'une seule personne pour demander à Assistant, mais cela peut potentiellement faire gagner beaucoup de temps aux employés qui, autrement, seraient obligés de répondre aux appels concernant les heures d'ouverture du magasin.

Pendant la phase de test de Google cet été, Duplex ne fonctionnera qu'avec certaines entreprises et utilisateurs du pays. Aux États-Unis, et il ne sera disponible que dans les restaurants et salons de coiffure qui n'ont pas de réservation en ligne. système. Google Assistant déjà fonctionne avec OpenTable, il n’est donc pas nécessaire d’appeler les restaurants qui utilisent le service de réservation.

Google testera d'abord les appels pendant les heures de bureau au cours des prochaines semaines, et plus tard cet été, le test s'étendra aux appels pour des réservations et des rendez-vous chez les coiffeurs. Il y aura beaucoup de tests et d'ajustements au cours de cette période, donc le résultat final de Duplex peut être un peu différent de ce que nous avons déjà vu. Les entreprises pourront se désinscrire si elles ne souhaitent pas recevoir d'appels de l'Assistant Google.

Google

"Ce que vous voyez est une technologie qui en est à ses premiers stades", a déclaré Fox. "Nous voulons en parler publiquement, même à ce stade, pour être sûrs de bien faire les choses, mais vous voyez ici quelque chose assez tôt dans le processus."

La démo

L'expérience de démonstration, qui a eu lieu à Thep Thaï dans le quartier de l'Upper East Side à New York, était fortement contrôlé. Tout d’abord, Google a présenté une présentation montrant le processus global de passation et de fin d’un appel, mais utilisant réellement la technologie en temps réel. Un ingénieur a indiqué à Duplex l'heure et la taille du groupe que nous avions suggérées pour une réservation, et voici ce qui a suivi.

L'idée est que vous diriez à Google Assistant sur votre téléphone ou Accueil Google que vous souhaitez « réserver une table au Thep Thai pour deux à 20h ». demain." L'assistant vous demandera si vous pouvez réserver une heure à partir de 20 heures. à 21 heures au cas où il n'y aurait pas de table disponible à 20 heures, et après confirmation, il dira qu'il va appeler le restaurant et vous répondra bientôt.

Lorsque l'employé du restaurant décroche le téléphone, l'assistant dira ce qui suit, ou quelque chose de similaire: « Bonjour, j'appelle pour faire une réservation. Je suis le service de réservation automatisé de Google, j'enregistrerai donc l'appel. Puis-je réserver une table pour jeudi ?

L'appel est enregistré afin que les opérateurs humains de Google puissent réécouter l'enregistrement, annoter la conversation et mettre en évidence les erreurs commises par Duplex afin d'améliorer le service.

Amener Duplex au niveau où il se trouve actuellement a commencé avec beaucoup de travail manuel et humain.

L'assistant répond ensuite à chaque question posée, par exemple à quelle heure est la réservation, combien de personnes les gens sont présents, le nom de la réservation et la conversation poliment et rapidement prend fin. Si des informations telles que l’adresse e-mail d’un utilisateur lui sont demandées, l’Assistant dira qu’il n’est pas autorisé à fournir ces informations.

La personne qui a réservé la réservation via l'Assistant recevra désormais une notification indiquant que la table a été réservée et elle sera automatiquement ajoutée à Google Agenda. Avant la réservation, l'utilisateur recevra une notification et aura la possibilité d'annuler le rendez-vous au cas où il ne pourrait plus venir. Le propriétaire du restaurant Thep Thai a déclaré que beaucoup de gens faisaient des réservations et ne se présentaient pas. Il espère que ce système, qui offre un moyen simple d’annuler une réservation, se traduira par moins de tables vides.

Après la démo principale, Google nous a permis de l'essayer. Lorsque nous avons pris l'appel, nous avons essayé de faire trébucher Duplex et d'y ajouter quelques complications, mais Assistant les a bien gérées. Nous lui avons demandé de tenir au début de la conversation – ce à quoi il a répondu « mhmm » plutôt qu’un « oui » verbal. Quand nous lui avons dit le 6 p.m. le temps de réservation était complet, l'Assistant a répondu avec une plage comprise entre 18 heures et 18 heures. et 20 heures, et c'est réglé pour notre 19h45. recommandation. Nous avons ensuite demandé un nom et un numéro de téléphone pour la réservation, et si l'Assistant pouvait épeler le nom, ce qu'il a fait avec succès.

Google Duplex planifiant une réservation de restaurantGoogle

Il est impressionnant de voir avec quelle régularité Assistant a géré ses démos, même si nous avons rencontré un moment où il a dû s'appuyer sur un opérateur humain. C’est lorsque quelqu’un a demandé si le client de l’assistant acceptait de recevoir des e-mails du restaurant. La formulation était un peu maladroite et l'assistant a répondu: « Je suis désolé, je pense que je me suis trompé », et il a dit qu'il mettait un superviseur en ligne. L'opérateur humain a rapidement pris le relais, a dit à l'appelant qu'il ne pouvait pas révéler l'adresse e-mail et a terminé la réservation.

Comment fonctionne Duplex

Les premières versions de test de Duplex, que Google nous a jouées, semblaient incroyablement robotiques. Cependant, l'assistant était toujours capable de comprendre les pauses dans la conversation et même de dire « bonjour? » » lorsqu'un employé du restaurant s'est arrêté pendant quelques secondes. Pourtant, Scott Huffman, vice-président de l'ingénierie pour Google Assistant, a déclaré qu'il était « douloureux de l'écouter ».

Si le système ne sait vraiment pas quoi faire ensuite, il se retirera gracieusement de l’appel et un opérateur humain prendra le relais.

Amener Duplex au niveau où il se trouve actuellement a commencé avec beaucoup de travail manuel et humain. Les opérateurs humains ont passé des appels aux restaurants, annoté les conversations et introduit les résultats dans Duplex. L'équipe lierait des expressions telles que « combien de personnes » et ses variantes au « nombre de personnes dans le groupe », permettant à Duplex de comprendre la question.

La deuxième étape impliquait que des opérateurs humains écoutaient les appels passés par l'assistant, et si les choses tournent mal, l'opérateur intervenait pour prendre le relais et s'assurer que l'appel aboutissait. Cela a permis à l'équipe d'identifier les aspérités du service, d'annoter ces conversations et de les réinjecter dans les algorithmes d'apprentissage automatique afin que Duplex puisse apprendre.

La dernière étape de test est le mode automatisé, dans lequel le système automatisé passe des appels et les termine. Les trappes de secours intégrées au système permettent à l'Assistant de revenir à l'objectif clé de terminer la tâche, grâce à des phrases telles que: "Je ne suis pas sûr de ce que vous avez dit, mais puis-je réserver une table pour trois. Si le système ne sait vraiment pas quoi faire ensuite, il se retirera gracieusement de la conversation et l'opérateur humain prendra le relais. sur.

Présentation (Google I/O '18)

À l'heure actuelle, Huffman a déclaré qu'environ quatre appels sur cinq passés par Duplex ne nécessitent pas l'assistance d'un opérateur humain. Fait intéressant, il a déclaré que les opérateurs humains ne seront pas retirés du service à mesure que Duplex s'améliore, car Google les considère comme un élément essentiel pour garantir que Duplex fonctionne sans accroc.

Les « euh » et les « ah »

Tout au long du processus d'enseignement de l'Assistant, Google a mis l'accent sur le fait de le rendre plus naturel et moins semblable à celui d'un robot. Après la démo présentée à Google I/O, les critiques ont demandé pourquoi Google essayait de mélanger les « euh et ah » pour créer l'Assistant. cela semble plus humain, surtout s’il n’ajoute pas un avertissement au début de l’appel indiquant qu’il ne s’agit pas d’un humain. Il y a maintenant des avertissements, mais Huffman a déclaré que des disfluences comme « um » ou « mhm » ont été ajoutées pour maintenir le flux de la conversation.

L'assistant a ajouté un « euh » après n'avoir pas pu entendre ce que l'employé du restaurant a dit, et a de nouveau donné suite à sa demande.

"Nous n'essayons pas de tromper ou de nous faire passer pour, mais si vous revenez à cet enregistrement de ce douloureux premier système, cela ne semblait pas très naturel, cela ne semblait pas très humain", a déclaré Huffman. «Mais à cause de cela, l'assistant n'a pas réussi à accomplir ses tâches. Beaucoup de gens raccrochaient ou ne savaient pas à quoi ils parlaient, la conversation s’interrompait simplement parce qu’elle ne semblait pas naturelle.

Huffman a déclaré que les troubles de la parole, selon linguistes, sont un élément clé du maintien d’une conversation humaine entre deux personnes. Il est facile de constater à quel point cela fonctionne bien en écoutant des conversations avec l’Assistant, et les résultats sont loin de l’enregistrement original.

Les troubles de la parole peuvent aider à reconnaître une conversation, par exemple lorsqu'une personne parle, mais que vous souhaitez assurez-vous que le récepteur sait que vous êtes toujours occupé et à l'écoute, comme lorsque l'Assistant nous a dit « mhmm » lorsqu'on lui a demandé de le faire prise.

google duplex mains sur io2018 2835
google duplex mains sur io2018 2836

Un autre outil utile consiste à dire « euh » en cas d’incertitude, comme manière polie de demander des éclaircissements. L'assistant a ajouté un « euh » après n'avoir pas pu entendre ce que l'employé du restaurant a dit, et a de nouveau donné suite à sa demande.

L'assistant présentant ces troubles de la parole contraste fortement avec l'assistant robotique d'origine. Il fait beaucoup moins froid et la conversation est allée beaucoup plus vite. Et plutôt que d’accepter des commandes simples, Assistant interagit en réalité avec les humains via notre langage, ce qui ne manquera pas d’exciter certains tout en effrayant d’autres.

Commodité

Le duplex est avant tout une question de commodité. Cela vous fait gagner un peu de temps, cela peut vous donner des horaires d'ouverture plus précis et cela peut également faire gagner du temps aux entreprises. Google a également déclaré qu’il existe ici une grande opportunité d’aider les personnes qui ne peuvent pas parler ou qui ont du mal à parler.

Huffman a déclaré considérer Duplex comme une évolution des machines vocales automatisées du passé, telles que lorsque vous appelez votre banque, lorsqu'il s'agissait d'un lent processus consistant à appuyer sur des chiffres pour arriver à droite département.

"Aujourd'hui, si vous appelez ces compagnies aériennes ou ces banques, vous obtiendrez quelque chose de bien plus agréable", a-t-il déclaré. « Vous entendrez une voix beaucoup plus naturelle, et elle pourrait dire quelque chose comme: « Dites-moi simplement ce dont vous avez besoin, vous pouvez dire des choses comme, à quelle heure est mon vol? » Duplex, nous allons simplement plus loin dans cette même idée, en faisant évoluer la conversation et en la rendant plus naturelle afin qu'elle soit plus réussie pour les utilisateurs et entreprises."

D’après ce que nous avons vu jusqu’à présent, il s’agit d’une technologie prometteuse, mais est-ce quelque chose que nous devrions adopter ou craindre ?

Google ne nous a pas montré comment Duplex appelle les entreprises pendant les heures d'ouverture des magasins, ni fait de démonstration de la planification de rendez-vous chez une coupe de cheveux. Nous ne pouvons donc pas commenter l'efficacité de Duplex dans ces cas-là. Nous ne savons pas non plus si les opérateurs humains auront accès à votre numéro de téléphone et à votre nom complet, car cela présente un certain risque pour la vie privée. Nous nous demandons également si Duplex prendrait en charge plusieurs langues à l'avenir. Nous avons contacté Google pour vérifier certaines questions restées sans réponse, mais bien sûr, il y en aura certainement d'autres à mesure que la technologie progresse.

D’après ce que nous avons vu jusqu’à présent, il s’agit d’une technologie prometteuse, mais est-ce quelque chose que nous devrions adopter ou craindre? Nous serions heureux si nous ne devions plus jamais être mis en attente pendant des heures, mais il est important de considérer la trajectoire ici. Nous nous dirigeons constamment vers un avenir où nous n’aurons besoin de parler à personne, où vous pourrez vivre isolé dans un appartement, avec de la nourriture livrée chez vous; des colis déposés par des drones et des milliers d’heures de médias à consommer sans jamais avoir à sortir.

Bien que Duplex puisse commencer par certains des appels téléphoniques les plus banals, l'IA va s'améliorer dans les conversations, ce qui facilitera le portage vers d'autres secteurs. Ce sera à nous, en tant que société, de décider dans quelle mesure nos conversations doivent se faire via l’IA et s’il vaut la peine de reprendre le téléphone.

Recommandations des rédacteurs

  • Je me suis forcé à essayer une tablette de 14,5 pouces – et ça ne s'est pas très bien passé
  • J'aime vraiment le Pixel 7a, mais il y a un gros problème que je ne peux pas ignorer
  • Je veux aimer les Pixel 7 et Pixel 7 Pro, mais Google ne me le permet pas
  • Voici tout ce que Google n’a pas annoncé lors de l’événement Pixel Fall Launch
  • Tout ce que Google n'a pas annoncé lors de Google I/O 2021