Maak kennis met Bixby, de virtuele assistent die de Galaxy S8 van Samsung aandrijft

Wanneer Samsung de Galaxy S8- en S8 Plus-smartphones op 29 maart zal het team van virtuele assistenten dat je inbox wil doorzoeken en je digitale leven wil opruimen, net iets drukker worden.

Alexa, Siri, Google Assistent, Cortana: Ontmoeten Bixby.

Er is een nieuwe naam in kunstmatige assistenten, maar Samsung beweert dat deze je geen domme grappen of een weersvoorspelling zal vertellen, en ook geen feiten voor je online zal opzoeken. Deze slimme assistent is bedoeld om uw interacties met uw digitale leven te verbeteren – niet alleen uw smartphone maar je wasmachine, je thermostaat, je stofzuiger, alles. Het is niets minder dan een heroverweging van de manier waarop we onze spullen gebruiken.

Zeker, dat zijn gewaagde woorden, maar het hoofd onderzoek en ontwikkeling bij Samsung Mobile Communications Business Group gelooft ze.

“Filosofisch gezien is waar we naar kijken een revolutie in de interface”, vertelde Injong Rhee aan Digital Trends.

Een deel daarvan betekent dat de geruchten waar zijn – dat zal zo zijn een speciale Bixby-knop op de Melkweg S8 en S8 Plus.

Maar wat doet de assistent? En hoe verschilt het van alle andere assistenten die onze telefoons en ons leven rommelig maken, meeluisteren, meeluisteren en piepen om ons te helpen? Om daar achter te komen, vloog Digital Trends bijna 11.000 kilometer naar Zuid-Korea om te praten over natuurlijke taalinterfaces en machinaal leren en om de meest cruciale vraag te beantwoorden: moet u uw virtuele dagplanner aan u overhandigen? Bixby?

Het plannen van de AI-revolutie

“Na tien jaar smartphones wacht er een nieuwe revolutie”, legt Rhee uit. We zaten in een vergaderruimte in Digital City, een van de kantorencomplexen van de consumentenelektronicagigant in Suwon, Zuid-Korea, ongeveer een half uur ten zuiden van Seoul.

Digital City is ongeveer drie kilometer breed en omvat meerdere kantoortorens en woongebouwen. Het is zo groot als een voorbereidende school en zo gestructureerd. Er zijn brede boulevards, een openluchtplein genaamd Central Park (met vogelgeluiden!) en een gigantisch ondergronds winkel- en wooncomplex met twee fitnesscentra, ontspanningszones, een Samsung-winkel, drogisterijen en winkelketens – zelfs een Dunkin’ Donuts.

Er werken ongeveer 20.000 mensen in Digital City, waarvan de meesten vanuit nabijgelegen buitenwijken pendelen. Ze eten drie maaltijden per dag in de eetzalen van bedrijven, waarbij de gangen van 11.30 tot 13.30 uur worden gevuld voor de lunch, en leger van mensen die naar mobiele telefoons kijken, aan mobiele telefoons werken, nieuwe mobiele telefoons plannen, mobiele telefoons kopen telefoons.

Rhee heeft het knappe uiterlijk van een rockster – en een bijpassend kapsel. Hij is charmant om naar te luisteren, boeiend en duidelijk gepassioneerd over Bixby, wat volgens hem een ​​buitengewoon hulpmiddel zal zijn. Zie je, machinaal leren drijft het leger van assistenten aan dat de afgelopen jaren is opgedoken, van het superintelligente IBM Watson-systeem dat schaakgrootmeesters en dromen te slim af kan zijn eigen recepten voor minder wendbare bots als Siri, de vriendelijke assistent die in je iPhone woont en afspraken voor je maakt, je vertelt of je een jas nodig hebt, en vindt informatie. Hoewel machinaal leren enorm belangrijk is, was het de uitdaging om het nuttig te maken voor consumenten.

Vergeet Watson – dat is een heel ander soort systeem. Assistenten gericht op consumenten als Alexa, Siri en Google Assistant (waarom geen leuke naam, Google?) lijken het meest geschikt voor het opzoeken van informatie, betoogt Rhee: ze helpen je niet echt bij het gebruiken van je gadget. Denk eens aan de term ‘gebruikersinterface’: Bixby wil het ‘gebruik’ er weer in terugbrengen.

“Kijk eens naar het aantal taken dat huidige agenten kunnen uitvoeren”, zei Rhee. “Het zijn er ongeveer honderd. We willen alles bespreken wat u kunt doen met een aanraakopdracht. Dit is een zeer ambitieus doel.”

De Gallery-app van Samsung kan bijvoorbeeld 300 taken uitvoeren, en er zijn ongeveer 15.000 manieren waarop mensen die taken met hun vingers kunnen uitvoeren via menu's enzovoort. Breng je stem in en het wordt ingewikkeld. Rhee zei dat het aantal manieren waarop mensen deze commando’s kunnen uitspreken ‘meer dan miljoenen varieert’, en dat de assistenten van vandaag ons niet helpen om dat te doen. de overgrote meerderheid van de dingen die we graag met onze telefoons zouden willen doen, laat staan ​​de miljoenen manieren begrijpen waarop we om hulp kunnen vragen om ze te doen.

Wat kan Bixby doen?

Het punt is: deze informatie is allemaal gebaseerd op beloften van Samsung. Het bedrijf kon ons niet veel concrete antwoorden geven over wat Bixby wel of niet kan doen, dus we zullen moeten afwachten wanneer het naast de Galaxy S8 wordt gelanceerd.

Wat we wel weten is dat zoals Siri is voor de iPhone, of Google Assistant voor een Pixel, Bixby dat zal zijn voor de Galaxy S8 – iets dat ingebakken zit en essentieel is voor de interface. Bixby kan informatieve zoekopdrachten uitvoeren, maar in tegenstelling tot die anderen is de primaire rol u te helpen uw telefoon te gebruiken.

Vraag Bixby om die foto van een roze paraplu te zoeken die je vorige week hebt gemaakt, fleur hem een ​​beetje op en e-mail hem naar neef Fester, en het zal ervoor zorgen dat dat allemaal voor je gebeurt. Samsung noemt het multimodale mogelijkheden, en een van de slimme dingen Bixby doet, is goed omgaan met problemen daarin. Wanneer een opdracht niet voldoende informatie bevat zodat de assistent deze kan voltooien, Bixby zal de gebruiker nog steeds zo ver mogelijk brengen, in plaats van het hele ding over te slaan. Het programma maakt die e-mail aan en voegt de foto toe, zelfs als neef Fester niet als Thelonious wordt herkend. [email protected].

Maar om dit allemaal goed te kunnen doen, moet het de natuurlijke taal beter kunnen begrijpen dan anderen. Dus kan het?

“Ja met een uitroepteken!” Rhee heeft het ons verteld. Dat valt natuurlijk nog te bezien. Terwijl we met Rhee veel over de assistent praatten, kon Digital Trends de functionaliteit nog niet zelf testen.

Bij de lancering zullen er 10 vooraf geïnstalleerde apps zijn waarmee Bixby kan werken, waaronder Galerij, Inhoud, Instellingen, Camera, enzovoort. Verwacht Agenda-functionaliteit in de tweede golf van Bixby-ready apps, die een maand na de eerste batch zou moeten verschijnen, en dat er meer updates zullen volgen in een vergelijkbaar tijdsbestek. Om de dienst te gebruiken, kunt u er eenvoudigweg tegen spreken ("Hallo, Bixby!”) zoals je kunt met andere assistenten, maar Samsung vindt dat niet de meest intuïtieve manier om een ​​assistent te gebruiken.

De Bixby-knop

In plaats daarvan is Rhee van mening dat alle Bixby-ondersteunende gadgets een knop zouden moeten hebben, of dat nu een smartphone is voor walkietalkie-achtige communicatie – in dat geval hoef je natuurlijk niet ‘hallo Bixby’ te zeggen – of een wasmachine met een biometrische vingerafdrukscanner die je indrukt voordat je erom vraagt Bixby om een ​​zwaar programma met een laag centrifugetoerental uit te voeren. Bixby kan overal zijn, de lijm die je slimme leven bij elkaar houdt. Stel je een knop voor aan de zijkant van je afstandsbediening, zei Rhee: druk erop om je telefoon te vragen de foto te vinden die je neef Fester hebt gestuurd en die op de televisie te gooien.

“Het begint met smartphones, maar overal waar een internetverbinding en een microfoon is, kan Bixby worden gebruikt”, legt hij uit. “Er is een deel van de technologie die we in het apparaat stoppen, maar een groot deel ervan bevindt zich in de cloud.”

De interface

Er zijn vier verschillende componenten voor Bixby, legt Rhee uit: Voice Agent, Vision, Home en Reminders. Voice-agent is precies wat u zou verwachten: spreek met Bixby en je krijgt een reactie of voltooit een actie. Herinneringen is een ander eenvoudig probleem. De andere twee zijn complexer.

Visie is het vermogen van Bixby om een ​​camera te gebruiken om objecten te herkennen – een fles wijn, bijvoorbeeld: Bixby zal verschillende knoppen weergeven met labels die het item beschrijven dat het ziet (hier is dat machine learning opnieuw). Druk op de wijnknop en hij vertelt je waar je die beaujolais kunt kopen en wat hij kost. Of het kan interessante punten identificeren, of boeken herkennen, enzovoort.

Als je denkt dat dit opmerkelijk veel lijkt op Google Goggles, ben je niet de enige. We zullen zien hoe Samsung deze functie ontwikkelt.

Dan is er Bixby Home, dat op het scherm links van het startscherm staat. Net als de Google-app (voorheen Google Now) heeft deze kaarten met informatie en suggesties over dingen waarvan u weet dat u ze graag doet, en Samsung is van plan het uitbreidbaar te maken en derden het werk te laten doen ermee. Het kent de context, of u nu op het werk of thuis bent. Een korte druk op de knop brengt hem naar boven, in tegenstelling tot de lange druk die begint Bixby luisteren.

De Viv Labs-verbinding

Samsung begon ongeveer anderhalf jaar geleden serieus aan Bixby te werken, vertelde Rhee, maar het bedrijf beschikt natuurlijk al jaren over stemherkenning en -controle via de S Voice-app. S Voice doet de standaard assistent-dingen: het start de navigatie om u naar huis te brengen of u het weer te vertellen.

“Op basis van onze ervaring met S Voice hebben we serieus overwogen om dat te vernieuwen, en echt het veranderen van die filosofie en de basis hierachter om het voor mensen veel gemakkelijker te maken om het over te nemen, ‘Rhee gezegd. “En toen zijn we hieraan begonnen, ongeveer achttien maanden geleden.”

Bixby kan niet alles, en Samsung ook niet. Er was duidelijk geen reden voor het technische team om het wiel opnieuw uit te vinden. Google is bijvoorbeeld erg goed in het zoeken naar dingen, en het team van Rhee werkt aan een soepele manier om een ​​verzoek van Bixby googlen. Dat is waar Viv binnenkomt.

“We brengen Viv Labs om dat ecosysteem op een schaalbare manier te laten groeien”, legde hij uit. Bixby is al jaren in de maak, maar de laatste tijd overname van Viv – een bedrijf gevormd door de mensen die Siri hebben gemaakt – zal helpen om het geweldig te maken. Het Viv-team heeft Bixby niet gemaakt, maar een deel van het werk dat ze de laatste tijd hebben gedaan, met name de inspanningen om assistenten uitbreidbaar te maken, zal helpen deze tool te onderscheiden.

"Viv Labs gaat helpen uitbreiden naar een ecosysteem van derden", zei Rhee. “om het gemakkelijker te maken om functies bloot te leggen en de ervaring voor derden te perfectioneren.”

Dus wat is er met die naam?

Waarom Bixby, vraag je? Het zou geweldig zijn als er een interessant antwoord zou zijn – als iemands oom Philip zou zijn Bixby, of een man heeft Rhee's hond van de verdrinkingsdood gered, en terwijl hij wegliep, keek hij achterom en fluisterde: 'Bixby.”

Nee.

Een groep met de naam Design Center bedacht de naam en haalde deze uit een shortlist van drie, die uit een lijst van duizenden werd gehaald. Het is gemakkelijk te herkennen vanuit een machineperspectief, omdat het het juiste aantal lettergrepen heeft voor hot-word-herkenning. Het kan mannelijk of vrouwelijk zijn, zeggen ze, en het is meer een achternaam dan een voornaam. Ze denken dat het millennials zal aanspreken, een groep die erg vriendelijk staat tegenover nieuwe technologie. Samsung merkte op dat het ook de naam is van een brug in San Francisco, die iets suggestiever is: ‘bruggen bouwen’ tussen je gadgets en slimme huis en tussen machine en mens en zo.

Maar voordat we bij de brug komen, moet er nog veel wegen worden aangelegd. Misschien is dat iets waar Bixby mee kan helpen? Bixby, Ben je daar? Bixby?

Aanbevelingen van de redactie

• Operation Shush: de opkomst en ondergang van de onbeminde Bixby-assistent van Samsung