« Bonjour, HAL. Est-ce que tu me lis, HAL? » a déclaré l'astronaute Dave Bowman, essayant désespérément de contrôler ses émotions.
Contenu
- À quoi nous pensons quand nous pensons à oublier
- Intégrer l’oubli dans l’IA
Il y eut une pause puis, d'un ton monotone et sans émotion, l'ordinateur répondit. « Affirmatif, Dave. Je t'ai lu.
Vidéos recommandées
"Ouvrez les portes de la baie de pod, HAL."
Encore une longue pause. Est-ce que HAL, la toute-puissante I.A. qui contrôlait le Découverte 1 vaisseau spatial, l'ignorant vraiment? Impossible, sûrement, pensa Bowman. D’un moment à l’autre, HAL entrerait en action et obéirait…
"Je suis désolé, Dave", a poursuivi HAL. "J'ai peur de ne pas pouvoir faire ça."
"Quel est le problème?" » a demandé Dave.
"Eh bien, tu vois, Dave. J’ai oublié comment les ouvrir.
OK, ce n'est pas exactement comme ça que les choses se sont passées 2001: Une odyssée de l'espace, mais les blagues s'écrivent toutes seules. Après tout, en matière d’intelligence artificielle, une bonne mémoire semble être l’une des qualités préalables que les chercheurs souhaitent imprégner dans leurs systèmes. Personne ne veut d’une IA. qui se modèle sur le genre d’intelligence quotidienne et banale qui oublie les choses. Alors pourquoi est-ce que
Facebook construire une IA oublieuse? Et pourquoi, comme la vieille blague sur le serveur et la mouche dans la soupe du client, allons-nous bientôt tous en vouloir un ?À quoi nous pensons quand nous pensons à oublier
Il s'avère que la réponse est que nous faire Je veux quelque chose qui ressemble davantage à l’intelligence quotidienne et banale qui oublie des choses ici et là. Les humains oublient des choses importantes comme les anniversaires, les portefeuilles et fermer le garage avant de partir en vacances. C’est un oubli sous-optimal. Mais nous oublions également des éléments d’information parce que nous n’avons pas besoin de les conserver, les arrêtant comme un morceau de données. les détritus capturés dans le récupérateur de nourriture d'un évier avant de pouvoir passer à court terme et à long terme mémoire.
Dans un expérience célèbre, les gens ont été invités à reconnaître correctement un centime américain à partir d'une collection d'images montrant des centimes incorrects. Bien que les participants aient probablement vu et utilisé des pièces de monnaie tous les jours, ils se sont révélés étonnamment médiocres dans cette tâche. Comme l’écrivent les chercheurs: « Dans l’ensemble, les résultats étaient cohérents avec l’idée selon laquelle les détails visuels d’un objet, même un objet très familier, ne sont généralement disponibles de mémoire que dans la mesure où ils sont utiles au quotidien. vie."
Même s’il n’est pas aussi simple que de dire que le cerveau peut se remplir comme le stockage sur disque dur, il existe certainement des problèmes à court terme. des souvenirs qui semblent se détériorer lorsqu'ils ne sont plus nécessaires, tandis que d'autres s'enfouissent dans notre cerveau et y vivent sans loyer. Un exemple? Pensez à l'endroit où vous avez rangé les décorations de Noël lors des dernières vacances. Ensuite, marchez mentalement depuis la réception jusqu’à votre chambre dans le dernier hôtel où vous avez séjourné, un hôtel dans lequel il est peu probable que vous reveniez un jour. Aucune de ces informations n’est d’une importance vitale pour votre bien-être. Néanmoins, une information est nécessaire et l’autre ne l’est pas. D’une manière ou d’une autre, votre cerveau sait lequel jeter à la poubelle.
C’est l’idée derrière la nouvelle I.A. de Facebook. projet, appelé Expire-Span. Comme intelligence artificielle Les modèles sont de plus en plus appliqués à des ensembles de données longs comme des articles et des livres, les coûts de calcul associés à ces modèles augmentent à mesure qu'ils tentent de mémoriser plus d'informations. Le problème devient encore plus pressant à mesure que les gens collectent de plus en plus de données multimédias riches sur leur vie.
« Le cerveau est un système très complexe qui n’est pas entièrement compris, et il existe de nombreux types différents de mémoire qui forment la mémoire humaine. »
« À mesure que la quantité de contenu dont nous disposons augmente, la question majeure est celle du stockage. » Angela Fan, chercheur scientifique chez Facebook AI Research Paris, a déclaré à Digital Trends. « Un téléphone, par exemple, a une quantité de mémoire limitée. Ce problème est encore plus grave dans le cas des appareils portables et autres applications de type appareil, où des raisons de confidentialité peuvent impliquer que les gens veulent strictement que le contenu soit stocké sur leur appareil et non sur un serveur ou un cloud, accentuant le stockage défis."
L'IA actuelle les modèles adoptent une approche similaire à celle de Frank Sinatra en matière de souvenirs, c'est-à-dire qu'ils se souviennent de tout ou de rien du tout. Soit ils stockent toutes les informations créées à chaque pas de temps, soit ils les oublient toutes après un temps prédéterminé. Sainbayar Sukhbaatar, une autre IA de Facebook. chercheur scientifique, compare cela au fait de se souvenir parfaitement de tout ce qui s'est passé la semaine dernière, mais absolument de rien d'autre.
Intégrer l’oubli dans l’IA
Les chercheurs ont intégré « l’oubli » dans l’IA. modèles avant. Mémoire à long terme (LSTM), par exemple, ont ajouté un mécanisme d'oubli aux réseaux de neurones récurrents (RNN), l'une des technologies de base qui pilotent l'apprentissage automatique. "Les RNN ont une mémoire interne composée d'un seul vecteur, donc l'oublier signifie l'écraser avec de nouvelles informations", a déclaré Sukhbaatar à Digital Trends.
En revanche, Expire-Span ajoute un mécanisme d'oubli à la mémoire externe pouvant contenir des milliers de vecteurs. De nouvelles informations sont observées, mais Expire-Span – dont le nom rappelle le type d'étiquettes de péremption que l'on trouve sur les bouteilles de lait – a la capacité de déterminer combien de temps ces informations doivent rester en mémoire. Si l’information n’est pas jugée cruciale pour l’avenir, elle peut être progressivement divulguée. pourriture, avant qu’elle ne soit finalement éradiquée de l’IA. mémoire du modèle pour faire de la place à des mémoires plus utiles information.
Pour ce faire, le modèle doit être capable de prédire ce qui est pertinent ou non pour un domaine particulier. tâche, avant d'attribuer la date d'expiration correcte, après quoi les informations disparaîtront de l'A.I. système. En diffusant des informations non pertinentes, l’IA de Facebook est capable de traiter des informations à plus grande échelle.
Comme pour une grande partie des recherches sur l’intelligence artificielle de Facebook, le géant des réseaux sociaux n’a pas annoncé qu’Expire-Span serait intégré à l’un de ses produits principaux dans un avenir immédiat. Mais comme Facebook traite de plus en plus de données utilisateur (sans parler de son rumeur de passage aux lunettes intelligentes), il n’est pas difficile de voir comment cette technologie pourrait s’appliquer. Quand la future I.A. les outils sont capables de fonctionner à des niveaux de performances élevés malgré le traitement d'énormes quantités de données, Expire-Span pourrait en être la raison.
Ne commettez pas l’erreur de supposer que créer une IA oublieuse marque une nouvelle étape vers la transformation de l’IA. plus humain cependant. Les raisons exactes pour lesquelles les humains oublient certaines choses font encore l’objet de nombreuses recherches de la part des chercheurs. Comme pour les réseaux neuronaux inspirés du cerveau qui dominent l’IA moderne, l’algorithme d’oubli de Facebook est calqué sur la théorie de l’oubli; pas une tentative de le reproduire avec une quelconque biofidélité.
"Le cerveau est un système très complexe qui n'est pas entièrement compris, et il existe de nombreux types différents de mémoire qui forment la mémoire humaine", a déclaré Sukhbaatar. « Expire-Span, comme tous les autres outils d'IA. mécanismes, peut être inspiré par le cerveau humain, mais ne sont finalement pas le reflet fidèle du fonctionnement réel du cerveau. La mémoire en particulier est un domaine de recherche très actif en soi. L’analogie avec la mémoire humaine que nous décrivons est ajoutée dans un seul but de clarté, même si elle inspire définitivement notre travail.
Et ne l'oubliez pas !
Recommandations des rédacteurs
- La nouvelle IA de reconnaissance d’image de Facebook est formé sur 1 milliard de photos Instagram
- La nouvelle IA de Facebook amène la reconnaissance d'image à un tout autre niveau
- Comment l’IA peut vaincre des logiciels malveillants qui n’existent même pas encore
