Les googlers anglais et des chercheurs de l’Université d’Oxford ont exposé Google DeepMing à des milliers d’heures de télévision afin que l’IA apprennent à lire sur les lèvres.Pour développer le logiciel le plus efficace en matière de lecture labiale, Google et les chercheurs d’Oxford ont utilisé la télévision pour trouver les données nécessaires à l’apprentissage de la machine. Ainsi, Google DeepMind a consommé des milliers de programmes télévisés afin d’apprendre comment les humains distordent leurs lèvres au son des mots qu’ils prononcent.
Le réseau neuronal s’est ainsi plongé dans les programmes de la BBC et a essayé de sous-titrer les vidéos qu’il voyait. L’étude qui résulte de l’expérience montre qu’avec cette session d’apprentissage, DeepMind est capable de traduire avec justesse 46,8 % des mots prononcés.
En comparaison, il est important de noter qu’un professionnel de la lecture labiale ne parvient à déchiffrer que 12,6 % des mots en moyenne.
Le programme de l’IA de Google dépasse donc désormais les compétences humaines lorsqu’il s’agît de lire sur les lèvres. Avec plus de 5 000 heures de télévision à son actif, Watch, Listen, Attend, and Spell est désormais entraîné.
Lorsque l’IA regardait Newsnight, Question Time et The World Today, elle est parvenue à comprendre 110 000 phrases différentes et approximativement 17 500 mots. On peut dès lors imaginer que DeepMind serait déjà capable de sous-titrer, au moins partiellement, l’essentiel des talk-show anglophones. Enfin, il faudra pour cela que chaque mot soit dit face caméra, bien entendu.
DeepMind était capable de traduire avec justesse 46,8 % des mots prononcés
Bien sûr, le logiciel pourrait naturellement aider les malentendants à s’atteler à cette tâche sophistiquée de la lecture labiale. Mais on peut également déjà imaginer voir le moteur de reconnaissance labial être utilisé pour compléter et améliorer les moteurs de reconnaissances vocales déjà utilisés dans Google Home par exemple.
Partager sur les réseaux sociaux
Articles liés
Lire
Comment Toyota et JBL proposent une expérience musicale sur le coupé C-HR
Lire
De l’humour Pixar et The Onion pour l’Assistant de Google
15 octobre 2016
Lire
Google commence à deviner la localisation d’une photo sans données Exif
26 février 2016
Lire
Google perd l’artisan de son moteur de recherche
04 février 2016
Lire
#GoodMorning : l’IA de DeepMind a vaincu le go mais pourra-t-elle changer l’humanité ?
14 mars 2016
IA : Google mobilise DeepMind pour soigner les maladies oculaires
Vidéo 05 juillet 2016
Source: Numerama
