Modelo de visão de empatia: a IA que pode ver e falar conosco sobre o nosso mundo

A inteligência artificial (IA) que pode ver e comentar sobre o mundo que nos rodeia em breve vai interagir mais naturalmente com as pessoas no dia a dia, graças a uma poderosa combinação de novas tecnologias em teste no Japão, por meio de um aplicativo de smartphone tagarela.

O aplicativo conta com a Rinna, popular chatbot da Microsoft Japão. A novidade foi anunciada nesta segunda-feira no Microsoft Tech Summit 2018, em Tóquio, e ainda está em fase de desenvolvimento.

A IA por trás do aplicativo aprimorou os recursos de visão, audição e voz para reconhecer e falar sobre os objetos que vê de maneira semelhante à que uma pessoa faria. Como tal, representa um passo significativo para um futuro de interações naturais entre a IA e as pessoas. No coração do aplicativo está o “Modelo de Visão de Empatia”, que combina tecnologia convencional de reconhecimento de imagem e respostas emocionais.

Com essa tecnologia, Rinna vê seu entorno através da câmera de um smartphone. A chatbot não apenas reconhece objetos e pessoas, como pode descrever e comentar verbalmente sobre elas em tempo real. Usando tecnologias de processamento de linguagem natural, reconhecimento de voz e síntese de fala – desenvolvidas por cientistas da Microsoft Research – ela pode se envolver em conversas naturais com o usuário humano de um telefone.

“O usuário pode segurar o smartphone na mão ou colocá-lo no bolso enquanto caminha. Com a câmera ligada, Rinna pode ver o mesmo cenário, pessoas e objetos que o usuário e falar com ele sobre tudo o que vê”, disse o presidente da Microsoft Japão, Takuya Hirano.

Ao contrário de outros modelos de visão de IA, Rinna pode descrever suas impressões do que está vendo com sentimento, em vez de listar apenas os resultados de reconhecimento, como nomes, formas e cores das coisas. Pelo smartphone, Rinna pode ver o mundo da mesma perspectiva que um usuário e pode conversar com ele sobre isso.

A imagem a seguir ajuda a ilustrar a diferença:

A tecnologia convencional de visão de IA pode reagir da seguinte maneira: “Eu vejo pessoas. Eu vejo uma criança. Eu vejo um cachorro. Eu vejo um carro”.

Em contraste, com o Modelo de Visão de Empatia, Rinna pode dizer: “Uau, que família bacana! Aproveitando o fim de semana, talvez? Ah, tem um carro chegando! Cuidado!”.

Além do Modelo de Visão de Empatia, que gera comentários empáticos em tempo real sobre o que a IA vê, o aplicativo de smartphone Rinna também apresenta outros recursos de ponta, incluindo “full duplex”. O recurso permite que a IA participe de conversas naturais com uma pessoa, antecipando o que essa pessoa pode dizer em seguida.

Essa capacidade ajuda a Rinna a tomar decisões sobre como e quando responder a alguém que está conversando com ela, um conjunto de habilidades que é muito natural para as pessoas, mas incomum em chatbots. Difere de “half duplex”, que é mais parecido com a experiência de walkie-talkie, na qual apenas uma das partes de uma conversa pode falar a qualquer momento. O full duplex reduz o tempo de atraso não natural que pode, às vezes, fazer com que as interações entre uma pessoa e um chatbot se tornem inadequadas ou forçadas.

O app Rinna também incorpora o Empathy Chat, que auxilia o pensamento independente da IA. O recurso ajuda a manter uma conversa com o usuário pelo maior tempo possível. Em outras palavras, a IA seleciona e usa respostas com maior probabilidade de encorajar uma pessoa a manter-se envolvida e conversando.

O app ainda está em fase de desenvolvimento e sem prazo para a disponibilidade geral. Mas a função de bate-papo por voz está disponível na conta oficial LINE da Rinna no Japão.