Games

IA estrategista impressiona pesquisadores no esconde-esconde

Após 25 milhões de jogos, os agentes da IA ​​que jogavam esconde-esconde tinham dominado quatro estratégias básicas de jogo. Os pesquisadores esperavam essa parte.

Após um total de 380 milhões de jogos, os jogadores de IA desenvolveram estratégias que os pesquisadores não sabiam serem possíveis no ambiente de jogo – que os próprios pesquisadores criaram. Essa foi a parte que surpreendeu a equipe da OpenAI, uma empresa de pesquisa sediada em San Francisco.

Os jogadores de IA aprenderam tudo por meio de uma técnica de aprendizado de máquina conhecida como aprendizado por reforço. Neste método de aprendizado, os agentes de IA começam realizando ações aleatórias. Às vezes, essas ações aleatórias produzem os resultados desejados, que os recompensam. Por tentativa e erro em grande escala, eles podem aprender estratégias sofisticadas.

No contexto dos jogos, esse processo pode ser estimulado com a IA jogando contra outra versão de si mesma, garantindo que os oponentes sejam iguais. Ele também bloqueia a IA em um processo de ascensão única, em que qualquer nova estratégia que surja força o oponente a procurar uma contramedida. Com o tempo, esse “auto jogo” foi o que os pesquisadores chamam de “auto currículo”.

De acordo com o pesquisador da OpenAI Igor Mordatch, esse experimento mostra que a auto brincadeira “é suficiente para os agentes aprenderem comportamentos surpreendentes por conta própria – é como crianças brincando uns com os outros”.

O reforço é um campo quente de pesquisa em IA no momento. Os pesquisadores da OpenAI usaram a técnica quando treinaram uma equipe de bots para jogar o videogame Dota 2, que esmagou uma equipe humana campeã mundial em abril passado. A subsidiária da Alphabet, DeepMind, a usou para triunfar no antigo jogo de tabuleiro Go e no videogame StarCraft.

Aniruddha Kembhavi, pesquisadora do Instituto Allen de Inteligência Artificial (AI2) em Seattle, diz que jogos como o esconde-esconde oferecem uma boa maneira para os agentes de IA aprenderem “habilidades fundamentais”.

Ele trabalhou em uma equipe que ensinava o AllenAI. jogar Pictionary com humanos, vendo a jogabilidade como uma maneira de a IA trabalhar no raciocínio e na comunicação do senso comum. “No entanto, estamos muito longe de poder traduzir essas descobertas preliminares em ambientes altamente simplificados para o mundo real”, diz Kembhavi.

No jogo de esconde-esconde da OpenAI, tanto os caminhantes quanto os buscadores recebiam uma recompensa apenas se vencessem o jogo, deixando os jogadores de IA a desenvolver suas próprias estratégias.

Em um ambiente 3D simples contendo paredes, blocos e rampas, os jogadores primeiros aprenderam a correr e se perseguir (estratégia 1). Em seguida, os caminhantes aprenderam a mover os blocos para construir fortalezas (2) e, em seguida, os buscadores aprenderam a mover as rampas (3), permitindo que eles pulassem dentro dos fortes. Então os caminhantes aprenderam a mover todas as rampas para seus fortes antes que os buscadores pudessem usá-las (4).

As duas estratégias que surpreenderam os pesquisadores vieram a seguir. Primeiro, os buscadores aprenderam que podiam pular em uma caixa e “surfá-la” até um forte, permitindo que eles pulassem uma manobra que os pesquisadores não haviam percebido que era fisicamente possível no ambiente do jogo. Assim, como contra medida final, os caminhantes aprenderam a travar todas as caixas no lugar (6) para que não estivessem disponíveis para uso como pranchas de surf.

Nessa circunstância, ter agentes de IA se comportando de maneira inesperada não era um problema. Eles encontraram caminhos diferentes para suas recompensas, mas não causaram nenhum problema. No entanto, você pode imaginar situações nas quais o resultado seria bastante sério. Os robôs que atuam no mundo real podem causar danos reais. E há o famoso exemplo de Nick Bostrom de uma fábrica de clipes de papel administrada por uma IA, cujo objetivo é criar o maior número possível de clipes de papel. Como Bostrom disse ao IEEE Spectrum em 2014, a IA pode perceber que “os corpos humanos consistem em átomos, e esses átomos podem ser usados ​​para fazer alguns clipes de papel muito agradáveis”.

Bowen Baker, outro membro da equipe de pesquisa da OpenAI, observa que é difícil prever todas as maneiras pelas quais um agente de IA atuará dentro de um ambiente – mesmo que simples. “Construir esses ambientes é difícil”, diz ele. “Os agentes apresentarão esses comportamentos inesperados, que serão um problema de segurança no futuro quando você os colocar em ambientes mais complexos”.

A pesquisadora de IA Katja Hofmann, da Microsoft Research Cambridge, na Inglaterra, viu muita jogabilidade dos agentes da IA: ela iniciou uma competição que usa o Minecraft como campo de jogo. Ela diz que o comportamento emergente visto neste jogo e em experimentos anteriores de outros pesquisadores mostra que os jogos podem ser úteis para estudos de IA segura e responsável.

Livros sobre I.A

inteligencia artificial como ler filosofia

Inteligência artificial – A associaç...

inteligencia-artificial-projeto-de-aplicacao

Inteligência Artificial: Projeto de aplica...

consciencia-digital-livro

Consciência digital: o segredo por trás da...

inteligencia artificial

Inteligência Artificial. Diálogos Entre Me...

androides-sonham-com-ovelhas-eletricas

Androides Sonham Com Ovelhas Eletricas?

logia-fuzzy

A Inteligencia Artificial (Lógica Fuzzy) p...

Inteligencia Artificial Uma Introducao ao Raciocínio Baseado em Casos

Inteligência Artificial: Uma Introdução ao...

stoploss-com-inteligencia-artificial

StopLoss com Inteligência Artificial: Estr...

Cursos de I.A

talia sistema inteligencia artificial advogados

Talia – Inteligência Artificial para...

internet-das-coisas-curso

Internet das Coisas – Uma visão ampl...

Tudo Sobre IoT curso online

Tudo Sobre IoT – Internet das Coisas

curso-inteligencia-artificial-avancada-assistentes-pessoais

Inteligência artificial avançada para assi...

curso robôs im inteligência artificial facebook

ROBOS.im – Plataforma para criação d...

curso online robotica automacao residencial

Curso de Robótica e Automação Residencial

336x280_profissionais-do-futuro_seq2

Profissional do Futuro – Inteligênci...

comandar-casa-por-voz-internet-das-coisas

Manual para Comandar sua Casa por Voz a Ba...