Inteligência Artificial

Inteligência Artificial fará o que pedimos?

Ao ensinar as máquinas a entender nossos verdadeiros desejos, um cientista espera evitar as consequências desastrosas de fazer o que mandamos.

A (IA) inteligência artificial é poderosa como o gênio. Um desejo aparentemente inocente – “tornar minha casa ecologicamente correta” – pode levar a consequências não intencionais.

O perigo de ter máquinas artificialmente inteligentes fazendo nossa parte é que talvez não temos cuidado o suficiente com o que desejamos. As linhas de código que animam essas máquinas inevitavelmente precisa de nuances, esquecem-se de ressaltar e acabam dando objetivos e incentivos aos sistemas de IA que não se alinham às nossas verdadeiras preferências.

Um experimento de pensamento agora clássico que ilustra esse problema foi apresentado pelo filósofo de Oxford Nick Bostrom em 2003. Bostrom imaginou um robô superinteligente, programado com o objetivo aparentemente inócuo de fabricar clipes de papel . O robô eventualmente transforma o mundo inteiro em uma gigante fábrica de clipes de papel.

Esse cenário pode ser descartado como acadêmico, uma preocupação que pode surgir em um futuro distante. Mas a IA desalinhada se tornou um problema muito antes do esperado.

O exemplo mais alarmante é aquele que afeta bilhões de pessoas. O YouTube, com o objetivo de maximizar o tempo de visualização, implanta algoritmos de recomendação de conteúdo baseados em IA. Há dois anos, cientistas da computação e usuários começaram a perceber que o algoritmo do YouTube parecia atingir seu objetivo, recomendando conteúdo cada vez mais extremo e conspiratório.

 Uma pesquisadora relatou que, depois de ver imagens dos comícios de campanha de Donald Trump, o YouTube ofereceu seus vídeos com “discursos racista centrada na crença , negações do Holocausto e outros conteúdos perturbadores”. A abordagem de aumento do algoritmo foi além da política, ela disse:

“Vídeos sobre vegetarianismo levou a vídeos sobre veganismo. Vídeos sobre corrida levaram a vídeos sobre a execução de ultramaratonas.” Como resultado, segundo pesquisas sugerem , o algoritmo do YouTube tem ajudado a polarizar e radicalizar as pessoas e espalhar informações erradas, apenas para nos manter assistindo. “Se eu estivesse planejando as coisas, provavelmente não seria o primeiro caso de teste de como lançaremos essa tecnologia em grande escala”, disse Dylan Hadfield-Menell , pesquisador de IA da Universidade da Califórnia. Berkeley.

Os engenheiros do YouTube provavelmente não pretendiam radicalizar a humanidade. Mas os codificadores não conseguem pensar em tudo. “A maneira atual como fazemos a IA sobrecarrega os projetistas para entender quais são as conseqüências dos incentivos que eles oferecem aos seus sistemas”, disse Hadfield-Menell. “E uma das coisas que estamos aprendendo é que muitos engenheiros cometeram erros.”

Um aspecto importante do problema é que os humanos geralmente não sabem quais objetivos dar aos nossos sistemas de IA, porque não sabemos o que realmente queremos. “Se você perguntar a alguém na rua, ‘O que você quer que seu carro autônomo faça?’ eles diziam ‘Prevenção de colisões’ ”, disse Dorsa Sadigh, um cientista de IA da Universidade de Stanford, especializado em interação humano-robô. “Mas você percebe que não é só isso; as pessoas têm várias preferências. ”

Os carros autônomos super seguros andam muito devagar e freiam com tanta frequência que deixam os passageiros doentes. Quando os programadores tentam listar todos os objetivos e preferências que um carro robótico deve manipular simultaneamente, a lista inevitavelmente termina incompleta. 

Sadigh disse que ao dirigir em São Francisco, muitas vezes fica presa atrás de um carro autônomo que fica parado na rua. É evitar com segurança o contato com um objeto em movimento, da maneira que seus programadores disseram.

Para evitar essas armadilhas e resolver o problema de alinhamento da IA, os pesquisadores começaram a desenvolver um método totalmente novo de programação de máquinas benéficas. A abordagem está mais intimamente associada às idéias e pesquisas de Stuart Russell , um cientista da computação decorado em Berkeley. Russell, 57 anos, fez um trabalho pioneiro sobre racionalidade, tomada de decisão e aprendizado de máquina nas décadas de 80 e 90 e é o principal autor do livro didático Artificial Intelligence: Uma Abordagem Moderna . 

Nos últimos cinco anos, ele se tornou uma voz influente no problema de alinhamento e uma figura onipresente – um britânico bem falado e reservado em um terno preto – em reuniões e painéis internacionais sobre os riscos e a governança de longo prazo da IA.

Stuart Russell, cientista da computação da Universidade da Califórnia, Berkeley, fez uma palestra no TED sobre os perigos da IA ​​em 2017.

Na visão de Russell, a IA de hoje orientada para objetivos é finalmente limitada, por todo o seu sucesso em realizar tarefas específicas, como nos vencer no Jeopardy! Identificando objetos em imagens e palavras em fala e até compondo música e prosa. Pedir que uma máquina otimize uma “função de recompensa” – uma descrição meticulosa de alguma combinação de objetivos – inevitavelmente levará a IA desalinhada, argumenta Russell, porque é impossível incluir e ponderar corretamente todos os objetivos, subobjetivos, exceções e advertências na função de recompensa , ou mesmo saber quais são os corretos. 

Dar objetivos a robôs “autônomos” de roaming gratuito será cada vez mais arriscado à medida que se tornarem mais inteligentes, porque os robôs serão cruéis na busca de sua função de recompensa e tentarão impedir que os desligamos.

Em vez de as máquinas perseguirem objetivos próprios, diz o novo pensamento, elas devem procurar satisfazer as preferências humanas; seu único objetivo deve ser aprender mais sobre quais são nossas preferências. Russell sustenta que a incerteza sobre nossas preferências e a necessidade de procurar orientação manterão os sistemas de IA seguros.

 Em seu livro recente, Human Compatible , Russell expõe sua tese na forma de três “princípios de máquinas benéficas”, ecoando as três leis da robótica de Isaac Asimov de 1942, mas com menos ingenuidade. A versão de Russell afirma:

1. O único objetivo da máquina é maximizar a realização das preferências humanas.

2. A máquina está inicialmente incerta sobre quais são essas preferências.

3. A principal fonte de informação sobre as preferências humanas é o comportamento humano.

Nos últimos anos, Russell e sua equipe em Berkeley, juntamente com grupos de idéias semelhantes em Stanford, na Universidade do Texas e em outros lugares, desenvolveram maneiras inovadoras de identificar os sistemas de IA em nossas preferências, sem precisar especificar essas preferências.

Esses laboratórios estão ensinando os robôs a aprender as preferências dos humanos que nunca os articularam e talvez nem tenham certeza do que querem. Os robôs podem aprender nossos desejos assistindo a demonstrações imperfeitas e podem até inventar novos comportamentos que ajudam a resolver a ambiguidade humana.

 (Nos sinais de parada de quatro direções, por exemplo, os carros autônomos desenvolveram o hábito de recuar um pouco para sinalizar para os motoristas seguirem em frente.) Esses resultados sugerem que a IA pode ser surpreendentemente boa em inferir nossa mentalidade e preferências.

“Essas são as primeiras tentativas de formalizar o problema”, disse Sadigh. “Recentemente, as pessoas estão percebendo que precisamos observar a interação homem-robô com mais cuidado”.

Ainda não se sabe se os esforços nascentes e os três princípios de máquinas benéficos de Russell anunciam um futuro brilhante para a IA. A abordagem fixa o sucesso dos robôs em sua capacidade de entender o que os seres humanos realmente preferem – algo que a espécie tenta descobrir há algum tempo. 

No mínimo, Paul Christiano , pesquisador de alinhamento da OpenAI, disse que Russell e sua equipe esclareceram bastante o problema e ajudaram a “especificar como é o comportamento desejado – para o que pretendemos”.

Como entender um ser humano

A tese de Russell chegou a ele como uma epifania, esse sublime ato de inteligência. Era 2014 e ele estava em Paris no sábado sabático de Berkeley, indo para o ensaio para um coral ao qual se juntou como tenor. “Como eu não sou um músico muito bom, sempre tive que aprender minha música no metrô a caminho do ensaio”, lembrou ele recentemente.

 O arranjo coral de Samuel Barber, em 1967, Agnus Dei encheu seus fones de ouvido enquanto ele disparava sob a Cidade da Luz. “Era uma música tão bonita”, disse ele. “Apenas me veio à mente que o que importa e, portanto, qual era o objetivo da IA, era, em certo sentido, a qualidade agregada da experiência humana.”

Os robôs não devem tentar atingir objetivos como maximizar o tempo de visualização ou clipes de papel, ele percebeu; eles deveriam simplesmente tentar melhorar nossas vidas. Havia apenas uma pergunta: “Se a obrigação das máquinas é tentar otimizar essa qualidade agregada da experiência humana, como diabos eles saberiam o que era?”

No laboratório de Scott Niekum na Universidade do Texas, Austin, um robô chamado Gemini aprende a colocar um vaso de flores no centro de uma mesa. Uma única demonstração humana é ambígua, pois a intenção pode ter sido colocar o vaso à direita do prato verde ou à esquerda da tigela vermelha. No entanto, depois de fazer algumas perguntas, o robô tem um bom desempenho nos casos de teste.

As raízes do pensamento de Russell voltaram muito mais longe. Ele estuda IA ​​desde os dias de escola em Londres, na década de 1970, quando programava algoritmos de jogo da velha e do xadrez no computador de uma faculdade próxima. Mais tarde, depois de se mudar para a área da baía favorável à IA, ele começou a teorizar sobre tomada de decisão racional. Ele logo concluiu que é impossível. Os seres humanos não são nem remotamente racionais, porque não é computacionalmente viável:

não podemos calcular qual ação em um dado momento levará ao melhor resultado trilhões de ações mais tarde em nosso futuro a longo prazo; nem uma IA. Russell teorizou que nossa tomada de decisão é hierárquica – aproximamos brutalmente a racionalidade, perseguindo objetivos vagos a longo prazo por meio de objetivos a médio prazo, dando mais atenção às nossas circunstâncias imediatas.

A epifania de Russell em Paris ocorreu durante um período crucial no campo da inteligência artificial. Meses antes, uma rede neural artificial que usava uma abordagem conhecida chamada aprendizado por reforço chocou os cientistas ao aprender rapidamente do zero como jogar e vencer os videogames da Atari , até inovando novos truques ao longo do caminho.

 No aprendizado, uma IA aprende a otimizar sua função de recompensa, como sua pontuação em um jogo; À medida que experimenta vários comportamentos, os que aumentam a função de recompensa são reforçados e têm maior probabilidade de ocorrer no futuro.

Russell havia desenvolvido o inverso dessa abordagem em 1998, trabalho que ele continuou aperfeiçoando com seu colaborador Andrew Ng . Um sistema de “aprendizado inverso por reforço” não tenta otimizar uma função de recompensa codificada, como no aprendizado por reforço; em vez disso, tenta aprender qual função de recompensa um humano está otimizando. Enquanto um sistema de aprendizado por reforço descobre as melhores ações a serem tomadas para alcançar uma meta, um sistema inverso de aprendizado por reforço decifra o objetivo subjacente quando recebe um conjunto de ações.

Poucos meses depois de sua epifania inspirada no Agnus Dei , Russell começou a falar sobre aprendizado inverso com Nick Bostrom, famoso por clipes de papel, em uma reunião sobre governança da IA ​​no Ministério das Relações Exteriores da Alemanha. “Foi aí que as duas coisas se juntaram”, disse Russell. 

No metrô, ele havia entendido que as máquinas deveriam se esforçar para otimizar a qualidade agregada da experiência humana. Agora, ele percebeu que, se não souberem como fazer isso – se os computadores não souberem o que os humanos preferem – “eles poderiam fazer algum tipo de reforço inverso aprendendo a aprender mais”.

Com o aprendizado de reforço inverso padrão, uma máquina tenta aprender uma função de recompensa que um humano está buscando. Mas na vida real, podemos estar dispostos a ajudá-lo ativamente a aprender sobre nós. De volta a Berkeley após seu período sabático, Russell começou a trabalhar com seus colaboradores para desenvolver um novo tipo de ” aprendizado de reforço inverso cooperativo “, em que um robô e um humano podem trabalhar juntos para aprender as verdadeiras preferências do humano em vários “jogos de assistência” – cenários abstratos que representam situações do mundo real, conhecimento parcial.

Um jogo que eles desenvolveram, conhecido como jogo off-switch , aborda uma das maneiras mais óbvias de robôs autônomos se desalinharem de nossas verdadeiras preferências: desativando seus próprios interruptores. Alan Turing sugeriu em uma conferência de rádio da BBC em 1951 (no ano seguinte à publicação de um artigo pioneiro sobre IA ) que seria possível “manter as máquinas em uma posição subserviente, por exemplo, desligando a energia em momentos estratégicos”. Agora ache isso simplista. O que impede um agente inteligente de desativar seu próprio interruptor de desligamento ou, geralmente, de ignorar comandos para parar de aumentar sua função de recompensa? In Human Compatible, Russell escreve que o problema do desligamento é “o núcleo do problema de controle para sistemas inteligentes. Se não podemos desligar uma máquina porque ela não nos permite, estamos realmente com problemas. Se pudermos, também poderemos controlá-lo de outras maneiras. ”

Dorsa Sadigh, cientista da computação da Universidade de Stanford, ensina a um robô a maneira preferida de pegar vários objetos.

A incerteza sobre nossas preferências pode ser fundamental, como demonstrado no jogo off-switch, um modelo formal do problema envolvendo Harriet, o humano, e Robbie, o robô. Robbie está decidindo se deve agir em nome de Harriet – se deve reservar um quarto de hotel agradável, mas caro, por exemplo -, mas não tem certeza sobre o que ela prefere. Robbie estima que a recompensa por Harriet possa estar em torno de -40 a +60, com uma média de +10 (Robbie acha que provavelmente gostará da sala chique, mas não tem certeza). Não fazer nada tem um retorno igual a 0. Mas há uma terceira opção: Robbie pode perguntar a Harriet se ela quer continuar ou prefere “desligá-lo” – ou seja, tire Robbie da decisão de reservar o hotel. Se ela deixar o robô prosseguir, a recompensa média esperada para Harriet se tornará maior que +10. Então, Robbie decidirá consultar Harriet e, Russell e seus colaboradores provaram que, em geral, a menos que Robbie esteja completamente certa sobre o que Harriet faria, ela preferirá deixá-la decidir. “Acontece que a incerteza sobre o objetivo é essencial para garantir que possamos desligar a máquina”, escreveu Russell em Human Compatible , “mesmo quando é mais inteligente do que nós”.

Como nos sentimos sobre nossas mudanças de sentimento? É tudo bastante para um robô pobre entender.

Esses e outros cenários de conhecimento parcial foram desenvolvidos como jogos abstratos, mas Scott NiekumO laboratório da Universidade do Texas, Austin, está executando algoritmos de aprendizado de preferências em robôs reais. Quando Gemini, o robô de dois braços do laboratório, assiste a um humano colocar um garfo à esquerda de um prato em uma demonstração de mesa, inicialmente não é possível saber se os garfos sempre vão para a esquerda dos pratos, ou sempre em particular. local em cima da mesa; novos algoritmos permitem que Gemini aprenda o padrão após algumas demonstrações. Niekum se concentra em fazer com que os sistemas de IA quantifiquem sua própria incerteza sobre as preferências de um ser humano, permitindo que o robô avalie quando ele souber o suficiente para agir com segurança. “Estamos pensando muito diretamente sobre a distribuição de objetivos na cabeça da pessoa que podem ser verdadeiros”, disse ele. “E estamos discutindo sobre riscos em relação a essa distribuição.”

Recentemente, Niekum e seus colaboradores encontraram um algoritmo eficienteisso permite que os robôs aprendam a executar tarefas muito melhor do que seus demonstradores humanos. Pode ser exigente computacionalmente para um veículo robótico aprender manobras de direção simplesmente assistindo a demonstrações de motoristas humanos. Mas Niekum e seus colegas descobriram que eles poderiam melhorar e acelerar drasticamente o aprendizado, mostrando demonstrações de um robô que foram classificadas de acordo com o desempenho do ser humano. “O agente pode olhar para esse ranking e dizer: ‘Se esse é o ranking, o que explica o ranking?”, Disse Niekum. “O que está acontecendo com mais frequência à medida que as demonstrações melhoram, o que acontece com menos frequência?” A versão mais recente do algoritmo de aprendizado, chamada Bayesian T-REX (para “extrapolação de recompensa classificada na trajetória”), encontra padrões nas demos classificadas que revelam possíveis funções de recompensa que os humanos podem otimizar. O algoritmo também mede a probabilidade relativa de diferentes funções de recompensa. Um robô executando o Bayesian T-REX pode inferir com eficiência as regras mais prováveis ​​de ajustes de lugar ou o objetivo de um jogo da Atari, disse Niekum, “mesmo que nunca tenha visto a demonstração perfeita”.

Nossas escolhas imperfeitas

As idéias de Russell estão “entrando nas mentes da comunidade da IA”, disse Yoshua Bengio , diretor científico do Mila, um dos principais institutos de pesquisa da IA ​​em Montreal. Ele disse que a abordagem de Russell, onde os sistemas de IA visam reduzir sua própria incerteza sobre as preferências humanas, pode ser alcançada com aprendizado profundo – o método poderoso por trás da recente revolução na inteligência artificial, onde o sistema peneira dados através de camadas de uma rede neural artificial para encontrar seus padrões. “É claro que são necessários mais trabalhos de pesquisa para tornar isso realidade”, disse ele.

Russell vê dois grandes desafios. “Um é o fato de que nosso comportamento está tão longe de ser racional que pode ser muito difícil reconstruir nossas verdadeiras preferências subjacentes”, disse ele. Os sistemas de IA precisarão raciocinar sobre a hierarquia de metas de longo, médio e curto prazo – as inúmeras preferências e compromissos nos quais cada um está preso. Se os robôs vão nos ajudar (e evitar cometer erros graves), eles precisarão conhecer o caminho das teias nebulosas de nossas crenças subconscientes e desejos desarticulados.

Fonte: Quanta Magazine

Livros sobre I.A

o-humano-mais-humano

O humano mais humano: O que a inteligência...

robos-traders-autonomos

Robôs Traders Autônomos: Estudos de operaç...

inteligencia artificial como ler filosofia

Inteligência artificial – A associaç...

inteligencia artificial teoria pratica

Inteligência Artificial – Teórica e ...

inteligencia-artificial-algoritmos-geneticos-na-pratica

Inteligência Artificial: Algoritmos Genéti...

inteligencia artificial

Inteligência Artificial. Diálogos Entre Me...

inteligencia-artificial-projeto-de-aplicacao

Inteligência Artificial: Projeto de aplica...

inteligencia-artificial-em-controle-e-automacao

Inteligência Artificial em Controle e Auto...

Cursos de I.A

Tudo Sobre IoT curso online

Tudo Sobre IoT – Internet das Coisas

curso online robotica automacao residencial

Curso de Robótica e Automação Residencial

336x280_profissionais-do-futuro_seq2

Profissional do Futuro – Inteligênci...

internet-das-coisas-curso

Internet das Coisas – Uma visão ampl...

curso-inteligencia-artificial-avancada-assistentes-pessoais

Inteligência artificial avançada para assi...

curso robôs im inteligência artificial facebook

ROBOS.im – Plataforma para criação d...

talia sistema inteligencia artificial advogados

Talia – Inteligência Artificial para...

comandar-casa-por-voz-internet-das-coisas

Manual para Comandar sua Casa por Voz a Ba...