Aprendizagem por reforço na adaptação a obstáculos em navegação robótica autônoma não-estruturada baseada em imagens / Reinforcement learning for obstable avoidance in image based robotic autonomous non-structured navigation

AUTOR(ES)
DATA DE PUBLICAÇÃO

2006

RESUMO

Nas últimas décadas, a robótica tem desempenhado um papel importante na sociedade, com participação de destaque na indústria de manufatura de bens. Mais recentemente, aplicações de robos móveis, desde simples brinquedos até a exploração de outros planetas, tem demonstrado o quão promissor o uso dessas ferramentas será num futuro próximo. Contudo, atualmente o custo e a complexidade de construção de robos móveis, que sejam suficientemente flexíveis e ao mesmo tempo úteis, tem sido uma barreira para sua ampla disseminação. Neste sentido, técnicas de Inteligência Artificial vem sendo freqüentemente estudadas, a fim de dotar os sistemas robóticos com capacidades de aprendizado, adaptação e autonomia. Este trabalho apresenta um estudo de aprendizagem de máquina, aplicado a navegação autonoma em robótica móvel. O objetivo principal é avaliar o desempenho de técnicas de aprendizagem por reforço, no uso de robos móveis de baixo custo e baixa precisão, equipados com sensores de visão computacional. Para tanto, um robo foi modelado à luz de uma arquitetura de agente de aprendizagem, para através de imagens obtidas por uma camera Charge-Coupled Device (CCD), ser capaz de aprender a navegar de forma autonoma, em ambientes internos não-estruturados. Os operadores de visão computacional são construídos com Redes Neurais Artificiais e algoritmos de rotulação de imagem, que identificam objetos diferenciados por suas características radiométricas. As posições relativas dos objetos na imagem são utilizadas para definir o estado do agente, que através da experimentação de ações, aprende a otimizar o seu processo de tomada de decisão. A implementação da arquitetura do agente de aprendizagem é suportada pelo protótipo de sistema Cool Autonomous Navigation Enterprise with Learning Agents (Canela), que viabilizou principalmente a conexão de sensores CCDs e a condução dos experimentos. Duas modelagens com aprendizado por reforço foram desenvolvidas, utilizando o algoritmo Q-learning, sendo o intuito da primeira prover uma navegação simples, evitando-se obstáculos e da segunda a exploração homogênea do ambiente. Uma série de ensaios foram realizados em um ambiente real, para validar a primeira modelagem. Os resultados obtidos demonstraram a capacidade de aprendizagem do agente, que navegou por um ambiente inicialmente desconhecido. Com a segunda modelagem, validada em experimentos de simulação, foi possível avaliar o bom desempenho de um sistema de navegação mais complexo, orientado a multi-objetivos. Os resultados encorajam o uso da modelagem de sistemas de navegação de robos móveis, baseados em técnicas de aprendizado por reforço, proporcionando uma alternativa interessante aos métodos de programação tradicionais.

ASSUNTO(S)

computer vision navegação autônoma neural nets articial inteligence inteligência artificial aprendizagem de máquina robótica visão computacional machine learning autonomous navigation computer science robotics computaÇÃo aplicada redes neurais

ACESSO AO ARTIGO

Documentos Relacionados