Module-based learning in autonomous mobile robots.

AUTOR(ES)
DATA DE PUBLICAÇÃO

2005

RESUMO

A informaÃÃo disponÃvel para robÃs em tarefas reais encontra-se amplamente distribuÃda tanto no espaÃo quanto no tempo, fazendo com que o agente busque informaÃÃes relevantes. Neste trabalho, uma soluÃÃo que usa conhecimento qualitativo e quantitativo da tarefa à implementada a fim de permitir que tarefas robÃticas reais sejam tratÃveis por algoritmos de Aprendizagem por ReforÃo (AR). Os passos deste procedimento incluem: 1) decompor a tarefa completa em tarefas menores, usando abstraÃÃo e macro-operadores, para que um espaÃo de aÃÃes discreto seja atingido; 2) aplicar um modelo de representaÃÃo do espaÃo de estados a fim de atingir discretizaÃÃo tanto no espaÃo de estados quanto no de tempo; 3) usar conhecimento quantitativo para projetar controladores capazes de resolver as subtarefas; 4) aprender a coordenaÃÃo destes comportamentos usando AR, mais especificamente o algoritmo Q-learning. O mÃtodo proposto foi verificado em um conjunto de tarefas de complexidade crescente por meio de um simulador para o robà Khepera. Dois modelos de discretizaÃÃo para o espaÃo de estados foram usados, um baseado em estados e outro baseado em atributos --- funÃÃes de observaÃÃo do ambiente. As polÃticas aprendidas sobre estes dois modelos foram comparadas a uma polÃtica prÃ-definida. Os resultados mostraram que a polÃtica aprendida sobre o modelo de discretizaÃÃo baseado em estados leva mais rapidamente a resultados melhores, apesar desta nÃo poder ser aplicada a tarefas mais complexas, onde o espaÃo de estados sob esta representaÃÃo se torna computacionalmente inviÃvel e onde um mÃtodo de generalizaÃÃo deve ser aplicado. O mÃtodo de generalizaÃÃo escolhido implementa a estrutura CMAC ( extit{Cerebellar Model Articulation Controller}) sobre o modelo de discretizaÃÃo baseado em estados. Os resultados mostraram que a representaÃÃo compacta permite que o algoritmo de aprendizagem seja aplicado sobre este modelo, apesar de que, para este caso, a polÃtica aprendida sob o modelo de discretizaÃÃo baseado em atributos apresenta melhor performance.

ASSUNTO(S)

planejamento de tarefas (robÃtica) inteligÃncia artificial algoritmos complexidade computacional mÃquinas aprendizes sistemas discretos aprendizagem

ACESSO AO ARTIGO

Documentos Relacionados