UtilizaÃÃo de opÃÃes para o controle autÃnomo de robÃs mÃveis.
AUTOR(ES)
Friske, LetÃcia Maria
DATA DE PUBLICAÇÃO
2002
RESUMO
Em aplicaÃÃes de Aprendizagem por ReforÃo tais como a navegaÃÃo de robÃs autÃnomos, o uso de opÃÃes (macro-operadores) no lugar de aÃÃes de baixo nÃvel tem sido considerado como um meio para produzir convergÃncia mais rÃpida e uma exploraÃÃo mais significativa do espaÃo de estados.Esta dissertaÃÃo apresenta um estudo sobre a utilizaÃÃo de opÃÃes em Aprendizagem por ReforÃo com o objetivo de encontrar formas para acelerar o processo de aprendizagem. SÃo abordados dois tipos de opÃÃes, opÃÃes OP e OS. Uma opÃÃo OP corresponde a uma polÃtica de aÃÃes que depende de todos os estados visitados durante a execuÃÃo da opÃÃo, sendo que uma polÃtica de aÃÃes mapeia uma aÃÃo para cada estado do ambiente. O segundo tipo de opÃÃes, cuja proposta à uma das principais contribuiÃÃes do trabalho, corresponde a uma seqÃÃncia fixa de aÃÃes, que depende exclusivamente do estado em que a opÃÃo foi disparada. O desempenho das opÃÃes OP e OS foi comparado atravÃs da realizaÃÃo de experimentos com o simulador do robà mÃvel Khepera usando-se o algoritmo de aprendizagem Q-Learning. TambÃm foram realizados experimentos com as opÃÃes OP e uma adaptaÃÃo do mÃtodo de Campos Potenciais, no qual cada opÃÃo OP corresponde a um mapeamento de aÃÃes que podem aproximar o agente do seu alvo ou fazer com que o mesmo desvie de obstÃculos. Para finalizar os estudos, algumas tÃcnicas conhecidas na literatura que possibilitam melhoras na aprendizagem com opÃÃes OP, tais como o TÃrmino Melhorado e a utilizaÃÃo de Hierarquias foram aplicadas Ãs opÃÃes OS. A primeira tÃcnica possibilita que a execuÃÃo de uma opÃÃo seja interrompida sempre que isto pareÃa ser melhor que ir atà o final da mesma e a utilizaÃÃo de hierarquias permite uma categorizaÃÃo de comportamentos, fazendo a chamada de determinados comportamentos apenas quando estes forem necessÃrios. Os resultados desta Ãltima fase experimental tambÃm sÃo relatados na dissertaÃÃo.
ASSUNTO(S)
inteligÃncia artificial robÃs aprendizagem robÃtica controle automÃtico
