Uma metodologia para otimizaÃÃo de arquitetura e pesos de redes neurais

AUTOR(ES)

Akio Yamazaki

DATA DE PUBLICAÇÃO

2004

RESUMO

Este trabalho propÃe uma metodologia para a otimizaÃÃo global de redes neurais. O objetivo à a otimizaÃÃo simultÃnea de arquiteturas e pesos de redes Multi-Layer Perceptron (MLP), com o intuito de gerar topologias com poucas conexÃes e alto desempenho de classificaÃÃo para qualquer conjunto de dados. A otimizaÃÃo simultÃnea de arquiteturas e pesos de redes neurais à uma abordagem interessante para a geraÃÃo de redes eficientes com topologias pequenas. Tal aplicaÃÃo jà originou alguns trabalhos com algoritmos genÃticos, entretanto existem outras tÃcnicas, como simulated annealing e tabu search, que ainda nÃo foram exploradas para esta finalidade atà o presente momento. MÃtodos de otimizaÃÃo global podem ser combinados com uma tÃcnica baseada em gradiente (por exemplo, o algoritmo backpropagation) em uma abordagem de treinamento hÃbrido, que procura unir, no mesmo sistema, a eficiÃncia global dos mÃtodos de otimizaÃÃo com o ajuste fino das tÃcnicas baseadas em gradiente. Tal combinaÃÃo nÃo tem sido estudada para simulated annealing e tabu search, e isto gerou outra motivaÃÃo para o presente trabalho. Os resultados mostram que a combinaÃÃo cuidadosa de tÃcnicas tradicionais de otimizaÃÃo global, como simulated annealing e tabu search, com redes neurais artificiais e mÃtodos baseados em gradiente à capaz de produzir sistemas hÃbridos bastante eficientes. Por este motivo, uma metodologia foi desenvolvida, combinando as vantagens de simulated annealing, de tabu search e do treinamento hÃbrido, a fim de gerar um processo automÃtico para obter redes MLP com topologias pequenas e alto desempenho de generalizaÃÃo. Esta metodologia representa um grande avanÃo na Ãrea de sistemas neurais hÃbridos e fornece resultados importantes para diversas aplicaÃÃes prÃticas. Este trabalho apresenta resultados da aplicaÃÃo da metodologia proposta em dois domÃnios prÃticos: reconhecimento de odores em um nariz artificial e diagnÃstico de diabetes. Em ambos os casos, a metodologia obteve resultados satisfatÃrios e gerou redes com baixo erro de generalizaÃÃo e baixa complexidade. Tais resultados sÃo extremamente importantes para mostrar que a combinaÃÃo de tÃcnicas de otimizaÃÃo à capaz de produzir sistemas hÃbridos superiores

ASSUNTO(S)

treinamento hÃbrido sistemas neurais hÃbridos otimizaÃÃo global ciencia da computacao

Documentos Relacionados

• Optimization methods for the definition of MLP neural network architectures and weights
• Uma anÃlise de otimizaÃÃo de redes neurais MLP por exames de partÃculas
• OtimizaÃÃo da geometria de aglomerados de silÃcio via redes neurais.
• Abordagem hÃbrida para otimizaÃÃo de redes neurais artificiais para previsÃo de sÃries temporais
• MÃtodos de otimizaÃÃo global para escolha do padrÃo de conectividade de redes neurais sem peso