RUMO À MANIPULAÇÃO DIRETA ESPACIAL DE OBJETOS VIRTUAIS 3D USANDO RASTREAMENTO BASEADO EM VISÃO E NO RECONHECIMENTO DE GESTOS DE MÃOS SEM MARCADORES / TOWARDS DIRECT SPATIAL MANIPULATION OF VIRTUAL 3D OBJECTS USING VISUAL TRACKING AND GESTURE RECOGNITION OF UNMARKED HANDS

AUTOR(ES)

SINISA KOLARIC

DATA DE PUBLICAÇÃO

2008

RESUMO

A necessidade de executar manipulações espaciais (como seleção, deslocamento, rotação, e escalamento) de objetos virtuais 3D é comum a muitos tipos de aplicações do software, inclusive aplicações de computer-aided design (CAD), computer-aided modeling (CAM) e aplicações de visualização científica e de engenharia. Neste trabalho é apresentado um protótipo de aplicação para manipulação de objetos virtuais 3D utilizando movimentos livres de mãos e sem o uso de marcadores, podendo-se fazer gestos com uma ou duas mãos. O usuário move as mãos no volume de trabalho situado imediatamente acima da mesa, e o sistema integra ambas as mãos (seus centróides) no ambiente virtual que corresponde a este volume de trabalho. As mãos são detectadas e seus gestos reconhecidos usando o método de detecção de Viola-Jones. Tal reconhecimento de gestos é assim usado para ligar e desligar modalidades da manipulação. O rastreamento 3D de até duas mãos é então obtido por uma combinação de rastreamento 2D chamado flocks- of-KLT-features e reconstrução 3D baseada em triangulação estéreo.

ASSUNTO(S)

3d input devices hand detection dispositivos de entrada 3d computer vision visao computacional deteccao de maos

Documentos Relacionados

• Modelo abrangente e reconhecimento de gestos com as mãos livres para ambientes 3D.
• Capture and 3D modeling of hands with motion tracking
• Reconhecimento de texto e rastreamento de objetos 2D/3D
• Rastreamento de objetos baseado em reconhecimento estrutural de padrões
• Visualização interativa e manipulação de imagens 3D em tempo real usando métodos baseados na GPU