Задачей проекта является создание программного обеспечения, позволяющего управлять персональным компьютером с помощью жестов и выражения лица пользователя, воспринимаемых через видеокамеру. В первую очередь система ориентирована на людей, не имеющих возможности пользоваться "обычными" средствами управления компьютером (клавиатурой, мышью), например, детей страдающих церебральным параличом.

ПО должно функционировать на обычном домашнем компьютере, реализуя управление курсором "мыши" с помощью изменения положения головы параллельно с использование обычных средств интерфейса. Первая версия ПО предусматривает использование маркированного шлема, облегчающего задачу определения ориентации головы пользователя. В настоящее время разрабатывается система, не предусматривающая использование специальных маркеров для пользователя.

Проект включает в себя исследования по следующим направлениям:

• Локализация (отслеживание) объекта (лица) на последователности кадров;
• Локализация (отслеживание) характерных точек (черт) лица на последователности кадров;
• Распознавание выражения лица;
• Вычисление оптического потока;
• Вычисление ориентации объекта в пространстве по проекциям его характерных точек на изображении;
• Преобразование информации о положении головы пользователя в координаты перемещения курсора мыши.

Публикации:

• А.Н. Кричевец "Шлемомышь" Компьютерра от 12 марта 2002 #9 (434) стр 48-51.
• В. Вежневец "Использование контурных моделей для выделения черт лица на фронтальном изображении" 10-я Всероссийская конференция "Математические методы распознавания образов" (ММРО-10). (www.ccas.ru/mmro)
  .pdf(135kb) .ps.gz(99kb)
• В. Вежневец "Локализация человеческого лица на цветном растровом изображении" 10-я Всероссийская конференция "Математические методы распознавания образов" (ММРО-10). (www.ccas.ru/mmro)
  .pdf (114kb) .ps.gz (80kb)
• V. Vezhnevets "Method For Localization Of Human Faces In Color-Based Face Detectors And Trackers" to appear in The Third International Conference "Digital Information Processing And Control In Extreme Situations" May 28-30, 2002, Minsk, Belarus.
  .pdf (83kb) .ps.gz (123kb)
• С. Солдатов "Распознавание губ: Чтение по губам", Международная научная конференция "Интеллектуализация обработки информации - 2002", Крым, Алушта, 17-21 июня 2002 г. (http://ioi2002.hotbox.ru/)
  .pdf (301kb) .ps.gz (346kb)
• V. Vezhnevets "Face and facial feature tracking for natural Human-Computer Interface" to appear in "Graphicon - 2002" September 16 - September 21, 2002, Nizhny Novgorod, Russia.
  .pdf (513kb) .ps.gz (276kb)

Команда разработчиков:

• Владимир Вежневец (vvp@graphicon.ru)
  

• Станислав Солдатов
• Иванов Петр
• Сазонов Василий

Рис 1. Отслеживание положения лица

Рис 2. Определение ориентации головы по характерным чертам лица