В июле 2000г. в лаборатории начался полугодовой проект "Advanced 3D rendering technology" при поддержке Samsung Advanced Institute of Technology (http://www.sait.samsung.co.kr). Была поставлена задача провести предварительные исследования в области синтеза изображений по изображениям (Image-based rendering) для трехмерной графики и анимации.

Проект завершился успешно и получил продолжение в виде годового проекта (с апреля 2001г. по апрель 2002 г.) "Advanced Methods of 3D Rendering and Animation", посвященного созданию и развитию нескольких форматов данных, основанных на изображениях и их интеграции в узлы международного стандарта MPEG-4 для расширения новой версии MPEG-4, известного как Animation Framework eXtension (http://mpeg.telecomitalialab.com/ ). В результате было разработано семейство трехмерных форматов (в том числе анимационных), объединенных понятием DIBR (Depth Image-Based Representations -- представления, основанные на изображениях с глубиной), в настоящее время находящихся на этапе формального принятия в стандарт MPEG-4. Третий проект на эту же тему начался с июля 2002г.

Модель, представленная в DIBR-виде, является набором изображений ("фотографий") объекта, сделанных с некоторых точек таким образом, чтобы покрывать видимую поверхность объекта; каждому изображению сопоставлена карта глубины, т.е. набор расстояний от плоскости камеры до поверхности объекта. Это представление проиллюстрировано ниже на рисунке. Черно-белые изображения -- карты глубины.

Это базовая идея может быть обобщена различными способами. Например, карты глубины можно сделать многослойными или преобразовать набор карт глубины в одну древовидную структуру (бинарное волюметрическое октодерево). Оба варианта были реализованы в наших DIBR-форматах.

Основные текущие результаты проектов:

• основанные на изображениях форматы для статичных и анимированных трехмерных объектов
  • Изображения с глубиной (DI - Depth Image), объединение произвольного набора пар 'цвет + глубина'
  • Точечная текстура (PT - Point Texture, (многослойная карта глубины с цветом, получаемая после проецирования объекта на некоторую плоскость (LDI - Layered Depth Image)
  • Бинарное объемное октодерево (BVO - Binary Volumetric Octree), которое состоит из представленного в виде восьмеричного дерева набора карт глубины, вместе с исходными изображениями объекта.

  DI и BVO имеют анимированные версии. В анимированном DI изображения и карту глубины заменяются видеопотоками. В анимированном BVO, изображения заменяются видео и вводится дополнительный поток бинарных деревьев. Общие механизмы MPEG-4 позволяют комбининировать форматы различных типов, позволяя добиваться гибкости для оптимального представления объекта.

• новый метод сжатия BVO без потерь
  • метод основан на адаптивном арифметическом кодировании с использованием контекстного моделирования
  • использование ортогональной инвариантоности позволяет сжимать и без того компактное безссылочное представление восьмеричных деревьев в 1.5 - 2 раза.
• были разработаты простые и эффективные алгоритмы визуализации для DIBR-форматов
  • в качестве примитивов визуализации используются сплаты адаптивного выбираемого размера
  • визуализация основана на OpenGL API, что позволяет использовать аппаратные ускорители.
  • интерактивная скорость визуализации для статичных и анимированных объектов

Для детального описания форматов, алгоритмов сжатия, дизайна узлов, оценок объема/скорости, см. публикации ниже:

Публикации:

• Y. Bayakovski, L. Levkovich-Maslyuk, A. Ignatenko, A. Konushin, D. Timasov, A. Zhirkov, Mahnjin Han, In Kyu Park, "Depth Image-based Representations for Static and Animated 3D Objects", accepted for ICIP'2002 (IEEE International Conference on Image Processing, http://www.icip2002.com )
  .pdf (618kb)
• A. Zhirkov, "Binary Volumetric Octree Representation for Image Based Rendering", Graphicon 2001 (http://www.graphicon.ru)
  .pdf (129kb) .ps.gz (122kb)

Команда разработчиков:

• Леонид Левкович-Маслюк (старший научный сотрудник, Институт прикладной математики имени М.В. Келдыша РАН)
  (levkovl@spp.keldysh.ru)

• Алексей Игнатенко (аспирант):
  Изображения с глубиной, визуализация, спецификация узлов
• Антон Конушин (аспирант):
  Создание моделей, спецификация узлов и потоков, визуализация
• Дмитрий Тимасов
  MPEG-4 reference software, спецификации, визуализация
• Александр Жирков (аспирант):
  формат BVO, сжатие, визуализация

представители SAIT: Mahnjin Han (Multimedia Lab, SAIT , сопредседатель Ad Hoc Group по редактированию AFX PDAM/VM и Core Experiments) и In Kyu Park (Multimedia Lab, SAIT).

Слева направо: Д. Тимасов, А. Конушин, А. Жирков, А. Игнатенко, Л. Левкович-Маслюк, Mahnjin Han (Май, 2001г, Московский Государственный Университет, Graphics&Media Lab).