Реферат: Экспериментальная интерактивная виртуальная среда с погружением и ее использование в области электронной культуры

Экспериментальная интерактивная виртуальная среда с погружением

и ее использование в области электронной культуры


Ключевые слова – интерактивность, погружение, виртуальная среда, электронная культура


В докладе рассмотрена экспериментальная интерактивная виртуальная среда с погружением и ее использование для решения различных задач, в т.ч. в области электронной культуры.

Основные положения доклада.
1. Цель работы – создание многофункционального открытого набора программных и аппаратных модулей, на основе которого можно сформировать и поддержать различные (по критериям - цели, цена, качество) обитаемые виртуальные миры с индивидуальным и групповым погружением, позволяющие пользователям взаимодействовать с объектами и персонажами мира и между собой на основе устройств прямого доступа с использованием текста, голоса, жестов, видео и др. в одно- или многопользовательском режимах.


^ 2. Архитектура виртуального мира (ВМ).

Структура ВМ - интерфейс пользователя; подсистема моделирования среды, объектов и персонажей; подсистема управления.

Режимы работы - однопользовательский; групповой (один экран - несколько пользователей); многопользовательский (географически распределенные пользователи); совместная работа.


^ 3. Интерфейс пользователя.

Уровень погружения - трехмерный аудиовизуальный мир с шестью степенями свободы и кинестатическими ощущениями - посредством одно- и многоэкранных (моно и стерео) настольных (мониторы и очки), проекционных (проекторы и очки) и носимых (персональный дисплей) устройств, аудиосистем и системы имитации нагрузок.

Вид интерактивности - передвижение в трехмерном мире, взаимодействие с объектами, реагирование на воздействия - посредством клавиатуры, мыши, трекбола, джойстиков, перчатки, трекеров, микрофона, велосипеда (руль и педали).

Базовый уровень интерфейса – экран стандартного монитора, клавиатура и мышь.


^ 4. Кибернетический велосипед.

Состав - закрепленный в станине велосипед с установленными на нем трекболом и датчиками угла поворота руля и скорости вращения колеса, а также системой имитации нагрузок с энергонакоплением; универсальный контроллер для передачи данных между велосипедом и персональным компьютером (USB, UDP); велобраузер на основе Cortona VRML Client ParallelGraphics или Blaxxun, а также Virtools Web Player.

Режимы работы:- наземное (с привязкой к рельефу местности) или воздушное перемещение по ВМ; подключение к ВМ - solo (локальное), LAN (локальная сеть) или Internet; одно- или многопользовательский.


^ 5. Подсистема моделирования среды, объектов и персонажей.

Каждый пользователь в ВМ может быть представлен персонажем (аватаром), которого видят другие пользователи. Приложение может включать также автономных аватаров с заданным поведением, например, экскурсовод по приложению с речевыми возможностями распознавания, которые будут использоваться при ответе на произнесенные посетителями ключевые слова. Взаимодействия «пользователь – пользователь», «пользователь – автономный аватар» и «автономный аватар - автономный аватар» происходит на основе текста, жестов, мимики, голоса и др.

Например, для мира велосипедистов модель велосипеда в ВМ передает вращение педалей и колес, а также руля реального велосипеда. Пользователи-велосипедисты в ВМ представляются как аватары на велосипеде, которые демонстрируют положение и перемещение каждого велосипедиста в ВМ, а также ориентацию и движения головы и движения рук реального велосипедиста.

Реализованы три позиции восприятия для пользователя - непосредственный участник событий, видит со стороны себя или себя совместно с объектом взаимодействия.

Моделирование среды и объектов определяются приложениями, некоторые примеры которых рассмотрены ниже.


^ 6. Особенности реализации ВМ.

Поддержка распределенных вычислений на кластерах персональных компьютеров (ПК- кластеры). Каждый ПК в кластере обеспечивает представление (рендеринг) одной из камер сцены, а необходимые для синхронизации параметры определяются разработчиком приложения. Это дает большую гибкость и уменьшение стоимости с использованием стандартных аппаратных компонентов ПК, обеспечивает очень высокое качество представления.

Поддержка на основе open source стандарта VRPN большого количества VR- периферийных устройств, что дает возможность их быстрого подключения.

Поддержка нескольких методов синхронизации для соединенных экранов (многоэкранная конфигурация), а также использование стереоскопических очков и звукового сопровождения обеспечивает более реалистичное представление приложения.

Использование режима симуляции при отсутствии ПК- кластера, что позволяет существенно снизить стоимость разработки.

Смешанные средства доставки пользователю- компакт-диски и Internet.

Реализация на основе платформ, позволяющих разрабатывать и поддерживать приложения с качеством Internet -VRML/X3D/MPEG4 (инструментарий ParallelGraphics - ISB, ISA, ICA, VrmlPad, Cortona SDK), а также игр и профессиональных тренажеров - Virtools (инструментарий Dev 2.1, Behavioral Server, Multiuser Pack, VR Pack, Physics Pack, Artifical Intelligence Pack), MS Voice Communication на основе Microsoft Direct Play (для MU).

^ 7. Примеры использования.
Разработанная среда используется при выполнении различных международных и российских проектов, некоторые примеры которых приведены ниже.


1). ^ Виртуальный мир университетов Санкт-Петербурга– выполняется рядом ведущих университетов Санкт-Петербурга и является экспериментальной площадкой для освоения новых технологий обучения. Промоделированы здания университетов с прилегающей территорией, некоторые значимые помещения и образовательные ресурсы. Используется платформа VRML/X3D и базовый уровень интерфейса. Основные результаты представлены на сайте virtual.aanet.ru.


2) ^ Изучение русского языка как иностранного на основе технологии ВМ (совместно с СПбГУ, грант ЮНЕСКО). Является дополнением к электронному учебнику «Русский как иностранный», в основе реализации которого лежит принцип решения коммуникативных задач, характерных для ситуаций повседневного общения. В рамках проекта отобраны и промоделированы некоторые типовые ситуации, актуальные для пребывания иностранцев в России и требующие понимания пространственной информации и невербального поведения. Например, для урока «В университете» и ситуации «Экскурсия по университету» сценарий следующий. Пользователь предварительно просматривает аудиовизуальный ролик, представляющий прогулку вокруг здания университета и по некоторым значимым помещениям с сопровождающей исторической и др. информацией. Далее ему предлагаются варианты проверки того, что он увидел и услышал:

- однопользовательские:

- предлагается трехмерная модель университета с помещениями и прилегающей территорией и персонаж, которым может управлять пользователь (ходьба, жесты); задаются вопросы по экскурсии в текстовой форме и дублируются голосом, а пользователь, управляя персонажем, должен продемонстрировать свое понимание ответа на вопрос;

- в сцену добавляются два автономных персонажа – экскурсовод (девушка) и студент (юноша), персонаж пользователя совместно с ними повторяет экскурсию;

- многопользовательский - каждый удаленный пользователь имеет своего персонажа; местом встречи их является территория университета; персонажи могут перемещаться, обмениваться жестами, писать сообщения, переговариваться (multipoint to multipoint); среди персонажей может быть персонаж-преподаватель (автономный или представляющий в данный момент некоторого преподавателя), который задает вопросы по истории университета; ответы пользователей корректируются и запоминаются и т.п.

Используется платформа Virtools, а также базовый и продвинутый уровни интерфейса –

одно- и многоэкранные (моно и стерео) настольные, проекционные и носимые (шлем) системы, трекер, микрофон, трекболл, джойстики, кибернетический велосипед и др.


3) Электронные путешествия и соревнования с использованием кибернетического велосипеда (совместно с Zentrum für Kunst und Medientechnologie Карлсруэ, Германия и Centre for Interactive Cinema Research, University of New South Wales, Сидней, Австралия).

Сцена - трехмерные модели СпбГУ и СПбГУАП с помещениями и прилегающей территорией. Пользователи сидят на кибернетических велосипедах, погружение осуществляется через шлем и наушники, а также за счет системы имитации нагрузки (кинестатика), а интерактивность – посредством трекболла (в перспективе – перчатка), трекера положения, микрофона.

Возможные варианты использования:

- однопользовательский – пользователь, сидящий на кибернетическом велосипеде, управляет перемещением аватара-велосипедиста в сцене, используемой для познавательной прогулки или соревнования подобно «гонке борзых за зайцем»; в сцене может присутствовать автономный персонаж, выполняющий роль экскурсовода, с которым пользователь может переговариваться;

- многопользовательский - каждый удаленный пользователь на велосипеде имеет своего аватара -велосипедиста; местом встречи их является территория одного из университетов; аватары-велосипедисты могут перемещаться, обмениваться жестами, переговариваться (multipoint to multipoint); среди персонажей может быть персонаж-экскурсовод или спортивный судья (автономный или представляющий в данный момент некоторого пользователя); могут быть организованы познавательные совместные поездки или спортивные соревнования и т.п.

Используется платформа Virtools, а также базовый и продвинутый уровни интерфейса –

одно- и многоэкранные (моно и стерео) настольные, проекционные и носимые (шлем) системы, трекер, микрофон, трекболл, джойстики, кибернетический велосипед и др.


4) ^ Кибернетический велосипед для исследования нейрофизиологии и психологии человека (совместно с Институтом эволюционной физиологии и биохимии им. И.М.Сеченова РАН и Институтом человека РАН), в т.ч. с целью медицинского обоснования человеко-машинного интерфейса типа «виртуальный мир».

Вышеперечисленные приложения используются в области психологии, нейрофизиологии, информатики и направлены на решение следующих проблем:

- исследование пользователя на различные входные и выходные модальности и их комбинации - вербальные, световые, звуковые и тактильные сигналы. Предусматривается также формирование библиотеки моделей сенсорно-моторных связей;

- улучшение понимания воздействия виртуальных миров и их компонентов на человека и членов малой группы как биологическую систему, их комфорт, здоровье, безопасность, а также улучшение психофизиологической и социальной адаптации;

- разработка метрик для описания и измерения эффективности виртуальных миров, пользовательского удовлетворения, влияния сенсоров и обмена.

Используется платформа Virtools, а также базовый и продвинутый уровни интерфейса – одно- и многоэкранные (моно и стерео) настольные, проекционные и носимые (шлем) системы, трекеры, микрофон, трекболл, перчатка, кибернетический велосипед и др.


5) Кратко рассмотрен ряд других проектов в следующих областях:

Образование - активное освоение географии, истории, физики, биологии, правил дорожного движения, иностранных языков и других предметов., а также обучение детей и взрослых с ограниченными возможностями.

Медицина - лечение зависимостей (наркотики, алкоголь, курение и др.) путем активного вытеснения болезненных образов положительными, реабилитация, поведение малых групп в экстремальных ситуациях.

Развлечения - увлекательные виртуальные путешествия с приключениями. В настоящее время в Internet выставлено свыше 100 городов мира для бесплатного доступа, по которым можно путешествовать, в т.ч. на кибервело.

Спорт - организация соревнований на одной трассе между велосипедистами, находящимися в разных городах мира, для виртуального велобола - игры в мяч между несколькими велосипедистами.

Генерация электроэнергии – кибернетический велосипед может использоваться в качестве электрогенератора для питания компьютера, что особенно важно при перебоях в электроснабжении и в сельской местности.

Культура и искусство - как средство для электронного туризма, различных инсталляций и т.п.


^ 8. Некоторые выводы.

Рассмотренная в докладе виртуальная среда позволяет реализовать новую технологию общения и сотрудничества между людьми.

Использование технологии виртуальных миров обеспечивает, в частности:

целостное сенсорное восприятие объекта, в т.ч. и за счет трехмерной организации и визуализации данных;

непосредственное формирование опыта;

активное использование сенсорики и моторики человека;

что

биологически естественно для человеческого организма;

позволяет исключить из когнитивного процесса необходимую стадию мысленного достраивания воспринимаемой картины и тем самым облегчает работу анализаторов, ускоряя процесс восприятия материала. и невербальной информации;

существенно повышает степень понимания и закрепления материала;

позволяет учесть индивидуальные особенности восприятия пользователя за счет взаимозаменяемости способов представления сенсорной информации;

делает возможным совмещение процесса обучения и практической деятельности, в т.ч. при групповой работе;

Таким образом, частично решается одна из основных проблем человеко-машинного интерфейса - повышение эффективности взаимодействия пользователя с моделируемыми объектами и персонажами и с другими участниками деятельности.


В докладе использованы результаты, полученные при финансовой поддержке РФФИ - грант № 01-06-80470 «Изучение коммуникационных возможностей компьютерных виртуальных миров как метамеханизмов культуры».