Содержание к диссертации
Введение
Глава 1. Методы обработки видеоинформации в системах построения пользовательских интерфейсов 15
1.1. Классификация оптико-электронных систем для использования в пользовательских интерфейсах 15
1.2. Системы стереовидения 21
1.3. Системы с восстановлением формы по фокусировке 39
1.4. Системы с измерением пролетного времени 42
1.5. Системы с использованием структурированного освещения 47
1.6. Восстановление формы по затенению 56
1.7. Восстановление формы по тени 59
Цели и задачи исследования 62
Глава 2. Разработка оптико-электронных систем основанных на методе теневой локации 64
2.1. Измерение пространственных координат методом теневой локации с использованием стереосистемы 64
2.2. Измерение пространственных координат методом теневой локации однокамерной системой 69
2.3. Измерение пространственных координат с использованием пространственно-распределенной сенсорной поверхности 73
Глава 3. Исследование точностных характеристик на основе математической модели системы 82
Глава 4. Разработка и практическая реализация оптико-электронной информационно-управляющей системы 93
4.1. Основные технические решения по использованию теневых составляющих 93
4.2. Реализация аппаратно-программного модуля 98
4.3. Разработка пользовательского интерфейса 105
Заключение
- Системы с восстановлением формы по фокусировке
- Восстановление формы по затенению
- Измерение пространственных координат методом теневой локации однокамерной системой
- Реализация аппаратно-программного модуля
Введение к работе
Актуальность проблемы.
Удешевление жидкокристаллических мониторов,
интегрированных с сенсорными панелями, выполненными на основе ультразвуковых, инфракрасных и емкостных технологий, способствовало широкому использованию интуитивно понятного взаимодействия с программным обеспечением. Появились системы, анализирующие изображение окружающей сцены в непосредственной близости от экрана монитора и распознающие набор определенных жестов оператора.
Для игровой индустрии впечатляющим прорывом стала разработанная Microsoft консоль Kinect, осуществляющая измерения пространственного положения человеческого тела. Эта система позволяет фактически осуществить «погружение» человека-оператора в виртуальное пространство, дает новые формы взаимодействия с программным обеспечением. Это тем более становится актуальным в связи с появлением 3D дисплеев. Становится возможным «придать объем» управляющим элементам (кнопкам, переключателям и т.п.), расположить их на разных уровнях и глубине виртуального пространства.
Принципы построения управляющих систем, использующих в
контуре обратной связи стереотелевизионный датчик пространственного
положения, рассматривался еще в ставшей классической монографии Г.
П. Катыса «Оптические системы роботов-манипуляторов», изданной в
1977 году. Еще более давнюю историю имеют системы измерения
пространственного положения, основанные на использовании
зондирующего излучения, обозначаемые термином «оптико-
локационные». Эти системы позволяют решать задачи наведения на цель в военных и космических приложениях (угловые координаты цели) и измерять ориентацию кооперированных (оборудованных отражателями) объектов. Использование в этих системах фазовых или импульсных методов оптического зондирования позволяет измерить, кроме того, и дальность до объекта, отражающего это излучение.
Появление высокопроизводительных однокристальных
процессоров, ориентированных на потоковую обработку видеоинформации, позволило решить огромное число практических
задач. На рынке появилось большое число фирм, предлагающих системы технического зрения, ориентированные как на простые задачи типа обнаружения, так и на структурирование, логический анализ, выявление дефектов механических заготовок и управления процессами металлообработки и сборки.
Однако использование зондирующего излучения не потеряло своей актуальности. Использование специального типа подсветки, получившей в настоящее время название «структурированная», в сочетании с новыми типами приемников оптического сигнала позволило получить практически значимые технические решения.
К таким системам относится, например, ЗБ-сканер, позволяющий восстановить форму объектов трехмерной сцены, выполненный на основе позиционно-чувствительного диода (PSD), оптически сопряженного с лазерной сканирующей системой.
В сенсорных системах роботов нашли применения датчики препятствий, выполненные на основе PSD оптически сопряженного с лазерным излучателем.
Появление специальных фоточувствительных матриц, измеряющих фазовый сдвиг принятого сигнала относительно зондирующего, позволило решить задачу определения фазовой задержки от отдельных точек объекта контроля, подсвечиваемого матрицей светоизлучающих диодов.
Управление фазовым сдвигом зондирующего излучения с помощью MEMS-устройств позволило получить субпиксельную точность измерения координат изображения объекта на ПЗС-матрице.
Генерация псевдослучайного распределения зондирующего излучения, позволило обойти проблему нахождения идентичных точек на изображениях стереопар.
Из отечественных разработок можно назвать работу, проведенную в институте математики и механики Уральского отделения РАН. В этой работе предложена система, обеспечивающая взаимодействие пользователя с объектами виртуальной реальности. В Московском государственном техническом университете им. Баумана разработан ряд устройств на основе структурированной подсветки, предназначенных для задач идентификации личности. В Центральном НИИ Робототехники и технической кибернетики (С.-Петербург)
разрабатьшается система пространственного измерения положения космического аппарата в ближней рабочей зоне, основанная на принципах структурированного освещения.
Таким образом, использование специальных зондирующих подсветок трехмерной сцены позволяет упростить алгоритмы обработки видеоданных, повысить точность и помехоустойчивость, что в итоге приведет к удешевлению конечного устройства, а создание информационно-управляющих систем для построения пользовательских интерфейсов, основанных на теневой локации, позволяющих обеспечить новые типы взаимодействия человека с «виртуальной реальностью», можно уверенно считать актуальной задачей.
Цель и задачи диссертационной работы
Целью диссертационной работы является исследование и разработка оптико-электронных информационно-управляющих систем, позволяющих определять пространственное положение (координаты, ориентацию и скорость) указателя (в частности пальца кисти руки) на основании информации о его теневых составляющих. Должна быть разработана математическая модель этого процесса и проведен анализ его технической реализации. В диссертации рассмотрена возможность использования этой системы в составе пользовательского управляющего интерфейса, который может служить формальной «заготовкой» для создания перспективных методов трехмерного манипулирования.
Методы исследования
Для решения поставленных задач в работе использованы: программный пакет «Matlab» для имитационного моделирования, среда разработки Embarcadero Delphi, САПР MentorGraphics, пакет разработки проектов ПЛИС на базе кристаллов XILINXISE и EDK ver. 10.03, система моделирования цифровых устройств ModelSim.
Научная новизна диссертации состоит в том, что автором, на основе впервые введенного в практику измерений понятия "поверхность теневой локации", рассмотрен вопрос определения пространственного положения объекта контроля. В ходе решения этой задачи:
получено матричное уравнение, описывающее процесс формирования теней от двух пространственного разнесенных точечных излучателей;
показано, что его решение позволяет определить положение пространственного объекта;
разработаны оптико-геометрические схемы устройств для определения пространственного положении объекта контроля, в которых может отсутствовать функция построения изображения;
разработаны функциональные схемы оптико-электронных информационно-управляющих систем, использующие поверхность теневой локации;
созданы математические модели их функционирования;
разработано математическое обеспечение специализированных вычислительных устройств обработки видеоинформации, входящих в состав информационно-управляющих систем, позволяющее определить пространственое положение (координат и ориентации) объекта контроля;
предложены принципы взаимодействия человека-оператора с информационно-управляющей системой.
Новизна предложенных автором технических решений подтверждена патентом РФ № 2362216 от 12.05.2008 г.
Практическая значимость работы заключается в следующих результатах:
разработаны новые типы оптико-геометрических и функциональных схем информационно-управляющих систем пространственного положения, работающих на основе анализа теневых составляющих, формируемых на поверхности теневой локации;
предложены алгоритмы и созданы модели построения интерфейсов трехмерного взаимодействия человека-оператора с программным обеспечением информационно-управляющих систем;
разработано программное обеспечение специализированного устройства обработки видеоинформации и формальное описание аппаратных модулей информационно-управляющей системы;
разработана библиотека программ для построения специализированных интерфейсов пространственного манипулирования данными;
проведено натурное испытание прототипа информационно-управляющей системы пространственного положения, реализованного на основе идеологии «система на кристалле»;
проведено моделирование работы отдельных функциональных модулей информационно-управляющей системы.
Достоверность полученных результатов подтверждается хорошей сходимостью результатов моделирования с результатами натурного испытания информационно-управляющей системы.
Личный вклад автора.
Результаты, представленные в диссертационной работе, получены автором лично. Проанализированы существующие и разработаны новые оптико-геометрические и функциональные схемы управляющих устройств пространственного положения, получены математические формулы и построены модели ошибок. Основными результатами являются:
оптико-геометрические и функциональные схемы информационно-управляющих систем, использующих для получения информации о пространственном положении объекта управления «поверхность теневой локации»;
решения по интеграции информационно-управляющей системы в интерфейс пространственного манипулирования графическими элементами интерфейса персонального компьютера;
принципы построения интерфейсов пространственного манипулирования для человека-оператора, взаимодействующего с трехмерными виртуальными пультами управления;
модели функционирования информационно-управляющих систем пространственного положения на основе пакета MatLab;
статистический анализ результатов натурных испытаний.
Внедрение результатов
Результаты разработок и исследований, полученные в диссертационной работе, нашли следующее внедрение:
оптико-геометрические и функциональные схемы информационно-управляющих систем, используются при выполнении ОКР (шифр «Сфера»), выполняемой ОАО «Ангстрем»;
модели функционирования информационно-управляющих систем, используются при проведении лабораторных работ по курсу «алгоритмические и технические средства обработки сигналов» кафедры САУиК НИУ МИЭТ.
Научные положения, выносимые на защиту.
-
Метод использования теневых составляющих пространственного объекта, формируемых не менее чем двумя пространственно разнесенными оптическими излучателями;
-
Матричное уравнение, представляющее модель образования теневых составляющих пространственного объекта;
-
Алгоритмы обработки теневых составляющих, для извлечения данных о пространственном положении объекта контроля.
-
Оптико-электронные и функциональные схемы устройств, использующие поверхность теневой локации для извлечения информации о пространственном положении.
-
Метод организации взаимодействия оператора в системах виртуальной реальности, использующий пространственное положение указателя.
Апробация работы.
Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:
-
«Современные проблемы определения ориентации и навигации космических аппаратов». Институт космических иследований. г.Таруса 2008 г.
-
16-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2009» МИЭТ г.Зеленоград 2009 г.
-
17-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2010» МИЭТ г.Зеленоград 2010 г. Награжден дипломом за 1-ое место в конкурсе работ
аспирантов по секции «Информационно-управляющие и вычислительные системы и приборы».
-
Конференция «Зеленоград-космосу». г.Зеленоград 2010 г.
-
8-ая научно-техническая конференция «Системы наблюдения, мониторинга и дистанционного зондирования земли» г.Адлер 2010 г.
-
18-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2011» МИЭТ г.Зеленоград 2011 г. Награжден дипломом за 1-ое место в конкурсе работ аспирантов по секции «Информационно-управляющие и вычислительные системы и приборы».
-
3-я Научно-техническая конференция молодых ученых и специалистов, г.Зеленоград 2011 г.
-
2-ая Ярмарка научно-технических и инновационных идей и проектов молодежи «РИТМ Зеленоград», г.Зеленоград 2011 г. Награжден дипломом за 2-ое место в конкурсе проектов среди аспирантов и специалистов.
Публикации по работе
Основные положения диссертационной работы опубликованы в 10 печатных работах, в том числе 2 работы в журналах входящих в список, утвержденный ВАК. По 1 работе получен патент РФ на изобретение. Кроме того 2 заявки приняты к рассмотрению и проходят этапы экспертизы по существу. Без соавторов опубликовано 5 работ.
Структура и объем работы
Системы с восстановлением формы по фокусировке
Наиболее перспективной основой, для построения бесконтактного пользовательского интерфейса с персональным компьютером, устройством бытовой техники или сотовым телефоном безусловно являются оптико-электронные методы. Известны несколько способов их использования позволяющих: определение координат некоторого пространственного указателя, например пальца человека-оператора (пользователя) ; распознавание жестов производимых человеком-оператором.
Системы первого типа, нашли широкое применение в виде устройств «Touch Screen» [13], причем в отличие от устройств выполненных не на оптических принципах (ультразвуковых, резистивных, емкостных) имеют ряд существенных преимуществ. А именно практически неограниченные размеры рабочей области, вандалостойкость и возможность работать в промышленных и полевых условиях. На основе оптических измерений получила широкое применение и оптическая мышь, в которой величина и направление ее перемещения определяется анализом микроизображения поверхности, находящейся в поле зрения ее сенсора, совмещенного с процессором видеообработки [14].
Что касается систем организации интерфейса на основе распознавания жестов, то можно заметить и их развитие. В скрытом виде такой принцип организации интерфейса уже реализован, например, в цифровых фотокамерах, срабатывающих на появление улыбки на объекте съемки. Еще одним примером является компания Samsung Electronics, которая выпустила мобильный телефон SCH-S310 [15], оснащенный системой распознавания жестов по траектории движения. Эта функция позволяет осуществлять ввод цифр, а также нескольких часто используемых управляющих команд. Например, для того чтобы ввести какую-либо цифру, достаточно начертить ее в пространстве рукой, в которой находится телефон. Появились телевизоры [16], управление переключением каналов в которых также осуществляется с помощью жестов.
Оптические методы измерения пространственного положения нашли применение в технике задолго до широкого использования персональных компьютеров и средств взаимодействия человека с прикладным программным обеспечением. Широкое освоение оптического диапазона началось с развитием методов оптической локации - области науки и техники, в которой сведения об объектах получают путем приема и анализа оптического излучения [17]. Традиционно эти системы строились для решения таких задач, как бесконтактные измерения в аэрокосмической и военной отраслях. Причём с появлением лазеров, оптическая локация смогла перейти от чисто пассивных методов получения информации об объектах контроля к активным, осуществляя подсветку пространства для поиска, и измерения требуемых параметров объекта (цели).
В [18] приводится классификация и анализ оптико-локационных измерительных систем используемых в задачах поиска и сопровождения воздушных и наземных целей, измерения их угловых координат и параметров взаимной ориентации, а на рис. 1.1 приведена предложенная в этой же работе обобщенная функциональная схема, в рамках которой и строится указанная классификация
Излучение источника 1 проходит через передающую оптическую систему 2, которая участвует в формировании требуемых характеристик излучения. До попадания на цель 4 (под целью подразумевается объект, информацию о котором получают оптико-локационным способом) излучение проходит через среду 3, отделяющую оптико-локационную систему от объекта 4. Объект 4 может иметь резко очерченные границы, либо представлять собой участок среды 3.
Излучение, отраженное от объекта 4, распространяясь в обратном направлении через среду 3, попадает на приемную оптическую систему 6, которая формирует изображение объекта 4 и окружающего его фона. Фотоприемник 8 может быть любого типа.
Принятый фотоприемником 8 сигнал поступает в блок обработки информации 9, имеющий свои особенности при решении оптико-локационной системой различных функциональных задач. Полученная в результате обработки информация принимается потребителем 10, в качестве которого может быть, например, индикатор либо потребителем 5 - блоком управления пространственным положением оптических осей локатора.
При формировании требуемых характеристик излучения передающей и приемной оптическими системами 2 и 6 могут преобразовываться не только его пространственно-геометрические характеристики, но и временные или спектральные, причем изменение характеристик приемной и передающей системами взаимосвязываются, а информация о характере управления сигналами, поступающая из блока опорной информации 7, используется при обработке информации в блоке 9.
Для функционирования оптико-локационной системы не всегда требуется полный набор всех элементов, указанных на рисунке. Не всегда требуется и управление пространственным положением оптических осей (в частности, путем сканирования). Однако наиболее радикально приведенная схема сокращается при работе в пассивном режиме, т. е. при отсутствии в системе источника излучения и передающей оптической системы 2.
Выбор активного или пассивного режимов работы определяется классом объектов, информация о которых должна быть получена, требуемыми массогабаритными показателями и экономическими соображениями. Первостепенное значение при построении пассивных систем имеет выбор подходящего спектрального диапазона.
Несмотря на то, что во многом, методы обработки видеоинформации схожи с методами применяемыми в задачах оптической локации, изменяется ряд факторов, значимый в оптической локации и мало, или вообще не значимых при построении систем организации пользовательского интерфейса. Это относится, например, к учету среды распространения излучения, атмосферных условий и помех, связанных с обратным рассеиванием зондирующего излучения. Верно и обратное, возрастает значение таких факторов как блики от близко расположенных объектов с зеркальной поверхностью, переотражение зондирующего излучения от посторонних объектов трехмерной сцены. В связи с уменьшенной дальностью до объекта контроля и уменьшения общего размера контролируемого пространства появляется ряд возможностей, использование которых было затруднено в оптической локации.
Восстановление формы по затенению
Перемещение в пространстве, на пути излучения формируемого источником, етика 4, вызывает формирование тени, движущейся по поверхности объектов. Регистрируя последовательность этих изображений, реконструируется пространственное расположение объектов сцены. Обязательным условием работы данной системы является предварительная калибровка камеры, для чего служат маркерные изображения присутствующие на плоскости сцены.
Целью диссертационной работы является исследование и разработка оптико-электронных информационно-управляющих систем, позволяющих определять пространственное положение (координаты, ориентацию и скорость) указателя (в частности пальца кисти руки), на основании информации о его теневых составляющих. Должна быть разработана математическая модель этого процесса и проведен анализ его технической реализации. Должен быть предложен пример технической реализации пространственных измерений на основе новейших принципов обработки сигналов в виде «система на кристалле». В диссертации должна быть рассмотрена возможность использования этой системы в составе пользовательского управляющего интерфейса, который может служить формальной «заготовкой» для создания перспективных методов трехмерного манипулирования. Поставленная цель достигается благодаря решению следующих основных задач: разработка принципов определения трехмерных координат указателя, по отбрасываемым им теням от пространственно разнесенных излучателей; разработка новых оптико-геометрических и функциональных схем устройств, реализующих эти принципы; разработка математической модели, лежащей в основе работы предложенных устройств; исследование математической модели измерительной системы, для оценки точностных характеристик ее физической реализации; разработка программных модулей, реализующих преобразование пространственных движений рук оператора информационно-управляющей системы, в команды пользовательского интерфейса.
Рассмотренные в первой главе системы измерения пространственных координат, несмотря на огромное разнообразие, тем не менее, имеют ограничение в использовании для диапазона дальностей от долей до одного метра. Этот диапазон дальностей соответствует примерно зоне вытянутой руки оператора. Кроме того, желательно, чтобы сам измеритель пространственного положения смог разместиться на рабочем столе, или быть интегрированным с клавиатурой персонального компьютера или с монитором. Данное расположение интерфейсного пространства диктует специфические требования к оптической схеме устройства. А именно необходимо обеспечить открытый для оператора обзор рабочей зоны, т. е. эту рабочую зону не должны загораживать никакие оптические датчики и излучатели. Малый объем свободного нижнего пространства, да и занимаемого устройством пространства вообще, затрудняет съем первичной оптической информации (обзор рабочего пространства).
Для решения этой проблемы введено понятие поверхности «теневой локации», которая представляет собой электронную плату, охватывающую часть рабочей зоны, и оборудованную расположенными на ее поверхности фотоприемниками. Электронная схема, входящая в состав «поверхности» осуществляет ввод сигналов фотоприемников и передачу их значений в центральный процессорный модуль измерительной системы.
В данной главе рассмотрены различные системы измерения координат в основе которых лежит метод теневой локации.
Система, где источник подсветки выполнен в виде активной излучающей поверхности (далее АИП), охватывающей часть рабочей зоны и оптически сопряженной с первой и второй телевизионными камерами, описана автором в работе [73]. АИП может быть выполнена в виде конструкции, представляющей собой печатную плату с распаянными на ней светодиодами, помещенную внутри оптического рассеивателя.
Таким образом, система, состоит из источника подсветки, двух оптически сопряженных телевизионных камер с пересекающимися углами обзора, вычислительного устройства и указателя. Рабочая зона устройства образуется пересечением зон обзора первой и второй камер, с поверхностью АИП.
Упрощенная оптико-геометрическая схема такой системы изображена на рис.2.1, где телевизионные камеры 1 и 2 с объективами 3 и 4 регистрируют излучение АИП 6 и затеняющего это излучение пространственного излучателя 5.
Упрощенная оптико-геометрическая схема системы на базе теневой локации. В этой схеме камеры регистрируют излучение формируемое АИП и затенение вызванное присутствием пространственного указателя, находящийся между АИП и камерами. При такой оптико-геометрической схеме, теневые составляющие формируются на поверхностях ПЗС-матриц телевизионных камер, образующих стереосистему. По положению этих областей, можно вычислить координаты пространственного указателя, причем для регистрации теневых изображений на поверхности матрицы становится возможным применить пороговую обработку изображений, что обеспечивает высокое быстродействие, и помехозащищенность системы.
Измерение пространственных координат методом теневой локации однокамерной системой
В данной главе предложена математическая схема информационно-управляющей системы, а так же диаграмма преобразования пространственного положения указателя в аппаратные значения, с их помощью разработана модель вычисления ошибок измерительной ной системы, реализованная в пакете Matlab. Получены графики распределения ошибки измерения пространственной координаты и ориентации.
Точность измерительного устройства характеризует степень близости действительной функции преобразования сигнала к требуемой. В задаче анализа определяются количественные оценки точности при выбранной схеме и конструкции измерительного устройства в статическом и динамическом режимах его работы. Данная задача сводится к суммированию влияния отдельных составляющих погрешности и к расчету результирующей погрешности изделия. Задача синтеза заключается в оптимизации схемы и параметров объекта по различным частным и комплексным критериям, характеризующим точность.
Известно [79] что если математическое описание прибора имеет вид: (3.1) X = f(Z,qvq2l...,qn), где X - измеряемая величина; Z - величина, на которую реагирует чувствительный элемент прибора qt, і = 1, п- параметры. Если прибор проградуирован при qt = fc0, а в процессе измерения параметры принимают значения qi = qi0 +4qj. Методическая погрешность определяется выражением где значение частной производной (—) при qt = qi0, і = 1,п. На рис.3.1 приведена математическая схема измерительной системы пространственного положения, где: П — поверхность теневой локации,
Математическая схема измерительной системы. На рис.3.1 показан пример отображения точки нахождения фотоприемника Рц в точку р с координатами Xi,yt в системе Oxyz. При этом нужно учесть дискретный характер преобразования координат тени, отбрасываемой пространственным указателем, в дискретные значения номера фотоприемника, из множества (x yi) =i..n , где: крайний левый фотоприемник крайний правый фотоприемник Рис.3.2. Геометрическая схема определения границ тени.
Представим процесс преобразования пространственного положения указателя в аппаратные значения выдаваемые специализированным вычислителем в составе измерительной системы в виде диаграммы, приведенной на рис.3.3, где:
Диаграмма преобразований. Для моделирования точностных характеристик, первоначально были определены конструктивные ограничения на выполнение сенсорной поверхности. На рис.3.4 представлен фрагмент поверхности в которой использованы фототранзисторы типа КР-3216РЗС SMD имеющие размер 1, 2 на 0,6 мм [81].
Интерполировать разбросанные данные различными способами. Для данных, определенных в точках на плоскости, возможно кусочно-постоянное приближение по ближайшему соседу, кусочно-линейное приближение и более гладкое приближение с непрерывными производными (функция griddata). Данные, определенные в точках трехмерного и п-мерного пространства могут быть приближены по ближайшему соседу и при помощи кусочно-линейных функций (функции griddata3 и griddatan) [81].
Так же возможно строить триангуляцию Делоне для множества точек на плоскости, в трехмерном и n-мерном пространстве (функции delaunay, delaunay3, delaunayn) и визуализировать выпуклую оболочку, триангуляцию Делоне и диаграмму Вороного (функции triplet, trimesh, trisurf, tetramesh).
Matlab позволяет определять для заданной точки ближайшую точку к ней из заданного множества точек на плоскости (функция dsearch) и определить для заданной точки содержащий ее треугольник из триангуляции Делоне (функция tsearch), или симплекс в n-мерном случае (функция tsearchn).
Функция dsearch MATLAB позволяет для заданной точки плоскости определять ближайшую к ней точку из заданного множества координат точек. Для этого предварительно требуется построить триангуляцию Делоне по набору точек пересечения при помощи функции delaunay [82] (Рис.3.6). На этом рисунке черным цветом обозначена поверхность теневой локации, а красным рабочая зона.
Реализация аппаратно-программного модуля
Более глубокое «погружение» пользователя в интерфейсное пространство, достигается с помощью формирования сегмента поверхности цилиндра, на котором размещены управляющие элементы, или отдельные «окна». Вид на этот цилиндр, извне «виртуального пространства» приведен на рис.4.15.
Фрагмент цилиндра Э с размещенными на нем «окнами» Sj. С поворотом этой фигуры относительно пользователя, перед ним будут появляться различные пункты меню. Сказанное иллюстрируется на рис.4.16. Набор «окон» {S1,S2lS3,S4lS5,Se} находится на поверхности цилиндра 0. Поворот осуществляется поворотом указателя U в горизонтальной плоскости, а выбор требуемого окна осуществляется наклоном U вниз (аналог «клика»).
Создание интуитивно понятного интерфейса становится возможным путем объединения 2D и 3D технологий управления программным обеспечением. Реализация такого интерфейса может быть осуществлена в системе разработки программного обеспечения высокого уровня, в которой возможно создание оконного приложения. Для этого была использована среда разработки Delphi 2010, входящая в состав пакета Embarcadero RAD Studio 2010.
На рис.4.17 показан фрагмент окна свойств формы, где отображены свойства, альфа канала, AlphaBlend - разрешение на изменение прозрачности и AlphaBlendValue - 8 битное значение градаций прозрачности.
Установки прозрачности окна в создаваемом приложении. Для более удобного переключения между «окнами», изменение прозрачности должно происходить нелинейно, в противном случае пользователю придется точно позиционировать указатель для работы с выбранным окном. Необходимо предусмотреть определенный «зазор» для работы с выбранным окном. На рис.4.18 показан график зависимости прозрачности «окна» Т от глубины погружения указателя L в рабочей зоне устройства,
Для создания интерфейса представленного на рис.4.13 создадим мульти - кадровое приложение в среде Delphi. Каждое из окон должно иметь доступ к свойству прозрачности AlphaBlend = true.
На рис.4.18 показан пример изменения прозрачности при переключении между «окном» с текстовым редактором содержащим экранную клавиатуру и «окном» с калькулятором. На этом рисунке 1 -начальное отображаемое «окно», 2 и 3 - промежуточные кадры на которых просматривается конечное отображаемое «окно» 4. При этом степень прозрачности окна 1 на кадре 2 равна 200, а на кадре 3 равна 100. В верхней части рисунка псевдотрехмерное расположение «окон», а в нижней части снимки экрана сделанные с различной прозрачностью «окна».
Пример изменения прозрачности при переключении между окнами. Для отображения курсора в каждом из «окон» и для его перемещения посредством управляющих сигналов устройства, необходимо создать но программный поток, который будет непрерывно и независимо от остальных действий программы управлять этим перемещением. Для создания дополнительных потоков в Delphi существует базовый класс TThread, его наследование и позволяет реализовать свой поток. Для того чтобы создать "скелет" нового класса, можно выбрать в меню File - New - ThreadObject, Delphi создаст новый модуль с заготовкой этого класса.
В качестве реализации псевдо трехмерного интерфейса пользователя создано приложение, использующее 6 оконных кадров, в каждом из которых существует определенный набор простых функций (одно из окон представляет собой калькулятор, другое текстовый редактор с клавиатурой, предназначенной для ввода символов с экрана и т. д.), демонстрирующих возможности предлагаемого устройства. Листинг программы представлен в приложении 3.
Кроме того, резкий наклон пальца по горизонтали может быть распознан как жест обеспечивающий переход к соседнему окну находящемуся справа или слева от текущего окна, в виртуальном интерфейсном пространстве. А резкое изменение наклона пальца в вертикальной плоскости может использоваться для переключения между окнами в виртуальном пространстве. При этом «погружение» указателя внутрь окна обеспечивает переход на «нижний» уровень виртуального пространства, на котором так же существует возможность переключения между соседними окнами посредством жестов.
На рис.4.20 схематически изображено пространство виртуальной реальности с пятью доступными для пользователя интерфейсными окнами, представленными в виде полупрозрачных прямоугольников. Их выбор осуществляется посредством наклона пространственного указателя в направлениях обозначенными тонкими стрелками. «Проход» сквозь окно виртуального пространства отмечен толстой стрелкой. Схематическое изображение виртуальной реальности с пятью «окнами». «Погружение» в «окно», может осуществляться движением пальца внутрь рабочей зоны устройства, а возврат на предыдущий уровень осуществляется движением указателя из глубины рабочей зоны. Если возникает необходимость «погрузиться» в окно расположенное, например, выше текущего, то надо выбрать верхнее окно путем соответствующего движения пальца вверх, а затем «погрузиться» в него, так, как это было описано выше. Пример подобного взаимодействия с окнами в виртуальном пространстве изображен на рис.4.21, где видны связи между окнами в виртуальном пространстве пользовательского взаимодействия.
