Содержание к диссертации
Введение
Глава 1. Автономные мобильные роботы с бортовыми акустическими системами 10
1.1 Применение акустических систем в робототехнике и автоматизированном машиностроении 10
1.2 Системы акустической идентификации в мобильных роботах 32
1.3 Особенности работы систем акустического распознавания в составе мобильных роботов 45
1.4 Выводы по первой главе 55
Глава 2. Создание системы распознавания акустических сигналов на основе нейросетевых технологий 57
2.1 Разработка метода проведения распознавания объектов среды функционирования мобильных роботов 57
2.2 Формирование структурно-функциональной модели системы распознавания акустических сигналов автономной мобильной
2.3 Решение задачи распознавания звучащих объектов на основании
2.4 Решение задачи подготовки акустических сигналов для их последующей обработки с помощью нейросетевых технологий 74
2.5 Выводы по второй главе 84
Глава 3. Создание алгоритмов и программного обеспечения бортовой системы акустического анализа для автономных мобильных роботов на базе нейросетевых технологий
3.1 Алгоритмы работы бортовой системы акустического анализа 85
3.2 Разработка программного обеспечения для работы бортовой системы акустического анализа 97
3.3 Выводы по третьей главе 104
Глава 4. Экспериментальное исследование разработанной бортовой акустической системы 106
4.1 Моделирование распознавания акустических сигналов с помощью синтезированной нейросетевой структуры 106
4.2 Экспериментальное исследование эффективности работы бортовой системы акустического распознавания .118
4.3 Выводы по четвертой главе 128
Заключение 129
Список сокращений 131
Список литературы
- Особенности работы систем акустического распознавания в составе мобильных роботов
- Формирование структурно-функциональной модели системы распознавания акустических сигналов автономной мобильной
- Разработка программного обеспечения для работы бортовой системы акустического анализа
- Экспериментальное исследование эффективности работы бортовой системы акустического распознавания
Введение к работе
Актуальность темы. Разработка и исследование автономных мобильных роботов с бортовыми акустическими системами с целью расширения их функциональных возможностей имеет важное значение для отраслей автоматизированного машиностроения, ликвидации чрезвычайных ситуаций и в других применениях.
В основе автономного функционирования мобильной
робототехнической системы лежит, в том числе, её способность получать и обрабатывать поступающую информацию на протяжении длительного промежутка времени, в условиях возможных изменений окружающей среды, без необходимости взаимодействия с другими дружественными субъектами или субъектами высшего уровня иерархии. Наиболее эффективная работа такой системы возможна при комплексном анализе данных бортовых датчиковых подсистем (техническое зрение, навигационные системы робота, ультразвуковые датчики и пр.) различной природы. На текущий момент времени, в качестве таких подсистем обычно выступают датчики обратной связи движителей, ультразвуковые и лазерные сенсоры, а также системы технического зрения.
Подсистемы акустического контроля слышимого спектра, до настоящего момента, не являлись объектом ведения широких исследований в робототехнике. В то же время акустические средства коммуникации имеют ряд преимуществ перед другими средствами очувствления роботов: способность к распространению вне зоны прямой видимости, способность к проникновению через неплотные среды, скорость, независимость от светового фактора, всенаправленность действия. Внедрение акустических датчиковых подсистем в состав автономных роботов, наряду с новыми алгоритмами распознавания акустических сигналов, является предпосылкой к появлению новых функциональных возможностей роботов, позволит повысить качество распознавания объектов, увеличить автономность и эффективность функционирования мобильных робототехнических систем.
Диссертация основывается на результатах исследований в области робототехники и мехатроники, отражённых в трудах И.М. Макарова, Ф.Л. Черноусько, И.А. Каляева, В.Г. Градецкого, И.Л. Ермолова, Ю.В. Илюхина, В.С. Кулешова, В.М. Лохина, С.В. Манько, Ю.Г. Мартыненко, В.С. Медведева, В.Е. Павловского, Ю.В. Подураева, В.Е. Пряничникова, И.В. Рубцова, В.Ф. Филаретова, Е.И. Юревича и других российских учёных.
Среди зарубежных учёных следует выделить научные исследования, проводимые под руководством Р. Блейхута, М. Коэна, Д. Хопфилда, М. Лазаро, У. Мак-Каллока, У. Питтса, Ф. Уоссермена и других исследователей.
Цель исследования – разработка научно обоснованных технических решений по расширению функциональных возможностей роботов с бортовыми акустическими системами на основе нейросетевых технологий.
Для достижения поставленной цели необходимо решить следующие научные задачи:
-
Выявление связей между применением акустической системы и увеличением функциональных возможностей автономных мобильных роботов. Изучение применимости акустического распознавания для идентификации типов объектов среды функционирования автономных мобильных роботов.
-
Проведение сравнительного анализа интеллектуальных методов обработки данных, применимых для бортового распознавания акустических сигналов.
-
Построение функциональной модели системы распознавания акустических сигналов для автономных мобильных роботов.
-
Разработка алгоритмов, применимых для анализа акустических данных и распознавания объектов среды, с учётом особенностей автономного функционирования мобильных роботов.
-
Разработка экспериментального образца бортовой акустической подсистемы и апробация его работы. В ходе работы над диссертацией были использованы следующие
методы исследований: методы теории робототехнических систем, теории нейронных сетей, матричные методы линейной алгебры, методы создания алгоритмов быстрой обработки сигналов. Моделирование и разработка программных приложений велась с использованием технологий объектно-ориентированного программирования в средах MATLAB и Microsoft Visual Studio.
Научная новизна работы заключается в:
выявленных причинно-следственных связях между применением акустического анализа в составе автономных мобильных роботов и повышением их функциональных возможностей;
методе проведения распознавания акустических сигналов в условиях неполноты поступающей информации о среде, учитывающем также специфические особенности функционирования автономных мобильных робототехнических систем;
функциональной модели бортовой системы распознавания акустических сигналов объектов среды функционирования автономных мобильных роботов на основе нейросетевых технологий, обеспечивающей расширение функциональных возможностей мобильных роботов;
комбинированной нейронной сети для проведения распознавания акустических сигналов с целью распознавания звучащих объектов, в том числе динамически изменяющих своё местоположение в пространстве, в условиях неполноты поступающей информации, основанной на сочетании сети Хопфилда и сети с радиально-базисными функциями.
Практической ценностью обладают следующие результаты.
-
Разработан метод проведения распознавания акустических сигналов объектов среды функционирования автономных мобильных робототехнических систем, обеспечивающий расширение их функциональных возможностей.
-
Создано программное обеспечение, реализующее работу подсистемы акустического распознавания на основе предложенных комбинированных нейросетевых структур и применения методов быстрой обработки сигналов, а также предоставляющее возможность моделирования работы подсистемы распознавания на ЭВМ.
-
Построен экспериментальный образец бортовой акустической подсистемы распознавания, позволяющий проводить апробацию работы разработанной подсистемы при работе в различных средах.
Теоретической значимостью обладают следующие результаты:
-
Выявлены причинно-следственные связи между применением подсистем и методов акустического анализа в составе автономных мобильных роботов и повышением их функциональных возможностей.
-
Разработана комбинированная нейронная сеть для проведения распознавания акустических сигналов с целью распознавания звучащих объектов в условиях неполноты поступающей информации.
-
Предложена комбинированная нейронная сеть для проведения распознавания акустических сигналов с целью распознавания звучащих объектов, в том числе динамически изменяющих своё местоположение в пространстве.
Положения, выносимые на защиту:
-
Применение акустического анализа позволяет расширить функциональные возможности автономных мобильных роботов.
-
Предложенный метод проведения распознавания учитывает специфические особенности автономных мобильных робототехнических систем, позволяет функционировать в условиях возможной частичной недостоверности поступающей информации о среде и мультиобъектности источников акустических сигналов.
-
Предложенная комбинированная нейросетевая структура для проведения анализа акустических сигналов позволяет проводить распознавание в условиях частичной неполноты поступающей информации и в условиях динамического изменения положения звучащих объектов в пространстве.
-
Разработанная система позволяет эффективно функционировать в условиях наличия собственной акустической эмиссии роботов, в т.ч. при её динамическом изменении.
Достоверность полученных результатов обеспечивается
использованием традиционных методов математического анализа, линейной алгебры, классических методов теории устойчивости и подтверждается согласованностью теоретических выводов с результатами, полученными при
моделировании и путем экспериментальных исследований, а также положительным опытом внедрения.
Апробация работы. Основные результаты диссертации докладывались и обсуждались на следующих конференциях: Международная научная конференция «Гагаринские чтения 2010», 2010 год, Москва; XXI Международная научно-техническая конференция «ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА», 2010, Москва; Международная научно-техническая конференция «ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА», 2012, Санкт-Петербург; Международная конференция «Проблемы искусственного интеллекта», 2012, Москва; XV научная конференция «Математическое моделирование и информатика», 2013, Москва. Также работа экспонировалась на IX всероссийской выставке «Научно-технического творчества молодежи», где была награждена дипломом I степени. Выполнение работы поддержано именной стипендией Правительства Российской Федерации.
Теоретические и практические результаты, полученные в диссертации, внедрены в ООО «ТАРИС» и в учебном процессе МГТУ «СТАНКИН», что подтверждается соответствующими актами о внедрении.
Публикации. По тематике диссертации автором опубликовано 10 печатных трудов, из них 3 работы опубликовано в журналах из перечня ВАК РФ. По результатам работы получено 4 свидетельства на владение правами интеллектуальной собственности.
Структура и объем работы. Диссертация общим объемом 154 страницы состоит из введения, четырёх глав, заключения, списка сокращений, списка использованных источников из 71 наименований и 6 приложений. Основной текст изложен на 140 страницах, включает 77 рисунков и 8 таблиц.
Особенности работы систем акустического распознавания в составе мобильных роботов
Построение модели может проводиться в режиме низкого разрешения, когда строится общая модель днища судна и его гребных винтов, так и высокого разрешения, позволяющая на выбранных участках рассмотреть изменение структуры материала или возникновение иных отклонений.
Наряду с ультразвуковыми системами акустической диагностики, существуют диагностические системы, работающие в слышимом спектре. Традиционно такие системы применяются в промышленности для оценки целостности материала, определяемого по его акустической эмиссии, возникающей при контрольном нагружении материала. Эффект акустической эмиссии материала может использоваться для локализации дефектов на начальной стадии разрушения конструкции, диагностики инженерных сооружений и конструкций, а также механизмов и машин, подверженных износу.
Диагностические системы слышимого спектра находят своё применение и в промышленной робототехнике. Примером такой системы может служить система акустической диагностики неисправностей промышленных роботов, апробированная в составе роботов ABB [62].
Механические неисправности промышленных роботов часто проявляются в виде изменений акустических сигналов, генерируемых при работе роботов. Классификация и отслеживание сигналов, производимых роботом, позволяет осуществить его диагностику и на ранних стадиях выявить возможные неисправности в работе [61].
На сегодняшний день наиболее часто акустический и вибрационный анализ при тестировании изделий применяется производителями редукторов. Результаты исследований акустической эмиссии представляются в виде графиков, зачастую анализируемых вручную квалифицированными специалистами на предмет соответствия допустимых амплитудных значений сигнала, частотного распределения и др., при этом проведение такого анализа может характеризоваться низким уровнем автоматизации, низким быстродействием, зависимостью от экспертного мнения человека и высокими требованиями, предъявляемыми к диагностическому оборудованию (звукозаписывающая аппаратура, постпроцессор и т.п.) [37, 50].
Разработчиками системы акустической диагностики промышленных роботов предлагается новый ситуационный метод анализа акустического сигнала (Case-Based Reasoning (CBR)) [61].
В основе данного метода лежит фундаментальная идея приложения ранее полученных знаний к решению новых задач. В случае акустической диагностики роботов это означает проведение классификации сигналов в соответствии с ранее полученными знаниями.
В рамках предлагаемого метода звук робота проходит предобработку, под которой понимается проведение фильтрации нежелательных шумов, а также определение периода сигнала. Затем из сигнала извлекаются звуковые признаки, формирующие концентрированный образ исходного звукового сигнала. Выделение звуковых признаков осуществляется посредством Вейвлет-анализа сигнала [6]. Полученный образ сравнивается с данными, содержащимися в ситуационной библиотеке системы, на основании чего осуществляется диагностика системы.
Структура предлагаемой в работе Е. Мумоло и др. [61] системы диагностики представлена на рисунке 8.
В рамках серии экспериментальных исследований при помощи предлагаемой системы были успешно выявлены случаи осевого люфта и брака зубчатых колёс, установленных в составе осей манипуляторов ABB.
Предлагаемый в работе Е. Мумоло и др. [61] подход звуковой диагностики реализован в виде агентской системы (рисунок 9). ранних стадиях диагностировать возникновение неисправностей и проводить их превентивное устранение. Использование системы акустической диагностики позволяет увеличить эффективность производства путём минимизации возможных простоев машин [62]. С развитием таких ведущих отраслей техники, как электронная, авиационная, приборостроительная, увеличилась потребность в высокопрочных сталях и сплавах, очень хрупких и твердых материалах типа германия, ферритов, кварца, рубина, алмаза. Обрабатывать такие материалы механическими методами (резцом, сверлом, фрезой), чрезвычайно трудно. Кроме того, в современных конструкциях машин и приборов появились детали, имеющие фасонные прорези, иногда сверхмалых размеров и в труднодоступных местах. Обработать их обычными методами вообще невозможно.
Во всех этих случаях вместо традиционных механических методов обработки могут быть задействованы новые электрофизические методы, включая метод ультразвуковой обработки [34, 42]. Кроме того, актуальным применением акустической системы в сфере металлообработки является введение акустического мониторинга процесса роботизированного шлифования.
В рамках исследования, проведённого группой учёных из Технического Университета Дании, разработчиками был предложен новый подход для формирования поверхности заданной шероховатости с применением акустического инструментального контроля [69].
Важное значение технологической операции шлифования хорошо известно в производстве технологической оснастки для таких отраслей как ковка, литье под давлением, обработки листового металла, литье пластмасс под давлением и т.д. В силу того, что операция шлифования является заключительной в длинной технологической цепочке производства пресс-форм с высокими требованиями, предъявляемыми к качеству обрабатываемой поверхности, любое несоответствие на заключительном этапе обработки приводит к необходимости выбраковки детали, а значит к значительным финансовым потерям предприятием ввиду высокой стоимости заготовки и уже производственных операций до шлифования.
Существующие достижения в области планирования процесса и производства привело к введению таких технологий, как CAD/CAM, высокоскоростной обработки (HSM), обработки при помощи многоосевых станков с ЧПУ, электроэрозионной обработки и т.д. Внедрение данных технологий позволило значительно сократить время обработки и количество финишных операций. Тем не менее, улучшение качества поверхности при производстве штампов и пресс-форм при помощи механических, электрических и электрохимических методов обработки остаётся одной из основных проблем в обработке давлением.
В настоящий момент процесс шлифования автоматизируется при помощи станков с ЧПУ, роботов и специализированных автоматов. Основным недостатком текущего подходя во всех этих системах является отсутствие возможности точно контролировать процесс шлифования, что останавливает их акцептацию во многих отраслях. Традиционно процедура измерения шероховатости поверхности обрабатываемой детали требует прерывания процесса обработки, проведения соответствующей очистки поверхности и проведения измерений, иногда с изъятием детали из станка.
Внедрение акустической сенсорной системы может решить задачи управления технологическим процессом и контроля качества, что позволит улучшить устойчивость и надежность процесса, и, в конечном итоге, полностью автоматизировать процесс шлифования для всех отраслей.
В составе станка шпиндель представляет собой сервопривод прямого действия. Движения подачи создаёт промышленный робот, в концевой точке которого закреплён шлифовальный модуль, составе которого входят подмодуль силового нагружения и подмодуль шлифовального инструмента (рисунок 10). Подмодуль силового нагружения создаёт ортогональное к поверхности детали усилие в диапазоне от 1 до 30 Н, подмодуль шлифовального инструмента контролирует скорость вращения инструмента и частоту его импульсов.
Формирование структурно-функциональной модели системы распознавания акустических сигналов автономной мобильной
Система акустического "общения" строилась как система акустической тональной коммуникации роботов, в ней имеется специальный язык и системы синтеза и восприятия соответствующих акустических фрагментов. Система названа тональной, т.к. использует частотное кодирование звуков языка.
Язык использует некоторый алфавит литер, их количество может выбираться в необходимых для конкретных приложений пределах, от 2-х (фактически при этом возникает бинарное кодирование слов и фраз) до нескольких десятков.
Эксперименты проводились с разными вариантами, в частности использовались 33 буквы алфавита русского языка. Литеры кодируются искусственными фонемами, в этом подходе фактически выполняется частотное кодирование литер алфавита. Графическое изображение фонемы приведено на рисунке 23 [32]. Для таких фонем удалось построить эффективное распознавание, эта система с использованием калибровки показала достаточную надежность функционирования, в том числе в обычных условиях, когда акустический канал подвержен помехам.
Эксперименты показали возможность совместного использования систем локации и коммуникации для задач ориентирования и обмена данными с использованием акустических средств. По мнению разработчиков система в целом является достаточно эффективной, и не приводит к чрезмерным нагрузкам на сенсорную сеть робота. [47]
Важнейшим критерием при разработке системы распознавания объектов является возможность последующего практического применения полученных наработок. Поэтому особую актуальность имеют системы, ориентированные на широкое практическое применение, а это, прежде всего, охранные робототехнические комплексы, главная задача которых на сегодняшний момент – фиксировать присутствие человека на охраняемой территории, либо оперативно зафиксировать опасную активность на подведомственной территории. Эффективное решение таких задач также возможно при использовании акустического анализа местности.
Так, говоря о статичных системах, следует упомянуть систему ShootSpooter, разработанную и внедрённую в США компание SST [56]. Система ShotSpotter служит для мгновенного обнаружения факта применения огнестрельного оружия и определения места стрельбы.
На каждой квадратной миле города на столбах и крышах размещается 10-12 акустических датчиков (рисунок 24), способных различить звук выстрела на расстоянии до 2 миль, при этом программное обеспечение способно с высокой долей точности отличить выстрел из огнестрельного оружия от звука выхлопа автомобиля, либо взрыва петарды.
Система вычисляет место происшествия по принципу триангуляции: т.е. обработки звуковых данных массивом из, по крайней мере 3 датчиков. Поскольку скорость звука известна, а время поступления звука датчики способны точно определить, становится возможным вычислить расстояние от каждого датчика до места стрельбы и затем указать это место на карте города. Координаты поступают в ближайший центр службы спасения, точность определения места – до 25 метров (рисунок 25).
Работа системы ShootSpooter Перспективной разработкой в данной области с применением мобильных роботов является система аудио-визуального распознавания присутствия людей для мобильного робота, разработанная группой японских учёных из Токийского Университета Электроники и Связи [67].
В состав системы входят система технического зрения и массив из четырех микрофонов, схема расположения которых приведена на рисунке 26 (б). Белыми окружностями на рисунке системы выделены микрофоны. С помощью этой системы робот может получать многоканальный звуковой сигнал. Преимущество данной системы слежения заключается в том, что робот может наблюдать за объектами, расположенными в любой из точек прямой досягаемости робота. Если при работе одной лишь системы технического зрения достаточно велика вероятность неверного распознавания объекта, то при использовании аудиовизуальной системы повышается надежность работы всей системы в целом, так как фактически одновременно работают две независимые системы: технического зрения и система акустического распознавания. Также преимуществом данной системы является возможность её работы в пределах прямой акустической досягаемости робота, а не только в поле его видения, как это происходит с системой технического зрения. Таким образом, работа всей системы проходит в несколько этапов, проиллюстрированных на рисунке 27:
На основании полученных звуковых данных составляется специальная вероятностная карта, с помощью которой можно определить вероятностное положение источников звука. Однако в реальной ситуации качество звука может быть не самого высокого качества, что связано с шумами в помещении и естественной реверберацией комнаты. Поэтому данные, полученные с помощью ауд ио -системы, сопоставляются с данными, полученными с помощью системы технического зрения. Определение положения источника звука проводится на основании разности сигналов, поступающих на каждую из пар микрофонов. Сигнал, получаемый от каждой пары микрофонов, обрабатывается и сравнивается. В результате сигнал, снятый с помощью одного микрофона будет отличаться от сигнала, снятого другим микрофоном. Оценив фазовый сдвиг сигналов и применив соответствующий математический аппарат, можно построить карту помещения и определить наиболее вероятные положения источника звука в виде так называемой TDOA-карты (рисунок 28):
На рисунке 28 приведен пример сигналов от микрофонов A и B, расположенных относительно объекта так, как показано на схеме в правой верхней части рисунка, и результат комплексной обработки двух сигналов, на котором виден пик, соответствующий положению объекта-источника звука. Такие же пики получаются и после обработки сигналов от других пар микрофонов. Затем, после комплексной обработки полученных результатов, строится TDOA-карта, которая, по своей сути, является вероятностной картой расположения источника звука в помещении, где каждому пикселю, отвечающему за определенный участок, присваивается свой цвет (в градациях серого, где чёрный соответствует наименьшей вероятности, а белый – наибольшей). Затем происходит построение так называемой CSP-карты, которая основывается на данных TDOA-карты и данных, полученных с помощью системы технического зрения. Таким образом удается достаточно точно определить положение источника шума в помещении. Если сопоставить картинку, полученную с помощью видеокамеры и построенную для этого же пространства CSP-карту, то полученный результат будет иметь следующий вид, приведенный на рисунке 29 (а, б):
Разработка программного обеспечения для работы бортовой системы акустического анализа
На основе проведенного анализа исследований в области акустических систем мобильных роботов может быть выявлен ряд характерных особенностей, которые необходимо учитывать при создании подсистемы распознавания объектов:
Сам по себе мобильный робот является источником собственной акустической эмиссии, создаваемой в результате работы движителей, подвески, других датчиковых подсистем [29]. Специфические режимы функционирования роботов отличаются друг от друга конфигурацией звучащих подсистем робота, что позволяет выявить связь между режимом работы робота и производимой им акустической эмиссией. Учёт собственной акустической эмиссии робота при проведении распознавания акустических сигналов является необходимым условием для корректной работы системы;
В процессе работы робота могут возникать посторонние сигналы, помехи, носящие случайный характер. Возникновение таких случайных посторонних сигналов связано как с внутренними, так и с внешними факторами: изменяется звук работы подвески робота при смене дорожного покрытия, а также рельефа местности, повышенная влажность или работа в запылённой среде влияет на собственный звук, производимый при работе движителей и вспомогательных приводов, возможно появление посторонних случайных объектов-источников акустической эмиссии. Все эти факторы напрямую влияют на работу акустических систем и должны подвергаться учёту и корректировке для их эффективного функционирования; - Массогабаритные и энергетические ограничения аппаратной системы Подсистема должна характеризоваться компактными габаритами и малым энергопотреблением для применения в составе мобильных роботов. Энергетические и массо-габаритные ограничения, накладываемые на систему, напрямую влияют на запас хода робота, а в конечном итоге и на степень его автономности. Применение акустических систем, предполагающих питание от сети переменного тока и/или характеризующимися высоким энергопотреблением в составе мобильных роботов не допускается из-за наложения существенных ограничений на работу робота в целом. Как следствие применение высокочувствительных, работающим в расширенном диапазоне частот, микрофонов ограничено; - Ограниченные вычислительные ресурсы Указанные энергетические ограничения накладывают ограничения на вычислительные возможности бортовой ЭВМ мобильного робота, т.к. интеграция мощных вычислительных систем в состав робота в конечном итоге приводит к снижению уровня его автономности. Кроме того, производительные процессорные системы характеризуются высоким выделением тепла, что может оказывать негативное влияние на работу других подсистем робота и требует организации формированного теплоотвода. Таким образом, можно сказать, что подсистема должна функционировать в условиях ограниченных вычислительных ресурсов бортовой процессорной системы мобильного робота; - Мультиобъектность В рабочей среде робота могу присутствовать одновременно несколько звучащих объектов, что предъявляет к системе требование о необходимости обеспечения возможности работы с мультиобъектной средой.
Приведённые особенности являются, в том числе, причинами сравнительно малой распространённости подсистем распознавания акустических сигналов в составе бортовых систем мобильных роботов. Работа с акустическими данными сопряжена с неполнотой поступающей информации (по причине несовершенства бортовой аппаратной системы получения акустического сигнала, применения алгоритмов дискретизации сигнала), а также неопределенностью внешних
возмущений и среды функционирования. Традиционно повышение качества работы таких систем достигалось путём использования специальной звукозаписывающей аппаратуры, высокочувствительных микрофонов, массо-габаритные и энергетические требования которой не позволяют реализовать её использование в составе мобильных робототехнических систем [13].
Для удовлетворения сформированным требования целесообразным становится реализация управления системой с использованием методов и технологий искусственного интеллекта. Применение таких технологий представляется оправданным [10, 27] ввиду ограниченных возможностей совершенствования аппаратной подсистемы получения акустического сигнала в составе, в частности, мобильных роботов.
Введение подсистемы распознавания акустических сигналов в состав мобильных роботов и последующая комплексная обработка результатов распознавания с данными других сенсорных подсистем робота позволит качественным образом улучшить достоверность и объём информации об объектах среды функционирования роботов.
На основе проведённого анализа разработана обобщённая структура бортовой системы автономного мобильного робота (рисунок 36), аппаратный состав которого включает в себя массив микрофонов, звуковой преобразователь и звуковую плату, позволяющую производить многоканальную запись сигнала.
Получаемый системой входной акустический сигнал имеет связь с собственным состоянием робота и звучащими объектами среды, а, значит, может использоваться как для решения локальных задач определения местоположения источника звука, распознавания типа звучащего объекта, анализа собственной акустической эмиссии робота, так и для передачи результатов работы подсистемы к системе принятия решения для проведения комплексной обработки данных.
Экспериментальное исследование эффективности работы бортовой системы акустического распознавания
На базе разработанных методики проведения проведения распознавания, структурно-функциональной модели системы и решённых в рамках Главы 2 настоящей диссертации задач создания нейросетевой структуры для проведения распознавания и подготовки акустических сигналов для их последующей обработки при помощи сформированной нейросетевой структуры могут быть синтезированы алгоритмы системы акустического распознавания.
Структурно данные алгоритмы могут быть разделены на три части: 1. Алгоритм записи звука; 2. Алгоритмы подготовки акустических сигналов; 3. Алгоритмы работы с нейросетевой структурой. Работа системы акустического анализа начинается с решения задачи получения исходных звуковых данных для обработки. Схема работы данного алгоритма приведена на рисунке 45.
Согласно данному алгоритму оператором определяется, требуется ли проводить запись звука, либо использовать для проведения распознавания уже готовый, полученный при помощи данной, либо сторонней системы звуковой фрагмент. В случае, если проводится звукозапись, определяются системные параметры записи звука и временна я длительность звукового фрагмента. Затем проводится параллельная запись звука с использованием всех доступных системных микрофонов (каналов звукозаписи). Полученные звуковые данные без изменения передаются на вход системы определения местоположения источника звука. Одновременно оператором осуществляется выбор одного из полученных звуковых фрагментов для передачи на вход модуля подготовки акустических данных системы распознавания.
В случае, если звуковой сигнал был загружен из ранее сформированного звукового файла - он сразу передаётся на вход системы определения местоположения источника звука.
Как было показано в Главе 2, непрерывные аналоговые акустические сигналы, характеризующие объекты среды функционирования мобильных роботов необходимо подвергнуть предварительной обработке, включающей в себя этапы нормализации входного акустического сигнала, проведения его дискретизации, введения возможной корректировки в дискретизированный сигнал для учёта собственной акустической эмиссии робота и бинаризации вектора для обеспечения возможности подачи на вход нейронной сети.
Приведённые операции образуют алгоритм подготовки акустических данных для подачи на вход нейросетевой структуры, возможные вариации которого представлены на блок-схемах, приведённых на рисунке 46.
На блок-схеме, представленной на рисунке 46, приведена последовательность действий, при которой входной акустический сигнал перед дискретизацией и последующей обработкой подвергается нормализации. В этом случае под процедурой нормализации подразумевается процесс выравнивания громкости входного акустического сигнала относительно некого эталонного объекта, выгружаемого из памяти.
Процесс нормализации может проводиться по уровню самого высокого пика в акустическом сигнале, либо по среднеквадратичному значению уровня звука. Второй способ является более предпочтительным, т.к. в этом случае исключается возможность проведения нормализации по случайному пику, значительно выделяющемся по уровню в звуковом образе.
После проведения нормализации входной звуковой сигнал подвергается дискретизации при помощи дискретного преобразования Фурье (ДПФ), практическую реализацию которого предлагается осуществить при помощи алгоритмов быстрого преобразования Фурье (БПФ).
Целесообразность применения алгоритмов БПФ заключается в возможности значительного сокращения количества требуемых вычислений, и, как следствие, снижения нагрузки на ЦПУ робота, а значит и в повышении эффективности его работы. При проведении прямой дискретизации методом ДПФ входного вектора длины n требуется порядка n2 и n2 сложений. В то же время работа стандартного БПФ-алгоритма предполагает n log n, что значительно меньше.
Стандартный алгоритм БПФ сложно поддаётся распараллеливанию, поэтому для реализации на ЭВМ целесообразно использование алгоритма Кули-Тьюки, применимого для составного n.
В соответствии с данной блок-схемой входной вектор х и выходной вектор X рассматриваются как двумерные таблицы, столбцы и строки которых могут обрабатываться независимо в различных потоках. При этом в рамках одного потока, обработка отдельных столбцов и строк представляет собой вычисление ДПФ с помощью алгоритма БПФ [6].
Важно отметить, что согласно приведённому алгоритму, реального отображения исходного вектора в двумерный массив не происходит - эта операция заменяется соответствующим пересчетом индексов.
После проведения дискретизации входной вектор подвергается корректировке с целью учёта собственной акустической эмиссии, производимой подсистемами робота и последующей бинаризации. Процессы корректировки и бинаризации сводятся к проведению математических операций над векторами, описанных в разделе 2.4 настоящей диссертационной работы.
Альтернативный алгоритм процесса подготовки акустических данных, представленный на рисунке 47.б отличается способом проведения нормализации входящих сигналов. Во втором варианте нормализации подвергаются уже дискретизированные сигналы, при этом процесс нормализации сводится к проведению математических преобразований компонент вектора входного объекта, представленных разделе 2.4 настоящей диссертационной работы.
После окончания процесса подготовки, полученные векторы могут передаваться на вход нейросетевой структуры и обрабатываться при помощи алгоритмов работы с нейросетевой структурой.
Нейро сетевая структура может функционировать в двух принципиально различных режимах: режиме обучения, в рамках которого формируется состав библиотеки эталонных объектов, и режиме распознавания, в рамках которого производится идентификация поданного на вход нейросетевой структуры неизвестного объекта. На рисунке 48 укрупнённо проиллюстрирована последовательность работы комбинированной нейронной сети.
Перед началом проведения распознавания нейросетевая структура должна получить информацию об эталонных объектах среды функционирования роботов.
Для этого эталонные данные вместе с информацией об объектах в рамках «Модуля обучения» поступают на вход комбинированной нейросетевой структуры и, в результате работы сети, формируется «Библиотека объектов». После чего данным, предназначенным к распознаванию, в пошаговом, либо автоматическом режиме, в рамках соответствующих модулей ставится в соответствие один из объектов ранее сформированной библиотеки, а также рассчитывается численный критерий распознавания.