Содержание к диссертации
Введение
1. Обзор исследований по нейронным сетям 14
1.1. История вопроса 14
1.2. Основные элементы нейронных сетей и терминология 17
1.3. Классификация нейронных сетей 22
1.4. Обзор источников 26
1.4.1. Основные работы по аппроксимации нейронными сетями 26
1.4.2. Технологии решения задач с помощью нейронных сетей 30
1.4.3. Использование нейронных сетей в экологии, биологии, медицине и других гуманитарных науках 41
1.5. Выводы 55
2. Свойства монотонных нейронных сетей 57
2.1. Введение 57
2.2. Свойства классических монотонных нейронных сетей 62
2.3. Свойства полутораслойных монотонных нейронных сетей 63
2.4. Выводы 71
3. Алгоритмы и программы 72
3.1. Введение 72
3.2. Имитатор для монотонных нейронных сетей 72
3.3. Нейроимитатор MDN для обучения нейронных сетей без учителя. 77
3.4. Утилита предобработки баз данных Predmake 89
3.5. Технология проведения исследований с использованием нейронных сетей 91
3.6. Методика обучения основам нейроинформатики 104
3.7. Выводы 106
4. Экологические приложения 107
4.1. Систематика и изучение биоразнообразия 107
4.2. Систематика ирисов 110
4.3. Таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата 113
4.4. Классификация без учителя 122
4.5. Выводы 135
5. Медицинские приложения 137
5.1. Введение 137
5.2. Изучение состояния секреторной функции желудка у детей с гастродуоденитами и язвенной болезнью в условиях Сибири и Севера 137
5.3. Влияние условий работы на функциональное состояние организма доноров в условиях Сибири и Севера 146
5.4. Выводы 149
Заключение 150
Список использованных источников 151
Приложение 1. Результаты классификации на 2 класса всей обучающей выборки для задачи таксономии растений
Приложение 2. Ядра и данные в проекции на плоскость параметров
Приложение 3. Корреляции для данных по гастроэнтерологии
Приложение 4. Оценки выборки в зависимости от числа классов
Приложение 5. График зависимости оценок выборки от числа классов
Приложение 6. Акты о внедрении
Приложение 7. Руководство пользователя программы MDN
- Основные работы по аппроксимации нейронными сетями
- Свойства полутораслойных монотонных нейронных сетей
- Таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата
- Изучение состояния секреторной функции желудка у детей с гастродуоденитами и язвенной болезнью в условиях Сибири и Севера
Введение к работе
Актуальность темы
Интерес к нейронным сетям переживает в настоящее время очередной всплеск. Это вызвано тем, что они являются удобным и достаточно простым инструментом для создания различных экспертных систем, решения задзчи классификации и извлечения знаний из данных и. кроме того, дают возможность высокопараллельных реализаций.
Рассматривая нейронную сеть как набор элементов, производящих некоторые вычисления над приходящими к ним данными, можно изучать решение главной и вспомогательных задач. К главной относятся функции генерации, обучения и тестирования нейронных сетей. Генерация - задание начальных значений всех параметров нейронной сети; обучение - изменение всех или части параметров нейронной сети так, чтобы нейронная сеть по обучающей выборке давала требуемые ответы; тестирование - сравнение ответов обученной нейронной сети с известными ответами по тестовой выборке - набору примеров, не использовавшихся для обучения. Вспомогательные задачи: определение значимости входны.. сигналов, контрастирование нейронных сетей, определение минимального решающего набора входных параметров, получение логически прозрачной нейронной сети и, в конечном счете, знаний из данных. Вспомогательные задачи сформулированы в процессе развития и практического использования нейронных сетей, как новые потребности пользователей и направления развития. Именно вспомогательные задачи есть основной элемент технологии решения прикладных задач пользователя.
Для решения этих задач разработан и используется математический аппарат искусственных нейронных сетей, в частности, из сигмоидных нейронов. Архитектуры и алгоритмы позволяют обучать и тестировать нейронные сети, решать различные задачи обработки данных.
Среди указанных выше задач больший интерес представляет задачи определения значимостей параметров и контрастирования. Значимость входного сигнала или параметра -относительная оценка важности данного сигнала или параметра сети для получения заданных выходных сигналов сети в сравнении с анаюгичными показателями значимости для других сигналов, полученных одновременно или в сходной серии экспериментов. Контрастирование - процесс минимизации числа связей нейронной сети, удаление избыточных связей, без которых решаемая задача продолжает решаться так же верно. Частный случай контрастирования - минимизация числа входных сигналов. Минимизация числа входных сигналов это сокращение их числа до минимального набора, по которому можно получить ответ на данной обучающей выборке.
Решение задачи контрастирование позволяет получить разреженную, логически прозрачную нейронную сеть, со структурой, понятной пользователю. Датее можно перейти к получению знаний из данных - построить полуэмпирическую теорию или набор полуэмпирических теорий изучаемого явления. Однако для решения этой задачи с помощью сигмоидных нейронных сетей требуется выполнить дополнительные вычисления, даже более трудоемкие, чем обучение нейронной сети.
У контрастированных сетей есть и другие преимущества. Контрастирование ускоряет срабатывание обученной нейросети в любых нейросистемах. Кроме того, очень важен вопрос технической реализации обученной нейросети - контрастнрованная система реализуется проще из-за меньшего числа синапсов и нейронов, то есть может быть меньше размером и дешевле.
В работах [Горбань 1490 и 1996] предложены архитектуры нейронных сетей специального вида - монотонных. Монотонные нейронные сети позволяют получить знак значимости каждой синаптической связи по ее положению в структуре сети независимо от
обучения. Кроме того, слоистые монотонные нейронные сети после однократного обучения позволяют получить частично коптрастированные нейронные сети без дополнительных вычислительных операций. Одновременно получается и минимизация количества входных сигналов.
Данные с известным ответом можно обрабатывать с помощью нейронных сетей с учителем. Учитель - блок, который обучает нейронную сеть давать правильный ответ по обучающей выборке. Однако, если номер класса заранее неизвестен (часто бывает неизвестно и число классов), то такие данные без известного ответа с помощью нейронных сетей с учителем обработать сложно или невозможно. Дія обработки таких данных используют нейронные сети без учителя (unsupervised по зарубежной классификации), более простой инструмент. Они работают в случае отсутствия классификационной модели, что часто бывает на начальном этапе любого исследования. Нейронные сети без учителя также позволяют определять значимости и минимизировать количество входных сигналов.
Для практического использования нейронных сетей существует большое число предметных областей. Среди них техника и технические науки характерны натичием большого количества явных расчетных формул, по которым можно получать требуемые результаты, а также большим количеством известных приложений нейронных сетей [Кохонен Т., Хехт-Нильсен Р., Дунин-Барковский В.Л., Фролов А.А., Куссуль Э.М., Оныкий Б.Н., Горбань А.Н., Абовский Н.П. и др.]. Гуманитарные науки, напротив, в настоящее время почти не имеют готовых расчетных формул в явном виде и число приложений нейронных сетей и других математических методов невелико, хотя количество приложений в медицине растет [Россиев Д.А., Baxt W.G., Shufflebarger СМ. и др.] В силу вышесказанного, в данной работе основными областями приложения выбраны гуманитарные науки - экология, медицина.
В настоящее время экологические проблемы стали предметом большого числа научных исследований. Экологии стали придавать значение, выходящее далеко за формальные рамки раздела биологии. Причины этого: ухудшение экологической ситуации, нерациональное использование природных ресурсов, техногенное воздействие человека на окружающую среду. Экология сегодня связывает между собой различные разделы естественных наук, она также связана с некоторыми точными и гуманитарными отраслями знаний. Поэтому для решения экологических задач требуется использовать математические модели и методы.
В данной работе решались следующие эколого-биологические и медико-экологические задачи:
-систематика растений и животных разных биологических групп по анатомическим и экологическим признакам, в том числе таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата;
- классификация гастроэнтерологических данных в устойчивые группы;
и другие.
Цель работы Цель работы - исследование, разработка и практическое использование в экологии и биологии моделей монотонных нейронных сетей и нейронных сетей без учителя, обучаемых по методу динамических ядер. Для этого в работе решаются следующие задачи:
- анализ реализуемости и аппроксимационных возможностей монотонных сетей разных
типов:
- разработка комплекса программ, реализующего функции обработки данных и состоящего
из имитатора монотонных нейронных сетей, имитатора для нейронных сетей без учителя, а
также предобработчнка данных;
выполнение с помощью нейроимитаторов исследования в различных предметных областях, в том числе в экологии, биологии, медицине;
разработка методики обучения основам нейроинформатики и использование нейросетевых технологий и нейроимитаторов для проведения учебно-исследовательских работ в экологии, биологии и медицине.
Научная новизна Результаты диссертации являются новыми, в частности:
исследованы основные свойства монотонных нейронных сетей;
реализован алгоритм обучения монотонных нейронных сетей;
предложены и реализованы новые алгоритмы определения значимости входных параметров, устойчивости классификации и минимизации числа входных параметров для нейронных сетей без учителя;
с помощью разработанных методов, инструментов и технологий решены следующие задачи
таксономии растений разных биологических групп по структурным признакам фотосинтетического аппарата, классификация гастроэнтерологических больных.
Практическая значимость Выполненная работа позволяет:
использовать новые подходы для определения экологической приуроченности видов,
более эффективно использовать результаты желудочного зондирования для диагностики гастроэнтерологических заболеваний, особенно в условиях Сибири и Севера,
определять влияние на здоровье доноров различных факторов, в том числе интервала сдачи крови, подтвердить и выработать рекомендации о минимальном интервале между сдачами крови.
Программы, созданные в ходе выполнения работы, внедрены и используются для управления работой факультетской отборочной комиссии, в учебном процессе в СибГТУ и для обработки данных, а также на I. 2 и 3 Зимних Политехнических Школах по Нейроннформатике (Красноярск, СибГТУ, 1997, 1998 и 1999). Разработана технология использования нейроимитаторов для проведения исследовании, и методика обучения использованию нейроимитаторов для проведения исследований. Ведется обучение нейроннформатике начинающих исследователей. Выполнена серия студенческих работ на экологические темы. Работа поддержана грантом Федеральной Целевой Программы "Интеграция".
Апробация работы Основные результаты работы докладывались и обсуждались на VI и VII Всероссийских семинарах "Нейроинформатика и ее приложения" проходивших в г. Красноярске в 1998 и 1999 годах, на 3 Сибирском конгрессе по прикладной и индустриальной математике, посвященном памяти С.Л. Соболева (INPRIM-98), на 4 и 5 Всероссийских конференциях "Проблемы информатизации региона" проходивших в г. Красноярске в 1998 и 1999 годах, на региональной конференции "Информационные технологии в школьном образовании", проходившей в г. Красноярске в 1998 году, на 36 Международной научной студенческой конференции "Студент и научно-технический прогресс" проходившей в г. Новосибирске в 1998 году, на 1 и 2 Всероссийских семинарах "Моделирование неравновесных систем" (Красноярск, 1998 и 1999), на 2-й Всероссийской конференции "Рещетневские чтения" проходившей в г. Красноярске в 1998 году, на 6-й Международной конференции "Матемашка, Компьютер. Образование" проходившей в г. Москве в 1998 году, на Всероссийской конференции 'Нейроинформатика и ее приложения" проходившей в г. Москве в 1999 году (МИФИ), на Всероссийской конференции ЛКПР, проходившей в СибГТУ в 1999 году, на XII Международной конференции по нейрокибернетике. проходившей в Ростове-на-Дону в 1999 году, на Международном Симпозиуме "Information
retrieval systems in biodiversity researches", проходившем в Санкт-Петербурге в 1999 году, на семинарах в ИВМ СОАН и Осенней экологической школы (Новосибирск, 1998 год).
Публикации По материалам исследований опубликовано 13 работ.
Структура диссертации Диссертация состоит из введения, пяти глав, заключения и приложений. Работа без приложений содержит 150 страниц машинописного текста, 20 рисунков и 17 таблиц. Список литературы содержит 292 наименования.
Основные работы по аппроксимации нейронными сетями
В различных приложениях часто возникает проблема нелинейности и сложных нелинейных систем. Как хорошо известно, прямой анализ этих систем может быть сложным, а решение может быть NP-задачей. По этой причине часто желательно иметь простую аппроксимационную модель, которая может быть использована для синтеза, анализа и идентификации исходной системы. Цель - получить модель, которая может быть использована для экстраполяции и управления. Проблема идентификации нелинейной системы может быть решена удовлетворительно, если имеется достаточно широкий класс аналитических моделей, способных обеспечить хорошую аппроксимацию нелинейной системы.
В работах по функциональному анализу и теории функций сформулированы основные положения теории аппроксимации функций /75, 78-79 и другие/. В частности, хорошие результаты достигнуты в полиномиальной аппроксимации. Ключевое место здесь занимает хорошо известная теорема Вейерштрасса о возможности равномерной аппроксимации с помощью полиномов с любой точностью непрерывной действительной функции f, определенной на диапазоне [-1,1]. Теоремы D.Jackson a дополняют теорему Вейерштрасса, позволяя оценить качество аппроксимации, которое может быть достигнуто с использованием полиномов фиксированной степени. Полученные результаты используются для обоснования возможности аппроксимации с помощью нейронных сетей.
Далее следует краткий обзор работ по аппроксимации с помощью различного вида нейронных сетей. Среди большого числа работ этого вида следует назвать одну из первых и часто цитируемых работ /207/ об аппроксимации многослойными нейронными сетями с сигмоидными функциями. В работе /258/ говорится об аппроксимации с использованием суперпозиций сигмоидных и радиальных базисных функций. В работе /217/ говорится об аппроксимации с использованием радиальных базисных функций в терминах нормы sup, с использованием конструктивной техники. В работе /188/ говорится о порядке приближения суперпозициями сигмоидных функций в терминах нормы L2, показано, что для однослойной нейронной сети с N нелинейными элементами порядок приближения равен 0(1Л/ N). В работе /264/ исследуется аппроксимация с помощью нейронных сетей RBF, утверждаются универсальность аппроксимации такими сетями. В работе /219/ показана аппроксимационная реализуемость с помощью нейронных сетей непрерывных отображений в смысле Lp нормы. В работах /234-236/ изучаются аппроксимационные свойства многослойных нейронных сетей, показана универсальность нейронных сетей как аппроксиматоров, приведены решения задачи приближения для других типов нейронных сетей. В работе /274/ определены верхняя и нижняя границы аппроксимации с использованием двухслойной полиномиальной структуры. Показано, что верхняя и нижняя границы зависит от степени полинома, причем они различаются только постоянным множителем.
В работах /230, 248-249/ и некоторых других ссылаются на теорему Колмогорова о точном представлении функций как основание для возможности аппроксимации с помощью нейронных сетей. Более правильным представляется ссылаться на следующие теоремы об аппроксимации, позволяющие использовать нейронные сети для решения прикладных задач:
1) теорема Вейерштрасса 1-я (1885)
2) теорема Вейерштрасса 2-я
3) теорема Стоуна М. (1947)
4) обобщенная теорема Стоуна-Горбаня (1990-е).
В работе /187/ выполнен обзор возможностей обобщения с помощью искусственных нейронных сетей и рассмотрены методы их улучшения. Приводятся ряд теорем и утверждений, касающихся соотношений между количеством скрытых слоев сети и временной сложностью ее обучения. Рассматривается теорема суперпозиции Колмогорова, как было сказано выше, не имеющая явного отношения к искусственным нейронным сетям.
В работе /198/ обсуждается один из главных результатов Ito, относящихся к реализации универсальных аппроксиматоров в виде четырехслойных нейронных сетей, использующих функции Хевисайда (знака). Базируясь на результатах Cybenko и Ito, в работе предложена формула для реализации универсального аппроксиматора в виде трехслойной нейронной сети, названной полутораслойной, с нелинейным скрытым слоем использующим функцию Хевисайда и линейную функцию активации в выходном слое. В работе делается ссылка, что полученный универсальный аппроксиматор подобен универсальной аппроксимации Колмогорова, что является ошибкой, так как в работах Колмогорова говорится о точном представлении функций.
В работах /85, 243/ обсуждается плотность функций, реализованных нейронными сетями в пространстве непрерывных действительных функций С[0,1] и возможности аппроксимации с помощью нейронных сетей. Для проверки возможностей нейросетевого предиктора использовались полиномы Чебышева. Эксперименты показали, что выбор характеристики нейронов и допустимого уровня отклонения влияют на скорость обучения.
В работах /30-31, 220/ доказаны теоремы о полноте класса функций, вычислимых нейронными сетями: для любой непрерывной функции нескольких переменных можно построить нейронную сеть, которая вычисляет эту функцию с любой наперед заданной точностью. Для этого достаточно, чтобы класс нейронных сетей содержал сети с нелинейной характеристической функцией нейронов; функция может быть произвольной непрерывной функцией /29/. Рассматривались линейные пространства непрерывных функций вещественных переменных, замкнутых относительно операции суперпозиции. Доказано, что если такое пространство содержит константы, линейные функции и хотя бы одну нелинейную функцию, то оно плотно в пространстве всех непрерывных функций в топологии равномерной сходимости на компактах.
В работах /39-40/ доказана Обобщенная теорема Стоуна об аппроксимации функций, которая обобщает и классическую теорему Стоуна и аппроксимацию функций многих переменных суперпозициями и линейными комбинациями функций одной переменной. Она относится к линейным пространствам непрерывных функций, замкнутым относительно любой нелинейной операции. Теорема интерпретируется как утверждение об универсальных аппроксимационных возможностях произвольной нелинейности. Доказательство повторно опубликовано в /221/.
Названные выше теоремы являются частью теоретического основания для использования нейронных сетей и позволяют говорить о возможности применения нейронных сетей для решения прикладных задач, в том числе биолого-экологических и эколого-медицинских.
Таким образом, выполнено большое число работ по аппроксимации функций с помощью нейронных сетей разных видов, рассмотрены аппроксимационные свойства, доказан ряд обобщающих теорем. Тем не менее, почти не рассматривались нейронные сети специальной блочной структуры, к которым принадлежат, в частности, монотонные нейронные сети. Монотонные нейронные сети только введены в указанных выше работах, но их свойства не изучены. Из-за их специальной блочной структуры монотонные нейронные сети не соответствуют требованиям указанных выше теорем. Необходимо изучить свойства сетей такого типа.
Свойства полутораслойных монотонных нейронных сетей
Далее рассматривается полутораслойная монотонная нейронная сеть, которую также можно определить как двухслойную монотонную нейронную сеть с линейным вторым слоем. Простейшая сеть такого типа состоит из монотонного тормозящего, монотонного возбуждающего нейронов и автономного сумматора.
Выходной сигнал прямого распространения (forward) для полутораслойных монотонных нейронных сетей определяется следующей формулой: Ej yj f(Zi wij xi + wOj) где f - нелинейная функция нейронов, YJ - весовой коэффициент или коэффициент связи от j-ro нейрона первого слоя ко второму, причем коэффициенты связей от монотонных возбуждающих нейронов положительны, а коэффициенты связей от монотонных тормозящих нейронов отрицательны, wij є [0, 1] - весовой коэффициент связи от і-го входного сигнала к сумматору j-ro нейрона первого слоя, wOj є R - весовой коэффициент связи от входа единицы к сумматору j-ro нейрона первого слоя.
Обозначим выходной сигнал j-ro нейрона 1-го слоя: vFj = f(Ziwij xi + wOj) где wOj - вес входа 1 для j-ro нейрона. Для аппроксимации с помощью множества полутораслойных монотонных нейронных сетей Mi;5 существенно, что в общем случае веса wOj разных нейронов различны, но в частном случае могут быть равны.
Требуется определить возможности аппроксимации непрерывных действительных функций с ограниченной вариацией заданных на множестве действительных чисел R с помощью множества полутораслойных монотонных нейронных сетей Mi,5- Для этого предварительно проверим свойства множества Мі;5 и докажем вспомогательную лемму о том, что множество Мі,5 есть абелева группа.
Класс, состоящий из простых полутораслойных монотонных нейронных сетей из двух нейронов с нулевыми весами автономного сумматора либо с равными по модулю весами разных знаков автономного сумматора и равными весами соответствующих входов сумматоров 1-го слоя можно принять за "единичный" элемент операции. Легко убедиться, что такая "единица" не изменяет результата сложения с любым другим элементам множества.
Таким образом, имеем множество Мі,5 с ассоциативной и коммутативной операцией сложение и единицей для этой операции. Следовательно, Мі)5 есть абелева полугруппа.
Кроме того, для каждого элемента множества можно построить "обратный" - с соответственно одинаковыми модулями весов тормозящих с возбуждающими нейронами и наоборот.
Из построения обратного или противоположного элемента можно определить обратную операцию - вычитание. Получаем, что множество М])5 есть абелева группа. Можно также ввести в этом множестве порядок, т.е. получить упорядоченную абелеву группу.
Введем в пространстве Mi 5 метрику следующим образом p(F(x), G(x)) = maxF(x) - G(x) где F5 G є М1;5, x є [xl, х2]. Легко показать, что справедливы следующие аксиомы расстояния:
1) р(х, у) = 0 = х = у (аксиома тождества)
2) р(х, у) = р(у, х) (аксиома симметрии)
3) р(х, у) = р(х, z) + p(z, у) (аксиома треугольника)
Множество Mi55 отвечает указанным аксиомам расстояния /24, с.71/, следовательно, множество монотонно возрастающих ограниченных и непрерывных функций Мі 5 с расстоянием р есть метрическое пространство.
Лемма. Множество Mi 5 плотно в С[0,1]. Здесь С[0,1] есть пространство непрерывных функций с вещественными значениями, далее будет обозначаться просто С.
Такая функция легко строится вычитанием двух монотонных функций со сдвигом. Т.е., фактически это есть простая полутораслойная монотонная нейронная сеть из двух нейронов с равными по модулю весами при автономном сумматоре и равными весами на сумматорах нейронов. Сдвиг получается из разницы весов на входе 1 (свободного члена wO). При необходимости можно изменить ширину колокола изменением const в формуле прямого функционирования монотонной нейронной сети.
Как показано выше, полутораслойные монотонные нейронные сети можно сложить или вычесть, что дает новую полутораслоиную монотонную нейронную сеть: (G (x) = G(x) + Н(х); G(x), Н(х) є М,,5} = (G (x) є М,,5} (G"(x) = G(x) - H(x); G(x), H(x) є М,,5} = (G"(x) є М,,5} G (x) = {G (x), G"(x): min{p(B(x), G(x)), p(B(x), G"(x))}} при этом мы получим расстояние р(В(х), G (x)) = maxB(x) - G (x) - р(В(х), G(x)) - пє є Получено противоречие. Следовательно - ЗВ єС:р(В, G) s или VB eC,3GeM];5:p(B,G) s V є є R: є 0, V В є С, 3Ge Mu: p(B, G) s Этим показано, что множество Mis плотно в С[0,1].
Лемма. Множество М1;5 позволяет получить равномерное приближение любую непрерывную функцию с действительными значениями на компакте.
Из плотности Міі5 в С[0,1] следует возможность равномерного приближения функций из С[0,1] функциями множества М[і5.
Лемма. Множество Мп5 плотно в С[0,1]. Здесь Мп5 есть пространство незаконченных монотонных нейронных сетей. Лемма доказывается аналогично предыдущей. Мі,5 с: М. Mi 5 - плотно и дает равномерное приближение. Мп 5 с М. Мп 5 - плотно и дает равномерное приближение. {V F, G є Mk, V 5і, 52 є R} = (8, F + 52 G є Mn,5}, где Mk - пространство классических монотонных нейронных сетей. Следовательно М - тоже дает равномерное приближение. Если доказано, что множества Мі 5 и Мп5 всюду плотны в С[0,1], из этого следует, что множество {М Мі 5 с= М; Мп5.с: М} тоже всюду плотно в С[0,1]. Таким образом, показана справедливость следующей теоремы:
Теорема об аппроксимации с помощью монотонных нейронных сетей. Монотонные нейронные сети позволяют аппроксимировать любую действительную непрерывную функцию на компакте.
Таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата
Для выполнения таксономии растений разных биологических групп по структурным признакам фотосинтетического аппарата были использованы данные Ивановой Л.А. и Пьянкова В.И. (Уральский Государственный Университет) /68-69, 139-140, 270-271/. Постановка задачи выполнена Ивановой Л.А.
Особенности строения листа растения определяются его основной функцией - фотосинтезом. Поэтому важнейшая часть листа - мезофилл, в котором сосредоточены хлоропласты и происходит фотосинтез. Хлоропласты пластиды зеленого цвета, содержащие хлорофилл. Количественные параметры мезофилла листа характеризуют функциональную активность листа и его специфику у разных эколого-биологических групп. Методика «Мезоструктура фотосинтетического аппарата», разработанная в Уральском университете /95, 104-105/ позволяет определять более 20 структурных параметров фототрофных тканей, включая размеры клеток, хлоропластов, их количество в единице площади листа, и др. Все эти параметры описывают строение фотосинтетических тканей листа, которое, с одной стороны, зависит от экологических условий произрастания вида растения, с другой стороны, влияет на интенсивность физиологических процессов растительного организма. Например, растения растущие в хорошо освещенных, засушливых условиях, как правило, имеют небольшие, толстые листья, много мелких клеток и хлоропластов в расчете на единицу площади листа, высокие значения общей площади поверхности клеток и хлоропластов в расчете на единицу площади листа. Тенелюбивые растения наоборот имеют обычно большие тонкие листья с невысоким количеством крупных клеток и хлоропластов в единице площади. В то же время известно, что растения с высокими значениями общей площади поверхности клеток и хлоропластов в расчете на единицу площади листа характеризуются более высокой интенсивностью фотосинтеза. Но в естественных условиях эти закономерности не всегда однозначно просматриваются, вследствие взаимодействия разных экологических факторов, особенностей жизненной формы растения, видоспецифических особенностей и т.д. Анализ большого числа видов любой ботанико-географической зоны по комплексу этих показателей представляет большую сложность в силу природной гетерогенности объектов (разные жизненные формы, экологические группы, типы строения мезофилла и т.д.)
Изученные растения делятся на группы по каким-либо важным признакам (морфологическим, экологическим и т.д.) и делается попытка определить особенности строения тканей листа для выяснения путей адаптации растений на тканево-клеточном уровне, значения тех или иных параметров. Конечная цель - научиться классифицировать растения по количественным показателям структуры фотосинтетического аппарата. В базе данных представлено 195 видов растений Среднего Урала. Список полей, диапазон значений, среднее значение и среднее квадратичное отклонение от среднего значения приведены в таблице 4.3.
На основании эколого-биологических свойств растений было предложено 3 разных способа классификации: по типу строения мезофилла листа, по жизненной форме растения и комплексный способ. Все примеры данных классифицированы тремя способами.
Поле MES - означает тип строения мезофилла листа:
1 - гомогенный тип (только клетки губчатой ткани),
2 - дорзовентральный мезофилл (состоит из палисадной ткани с верхней стороны листа и губчатой ткани),
3 - изопалисадный (палисадная ткань с обеих сторон листа, между ней -губчатая).
Поперечные разрезы листьев растений разных типов показаны на рисунках 4.2-4.4.
Тип строения мезофилла листа тесно связан с экологической приуроченностью вида. Растения с гомогенным типом строения - тенелюбивые и влаголюбивые, с изопалисадным типом - растения из хорошо освещенных, засушливых мест, с дорзовентральным - из мест с достаточным уровнем увлажнения и освещения, а также и из засушливых мест.
Поле LF - жизненная форма растения:
1 - деревья,
2 - кустарники,
3 - вечнозеленые кустарнички,
4 - двудольные многолетние травы,
5 - двудольные однолетние травы,
6 - однодольные многолетние травы.
Разделить деревья, кустарники и травы можно с учетом экологической приуроченности вида. Поэтому третье поле FG образовано из сочетания двух признаков - типа строения мезофилла листа и жизненной формы:
1 - гомогенный, двудольные травы,
2 - гомогенный или дорзовентральный, однодольные травы,
3 - гомогенный или дорзовентральный, вечнозеленые кустарнички,
4 - дорзовентральный, деревья,
5 - дорзовентральный, кустарники,
6 - дорзовентральный, двудольные многолетние травы,
7 - дорзовентральный, двудольные однолетние травы,
8 - изопалисадный, двудольные травы.
Последняя классификация предложена экологами априори и вызывает больше всего сомнений, однако используется за неимением лучшего. Одна из подзадач исследования - построить классификацию данных на 8 и большее число классов для последующего сравнения с указанной выше.
Соавторами работы были выполнены численные эксперименты по разделениям типов «жизненная форма растения» и «экологическая приуроченность вида». Однако, с использованием статистических методов по этим типам или признакам группы разделить пока не удалось. Для комплексной оценки в данной задаче применялись методы многомерной математической статистики - дискриминантный, факторный и кластерный анализы, но дело осложняется тем, что данные распределены, как правило, не по нормальному закону. Кроме того, среди исходных данных большое число расчетных показателей, многие параметры коррелированы /68-69, 139-140, 270-271/.
Таксономии типов «жизненная форма растения» и «экологическая приуроченность вида» представляют интерес для биолого-экологических исследований. Они соответствуют появившейся в настоящее время концепции так называемых «функциональных типов растений». Это группы видов, занимающие сходные экологические ниши и сходно реагирующих на основные экологические факторы. Считается, что эти «функциональные типы» должны представлять определенную комбинацию признаков, включающих жизненную форму, тип строения мезофилла и определенные количественные показатели структуры фотосинтетического аппарата. Поэтому, вполне вероятно, что виды при анализе будут делиться на кластеры, которые имеют значение «функциональных типов».
Исходно предполагалось наличие проблем с классификационной группой 6 по классификации FG, так как она не однородна и включает как засухоустойчивые виды растений (ксерофиты), так и растения из мест с умеренным увлажнением (мезофиты). В отличие от типа строения мезофилла листа и жизненной формы растения, имеющих конкретные определяющие признаки, нет точных критериев для отнесения вида к определенной экоморфе (к мезофитам или ксерофитам). Поэтому есть сложности при заполнении поля точных ответов. Требуется получить самое правдоподобное деление методами нейроинформатики.
Для классификации и идентификации растений разных типологических групп по структуре фотосинтетических тканей листа, по функциональным типам и другим признакам обучено несколько серий нейронных сетей для классификации исходных данных.
Было обучено несколько нейронных сетей с учителем, что говорит о непротиворечивости данных. После обучения нейронных сетей с учителем на группах примеров с объемом 97-98 примеров (обучающая выборка) проведено тестирование по остальным 97-98 примерам (тестовая выборка). В 90% случаев тип строения мезофилла листа был определен правильно на основе только количественных параметров мезофилла листа. Это показывает, что исходные данные хорошо разделимы нелинейной функцией с использованием исходного классификатора на 3 класса (параметр MES). Полученные показатели значимости входных параметров представлены в таблице 4.4.
Изучение состояния секреторной функции желудка у детей с гастродуоденитами и язвенной болезнью в условиях Сибири и Севера
Гастроэнтерологические заболевания занимают одно из ведущих мест в структуре патологии детского возраста. Хронические воспалительные процессы слизистой оболочки желудка, толстого и тонкого кишечника, возникающие у детей и подростков, имеют длительное течение. Это приводит к тому, что язвенная болезнь, гастриты и гастродуодениты таких больных остаются и во взрослом состоянии, приводят к необходимости хирургического лечения и инвалидности.
Проблема гастродуоденальной патологии в детском возрасте, особенно в Сибири и на Севере - одна из актуальных проблем современной медицины. Сложность разрешения этой проблемы вызывает необходимость проведения разносторонних клинических, лабораторных, инструментальных исследований, комплексного изучения связанных с этой проблемой вопросов адаптации, экологии, промышленной токсикологии (родителей и детей), генетики и т.п. Заболеваемость гастроэнтерологическими болезнями остается высокой, особенно в нашей стране, в условиях падения жизненного уровня, отсутствия регулярного и полноценного питания, повышенных стрессов и антисанитарии. Особенно важно, что заболевают дети с 5 лет и меньшего возраста.
В гастроэнтерологии выполнено большое число исследований. В работе (Поливанова Т.В. 1990) исследованы некоторые клинико-функциональные особенности хронического гастрита у детей в условиях Сибири и Севера. В работе (Белоусова, 1991) исследованы клинико-функциональные особенности гастродуоденальной патологии в различных этнических группах людей, проживающих в условиях Севера, разработаны профилактические мероприятия по предупреждению этих заболеваний.
Существуют методы диагностики гастроэнтерологических заболеваний по результатам анализов секреторной кислотообразующей и протеолитической (или ферментативной) функций желудка. Считается, что одноразовое исследование дает только ориентировочное представление о функциональном состоянии желудка и сохраняет значение преимущественно при массовых профилактических обследованиях.
Один из подходов к решению проблемы повышения диагностических возможностей желудочного зондирования - использование новых методов обработки информации - предлагается в данной работе. Использовано одно из направлений развития искусственного интеллекта - искусственные нейронные сети /47/, которые получили широкое распространение для решения трудноформализуемых задач, в том числе медицинских /145-146/.
Работа выполнена по данным Петровской Т.В. /130, 131/.
Цель работы: изучение состояния секреторной функции желудка у детей с гастродуоденитами и язвенной болезнью в экологических условиях Сибири и Крайнего Севера, задача - классификация исходных данных для выделения устойчивых классов. Требуется определить возможность использования показателей функционального состояния гастродуоденальной системы для ранней диагностики развития гастродуоденитов и язвенной болезни, установить значимость этих тестов в комплексе клинико-лабораторных и инструментальных исследований для оценки эффективности лечения, течения заболевания, осложнений и постановки прогноза. Исследовалась секреторная кислотообразующая и протеолитическая (или ферментативная) функции желудка у 3-х групп детей с гастродуоденальной патологией:
1) гастродуоденит;
2) язвенная болезнь желудка и двенадцатиперстной кишки;
3) эрозивные гастриты.
Решалась задача классификации примеров исходных данных (анализов больных детей) для выделения устойчивых классов.
В процессе комплексных клинико-лабораторных и эндоскопических исследований были обследованы дети Красноярска, Норильска и Дудинки в возрасте от 5 до 15 лет с гастроэнтерологическими жалобами. В данной работе исследуются 29 показателей фракционного желудочного зондирования. Использовались тощаковая, базальная, стимулированная гистамином и ферментативная пробы, подробное описание полей файла данных приведено в таблице 5.1.
Среди других видов исследований желудочного зондирования имеет большое значение, так как позволяет определить показатели кислотности желудочного сока и другие параметры, а, кроме того, обнаружить в эвакуированном содержимом наличие простейших, бактерий и гельминтов. Тощаковая проба берется из желудка в состоянии покоя, натощак, с помощью шприца, надетого на зонд, извлекается все содержимое желудка. Базальная секреция - секреция голодного желудка в течение часа этого, каждые 15 минут по порции. Стимулированная секреция - секреция желудка после стимуляции гистамином или другими стимуляторами, обычно откачивается 4 пробы через каждые 15 минут. Исследование ферментативной (ферментообразующей или пепсинообразующей) функции желудка основано на определении переваривающей способности желудочного содержимого в отношении различных белковых субстратов [Исаева, Шабалов]. Свободная соляная кислота находится в желудке в виде диссоциированных ионов водорода и хлора. Связанная соляная кислота находится в желудке в виде недиссоциированных молекул. Общая кислотность - суммарная кислотность всех кислых факторов (свободная соляная кислота, связанная соляная кислота, органические и другие кислоты).
Использовано 475 примеров данных.
По таблице парной корреляции выявлено:
1) объемы во всех порциях тощаковой, базальной и стимулированной секреции слабо коррелированы между собой и с другими параметрами;
2) во всех порциях базальной и стимулированной секреции имеется корреляция между общей и свободной соляной кислотой желудочного сока;
3) показатели пепсина в базальной и стимулированной секреции коррелированы слабо.
Для дальнейшей обработки данных были использованы нейросетевые методы. Обучено более 39000 нейронных сетей для классификации на 2 класса. Считается, что по клинической картине все предъязвенные состояния делятся на гастритоподобные и язвенноподобные. Исходя из этого, все примеры исходных данных были разделены на 2 класса. Использовались нейронные сети без учителя, нейроимитатор MDN. Для обученных нейронных сетей определена сила-слабость примеров: «сильные» примеры всегда классифицируются в группу «своих», «слабые» иногда меняют группу. Кроме того, определены показатели значимости входных параметров, которые показаны в таблицах 5.3 и 5.4 для классификации на 2 и 3 класса соответственно.
Анализ таблиц с данными классификации (табл.5.3 и 5.4) говорит о большой устойчивости классификации обучающей выборки на 2 класса и меньшей - на 3 класса. Дополнительный анализ устойчивости классификации и "силы" примеров показывает, что неустойчиво классифицируются 20 примеров, которые соответствовали при первичных обследованиях слабо выраженной форме гастрита или функциональным расстройствам желудка, а также у больных с положительным лечебным эффектом в динамике. Это позволяет высказать гипотезу о выделении с помощью нейронных сетей двух основных клинических типов хронических гастродуоденитов:
1) язвенноподобный;
2) гастритоподобный.
Аналогичное деление было предложено Шабаловым Н.П. /180/ по клинико-эндоскопическим методам исследования.
Классификационная модель данной задачи не полностью определена. Для таких задач следует использовать нейронные сети без учителя, позволяющие получать некоторую классификационную модель исходя из данных. Использован имитатор MDN для нейронных сетей без учителя. Обучено несколько серий нейронных сетей для классификации примеров данных на 2 и большее число классов. Для каждой нейронной сети из каждой серии определены классы для каждого примера, ядра классов, значимости входных параметров. Для оценок выборки каждой серии подсчитаны средние и средние квадратичные отклонения средних значений. В приложении 4 приведены минимальные, максимальные и средние оценки для числа классов от 2 до 19 с шагом 1. График в приложении 5 показывает зависимость минимальных, максимальных и средних оценок выборки от числа классов. Также на графике показана разница между текущей и следующей оценками.
Из графика зависимости оценок выборки от числа классов при их изменении от 2 до 19 с шагом 1 получена зависимость конечных разностей средних оценок выборки от числа классов - показана на том же рисунке с дополнительной шкалой справа. График показывает, что есть сильное уменьшение оценки выборки при увеличении числа классов от 2 до 3, после чего скорости падения оценки выборки уменьшаются достаточно плавно, т.е. нет четкого выделения оптимального числа классов. При увеличении числа классов более 12 существенного уменьшения скорости падения оценки выборки не происходит, более того, присутствуют "пики".