Моделирование анизотропных зависимостей по выборкам с факторным планом эксперимента Беляев Михаил Геннадьевич

Содержание к диссертации

Введение

1 Постановка задачи 11

1.1 Особенности прикладных задач метамоделирования 11

1.2 Формальная постановка задачи 15

1.3 Выводы 18

2 Оценка асимптотических свойств предложенной модели 20

2.1 Основной результат 21

2.1.1 Предположения о структуре задачи 21

2.1.2 Обозначения 23

2.1.3 Асимптотические свойства предложенной модели 24

2.2 Общая схема доказательства 25

2.2.1 Обозначения 25

2.2.2 Шаги доказательства 26

2.3 B-сплайны и квазиинтерполянт 28

2.3.1 Некоторые свойства одномерных B-сплайнов 28

2.3.2 Квазиинтерполянт 29

2.4 Задача аппроксимации по известной функции 32

2.4.1 Приближение полиномом 32

2.4.2 Вспомогательные результаты 33

2.4.3 Ошибка приближения заданной функции 35

2.5 Построение оценки по конечной выборке 38

2.5.1 Ограниченность функций 38

2.5.2 Ошибка численного интегрирования 39

2.5.3 Квадратичные функции ошибки 41

2.5.4 Приближение по конечной выборке 42

2.5.5 Приближение по конечной зашумленной выборке 43

2.6 Переход к дискретной норме в штрафном слагаемом 47

2.6.1 Ошибка численного интегрирования в штрафном слагаемом 47

2.6.2 Задача аппроксимации с выборочной нормой производных

2.7 Финальная оценка 50

2.8 Выводы 53

3 Вычислительно-эффективный алгоритм 55

3.1 Введение 55

3.2 Тензорная арифметика 58

3.3 Оптимизируемая функция 61

3.4 Алгоритм

3.4.1 Диагонализация сомножителей в произведении Кронекера 64

3.4.2 Построение алгоритма 66

3.4.3 Полный факторный план 73

3.5 Выбор параметра регуляризации 76

3.5.1 Полный факторный план 77

3.5.2 Неполный факторный план 79

3.6 Выводы 81

4 Комплекс программ 82

4.1 Структура комплекса 82

4.2 Дополнительные функциональные возможности 83

4.3 Выборки с многомерными факторами 85

4.3.1 Изменения в алгоритме 85

4.3.2 Алгоритм построения словаря 87

4.4 Выводы 89

5 Экспериментальные результаты 91

5.1 Сравнение с другими методами 91

5.1.1 Полный факторный план 92

5.1.2 Неполный факторный план 93

5.2 Моделирование прочности структурных элементов обшивки самолета 96

5.2.1 Результаты 98

5.3 Консолидации данных при моделировании аэродинамических характеристик 99

5.3.1 Задача консолидации данных 99

5.3.2 Моделирование аэродинамических характеристик космического летательного аппарата 101

5.3.3 Методики консолидации 102

5.3.4 Результаты 106

5.3.5 Выводы 107

5.4 Выводы 108

Заключение 110

Список литературы

• Формальная постановка задачи
• Асимптотические свойства предложенной модели
• Оптимизируемая функция
• Выборки с многомерными факторами

Введение к работе

Актуальность темы.

В задачах инженерного проектирования получил распространение подход к построению моделей физических явлений по выборке данных, состоящей из пар вида (описание объекта и условий функционирования, входной вектор) – (характеристики объекта, выходной вектор). В силу особенностей генерации наборов подобных пар в приложениях часто используют полный факторный план эксперимента (множество входных векторов образует декартово произведение некоторых множеств, называемых факторами). Часть значений выходного вектора может быть невычислима, что делает план эксперимента неполным факторным. Для выборок с факторным планом эксперимента характерен высокий объем, который растет экспоненциально по размерности входного вектора. Еще одна типичная особенность подобных задач — это пространственная неоднородность породившей данные зависимости, бoльшую часть вариабельности которой обуславливает только несколько компонент входного вектора. Как правило, это априорное знание учитывается во время планирования эксперимента и для таких компонент используются бoльшие мощности факторов.

В ряде работ было показано, что использование тензорного произведения сплайнов позволяет строить вычислительно эффективные алгоритмы для полных факторных планов эксперимента. Среди таких работ отметим С. de Boor, 1979¹, где была рассмотрена задача интерполяции по полному факторному плану и предложен эффективный итеративный алгоритм нахождения решения, и P. Dierckx, 1982², где модель строилась с помощью бикубических сплайнов с явным контролем гладкости модели при помощи специального штрафа. Результатов по неполному факторному плану существенно меньше. В частности, в работе G. Pisinger, 2007³, была рассмотрена задача интерполяции по неполному двумерному факторному плану и предложено решение, основанное на использовании техники псевдообращения.

Основным ограничением этих и многих других работ является неявное предположение о пространственной однородности моделируе-¹De Boor C. Efcient computer manipulation of tensor products // ACM Transactions on Mathematical Software. 1979. V. 5, no. 2. P. 173–182.

²Dierckx P. A fast algorithm for smoothing data on a rectangular grid while using spline functions // SIAM J. on Numerical Analysis. 1982. V. 19, no. 6. P. 1286–1304.

³G. Pisinger, A. Zimmermann. Linear least squares problems with data over incomplete grid // BIT Numerical Mathematics. 2007. V. 47. P. 809–824.

мой зависимости. Важным шагом стала работа B. Marx, 2005⁴, в которой для задач с двумерным полным факторным планом был рассмотрен новый вид штрафа, позволяющий учитывать изменчивость модели по каждой из переменных с различными весами. Вместе с тем, использование подобных методов не было обосновано теоретически.

Параллельно с использованием тензорного произведение сплайнов для задач с факторным планом эксперимента шло развитие многомерных сглаживающих сплайнов (например, thin-plate сплайнов) для решения задач с произвольным планом и изотропной моделируемой функцией. Два ключевых отличия этих двух направлений заключались в следующем: теоретические свойства thin-plate сплайнов были хорошо изучены (так, их асимптотическая оптимальность была показана в работе Utreras, 1988⁵), но высокая вычислительная сложность не позволяла использовать их для выборок большого объема.

Работа L. Xiao, 2013⁶, объединила результаты из этих двух направлений. В работе был предложен метод моделирования анизотропных зависимостей по выборке данных с полным факторным планом эксперимента, доказана его асимптотическая оптимальность и разработан вычислительно эффективный алгоритм построения модели. Вместе с тем, оценка ошибки была получена только в двумерном случае, а предложенный алгоритм и использованная при доказательстве техника базируются на том факте, что план эксперимента полный факторный.

Таким образом, актуально исследование методов моделирования анизотропных зависимостей по выборкам с факторным планом эксперимента (в том числе неполным), изучение теоретических свойств полученных методов и создание вычислительно эффективных алгоритмов построения моделей по таким данным.

Целью диссертационной работы работы является создание метода моделирования пространственно неоднородных зависимостей по выборкам данных с факторным планом эксперимента. Для достижения поставленной цели необходимо было решить следующие задачи. 1. Предложить математическую постановку задачи и метод построения модели, учитывающие пространственную неоднородность

⁴Marx B. D., Eilers P. H. C. Multidimensional penalized signal regression // Technometrics. 2005. V. 47, no. 1. P. 13–22.

⁵Utreras F. Convergence rates for multivariate smoothing spline functions // Journal of approximation theory. 1988. V. 52, no. 1. P. 1–27.

⁶Xiao L., Li Y., Ruppert D. Fast bivariate P-splines: the sandwich smoother // J. of the Royal Statistical Society: Series B. 2013. V. 75, no. 3. P. 577–599.

моделируемых зависимостей.

1. Обосновать предложенный метод построения модели в рамках сформулированной математической постановки задачи.

2. Разработать вычислительно эффективный алгоритм построения модели по данным с факторным планом эксперимента.

3. Реализовать предложенный алгоритм в виде комплекса программ.

Научная новизна работы состоит в том, что в ней впервые получены следующие результаты.

1. Для размерности входного вектора более двух найдена оценка ошибки приближения пространственно неоднородных зависимостей с помощью тензорного произведения сплайнов с использованием штрафа на изменчивость модели.

2. Предложен вычислительно эффективный алгоритм построения модели с помощью тензорного произведения сплайнов по выборкам с неполным факторным планом эксперимента.

3. Построен вычислительно эффективный алгоритм выбора коэффициентов регуляризации для выборок с факторным планом эксперимента.

4. Решена задача построения модели по двум выборкам данных различной точности, план эксперимента каждой из которых является неполным факторным.

Практическая значимость диссертационной работы определяется широким применением разработанных алгоритмов для решения ряда задач моделирования в аэрокосмической отрасли. Разработанные алгоритмы также были включены в программные продукты компании Datadvance, которые используются в ряде крупнейших компаний аэрокосмической, машиностроительной и других высокотехнологичных отраслей.

Общая методика исследования. Для решения поставленных задач в работе используются методы функционального анализа, матричной и тензорной алгебры, теории оптимизации, теории приближения функций.

Основные положения, выносимые на защиту:

5. Разработанный метод является асимптотически оптимальным при надлежащем выборе параметров регуляризации.

6. Предложенный итеративный алгоритм построения модели обладает следующими свойствами:

(a) Необходимо не более ( + 1, - + 1) итераций для

нахождения решения ( — объем выборки, — объем соответствующего полного факторного плана эксперимента);

(b) Вычислительная сложность одной итерации не превышает

( ), где — мощности факторов плана.

3. Вычислительная сложность предложенного метода подсчета

ошибки скользящего контроля и компонент ее градиента не пре-

вышает ( ).

4. Разработанный метод успешно использован для решения ряда
задач моделирования в инженерном проектировании, в том чис
ле задачи моделирования прочностных характеристик элементов
обшивки самолета A350 - 900 и задачи моделирования аэроди
намических характеристик суборбитального космического лета
тельного аппарата.

Достоверность изложенных в работе результатов обеспечивается использованием строгих доказательств, основанных на хорошо изученных методах функционального анализа, теории оптимизации; совпадением элементов полученных скоростей сходимости с известными результатами в частном случае одномерных задач; совпадением вычислительной сложности предложенного алгоритма в частном случае полного факторного плана со сложностью известных алгоритмов для полного факторного плана; успешным использованием результатов исследования в задачах инженерного проектирования.

Апробация работы. Результаты работы докладывались и обсуждались на следующих российских и международных конференциях: International workshop on advances in predictive modeling and optimization (2013, Германия); 9-я международная конференция “Интеллектуализация Обработки Информации” (2012, Черногория); конференции молодых ученых “Информационные Технологии и Системы” (2012, 2013); 55-я научная конференции Московского физико-технического института (2012); 5th European Conference on Computational Mechanics (2014, Испания); 5th International Conference on Mechanical and Aerospace Engineering (2014, Испания). Кроме того, полученные в работе результаты докладывались и обсуждались на научных семинарах лаборатории структурных методов анализа данных в предсказательном моделировании МФТИ (2012 - 2014), семинарах сектора интеллектуального анализа данных и моделирования ИППИ РАН (2014-2015), семинаре “Теория автоматического управления и оптимизации” лаборатории 7 ИПУ РАН (2015).

Публикации. Результаты по теме диссертации изложены в 7 пуб-

ликациях, 3 из которых изданы в журналах, рекомендованных ВАК ([1-3]), 4 — в тезисах докладов (включая индексируемые Web of Science тезисы [4], и индексируемые Scopus тезисы [5]). Основные результаты представлены в работах [1–3], написанных без соавторов.

Объем и структура работы. Диссертация состоит из введения, пяти глав и заключения. Полный объем диссертации составляет 120 стр., включая 10 рисунков и 4 таблицы. Список литературы содержит 75 наименований.

Формальная постановка задачи

Будем предполагать, что план эксперимента заданной выборки данных есть пересечение полного факторного плана с областью . Если З Є : , то будем называть такой план неполным факторным. Мы наложим некоторые условия на множество , предполагая, что оно достаточно регулярное в некотором смысле, и на множества {k}f=1, преполагая, что они достаточно равномерные. Таким образом мы исключим из рассмотрения “неструктурирован ные” планы эксперимента. Строгая формулировка ограничений на Q и {0k}f=1 будет дана в главе 2.

Теперь перейдем к формализации того факта, что в ряде задач инженерного проектирования моделируемые функции /о априори являются пространственно неоднородными. Положим, что заданные значения yi порождены как У І = fo{%i) + «, где d — независимый одинаково распределенный случайный шум с Ej = 0, Fj f = а2 ( т будем полагать известной). Будем считать, что /о М , где Т1 — анизотропное пространство Соболева с m = (mi,... ,m ), rrik — натуральные числа . По определению (см. [24]) И/Г(І7) — это пространство локально суммируемых на Q функций, имеющих на Q обобщенные производные Dhf(x) (к =

Предположение о принадлежности /о анизотропному классу W — это один из возможных способов формализовать подобные априорные инженерные знания о природе функции /о.

Таким образом, мы дали формальную постановку задачи, приняв во внимание работу с неполными факторными планами и пространственную неоднородность моделируемой функции /о. Наконец, рассмотрим вопрос работы с выборками данных высокого объема. Эта особенность никак не влияет на постановку задачи, но предъявляет высокие требования к вычислительной сложности метода решения этой задачи.

Как было отмечено во введении, популярным выбором модели в случае работы с полными факторными планами является тензорное произведение сплайнов. Более подробный обзор вычислительных алгоритмов будет дан в главе 3. Введем определение тензорного произведения сплайнов.

B-сплайнами порядка т называют некоторый базис в пространстве кусочно-полиномиальных функций из Ст_1([0,1]), степень каждого полинома не выше т, а Ст 1 — это пространство непрерывно дифференцируемых функций до порядка т — 1 включительно. B-сплайны строятся с помощью т последова тельных сверток индикаторной функции и обладают рядом удобным для анализа свойств, в частности обеспечивая наименьший среди сплайнов носитель. Некоторые свойства B-сплайнов будут описаны в главе 2.

Пусть щ = {th ,tf = (jk — l)hk}PAk=1 — это равномерное разбиение отрез-ка [0,1] с шагом hk = р . для всех к = 1,..., d. Будем переходить от одного полиномиального участка сплайнов к другому в точках множества щ (рк — число таких участков). Пусть 5&([0,1]) — это пространство сплайнов порядка rrik + 1, заданных с помощью соответствующего разбиения щ. Обозначим тензорное произведение сплайнов как 5 m ( [0, l]d) , Sm = S1 (g) S2 Sd.

Введем d дискретно-непрерывных полунорм на Sm, задаваемых следующим образом: где N = Ylknk — мощность полного факторного плана G.

Наконец, определим нашу модель. Будем строить оценку / с помощью минимизации на Sm функционала, включающего среднеквадратичную ошибку, вычисленную в точках выборки, и штрафное слагаемое:

При d = 1 решение (1.1) совпадает с классическими сглаживающими сплайнами [25]. В изотропных Соболевских пространствах стандартным обобщением сглаживающих сплайнов на случай d 1 являются thin-plate сплайны [25]

Предложенный функционал (1.1) является одним из возможных обобщений одномерных сглаживающих сплайнов на анизотропный многомерный случай. В одномерных и thin-plate сплайнах минимизация проводится по всему пространству Wm, в то время как в (1.1) только по его подпространству Sm. Как было отмечено выше, важным требованием, идущим от приложений, является малая вычислительная сложность алгоритма, поскольку объем выборки растет экспоненциально по , а сложность типичных методов (например, thin-plate сплайнов) может иметь порядок (3). Именно это соображение обуславливает использование тензорного произведения сплайнов m в ряде алгоритмов, предназначенных для полного факторного плана, см. [26; 27]. Это же обстоятельство вынуждает подсчитывать дискретно-непрерывную норму производных в штрафном слагаемом вместо использования стандартной 2, нормы. Для построения вычислительно эффективного алгоритма необходимо, чтобы штраф был представим в виде квадратичной формы со специальной структурой матрицы гессиана (сумма произведений Кронекера матриц из двух наборов). Даже при использовании непрерывной 2, нормы такая структура оказывается недостижима. Построение вычислительно-эффективного алгоритма ведется в главе 3, где в том иллюстрируется необходимость использования в штрафном слагаемом именно дискретно-непрерывных норм.

Асимптотические свойства предложенной модели

Существование и единственность задачи 2.13 зависит от плана эксперимента 0, по которым считаются дискретно-непрерывные нормы. В рамках предположений 2.4 и 2.5 /д@ также будет положительной определенной квадратичной формой, а задача 2.13 будет иметь единственное решение.

Напомним, что множества щ = {tf ,t j = (jk -)hk} k=-\ задают точки перехода от одного полиномиального участка сплайнов к другому. Дадим определение одномерных B-сплайнов, введя множество {tj,tj = (j — 1)/гИ=1, в котором для упрощения записи не используются индексы к.

Далее будем в большинстве случаев опускать порядок сплайна / = 2m, а В использовать для обозначения B-сплайна, построенного по к-й компоненте вектора х.

Теперь рассмотрим многомерные сплайны порядка / = 2m. Пусть {Hj}j — это разбиение Н = [0, l]d на гиперкубы однакового размера [h1,..., hd], узлы которого заданы множествами щ = {(jj — \)hk}Pk=1. Чтобы определить число B-сплайнов, равное числу гиперкубов, расширим сетку узлов, добавив по \(тк + 1)/2] нулей и \_{mk + l)/2j единиц к каждому разбиению щ (где [] и _-J округление к ближайшему целому вверх и вниз соответственно).

Определение 2.18. Определим тензорное произведение одномерных сплайнов порядка 2т как: Sm = span{B-B- ... В-}Р1, ",Рк=1. (2.17) Замечание 2.19. Здесь и далее для более компактной записи будем использовать обозначение В Ах) = В1 (х1)В2 (х2)... Bd (xd). J - Л v J2V Jd v На многомерные сплайны, определенные таким образом, тривиальным образом обобщаются свойства (2.16a), (2.16b), (2.16c) одномерных сплайнов. Некоторые дополнительные факты будут даны в следующем разделе.

Для оценки ошибки аппроксимации функции /0 мы воспользуемся квазиинтер-полянтом де Бора [34]. Введем несколько определений.

Определение 2.20. Назовем множество {otj}j линейных функционалов на L,2(H) двойственным базисом, если otj(Bi) = Sji. Утверждение 2.21. Двойственный базис {OLJ}J 1. существует, если tk- tk- +т +1 (то есть нет вырожденных функций в базисе функций Bj);

Так как для множество {fr}r ограничено в норме w2m,n, то существует такая подпоследовательность {fr.}?- и такая f Є WmiQ), что \\fr. — f\\wm — О, і — оо. Тогда для любой функции ф Є CQ0 справедливо Однако, из (2.27), (2.28) следует, что Hm, 0O(—l)mfc f BTkfr. = 0, тогда fuDTkfd = 0 для произвольной (/ Є С , то есть ВТк f = 0 для всех А; = 1,..., d. Согласно [35, лемма 2.2], из этого следует, что / Є Pm. Тогда

По нашему предположению (2.27), предел правой части (2.29) стремится к 0, в то время как левая часть равна 1. Таким образом, предположение (2.27) невер но, а неравенство (2.26) справедливо. Переход к взвешенной норме осуществ ляется тривиальным образом с учетом того факта, что тах(1, Лі,..., Л ) тах(1, Ло) = С.

Прежде чем перейти к оценке ошибки аппроксимации функции /о нам требуется получить еще один вспомогательный результат, связанный с распространением И/2т( ) в W i H). Эта необходимость обусловлена подсчетом штрафного слагаемого по всему гиперкубу Н, а не только по области Г2, что в свою очередь является одним из ключевых ингридиентов для создания вычислительно-эффективного алгоритма наравне с использованием дискретно-непрерывных норм, подробнее см. главу 3.

Лемма 2.27. Пусть область Q удовлетворяет сильному условию 1-рога, 1к = І/rrik- Тогда пространство И/Г(І7) совпадает с сужением пространства W2l(Rd) на Q. При этом существует линейный ограниченный оператор Т распространения функций из W ) в W iR3 ) Доказательство. См. [24, теорема 9.6].

Лемма 2.28. Пусть область Q удовлетворяет сильному условию l-рога, 1к = І/пік- Для каждой функции f Є W ) существует такая f Є W i H), что fL= f, I f \wm H C\ f \wm n- (2.31) Доказательство. Рассмотрим оператор распространения Ги/ = Tf+p — Tp, где р — полином из Рm, на котором достигается ошибка из леммы 2.25. \f\Wm H \р\цгm Н + \T(f — р)\]уmН \T(f — р)\цгm Н (2.32) — \\T{f — p)\\wm,H C(/ _p)w2m,n где использовались ограниченность оператора Т и тот факт, что для р Є Pm по определению )wm;# = 0. Используя лемму 2.24 для оценки правой части, получим требуемое утверждение (2.31). 2.4.3 Ошибка приближения заданной функции Выше мы получили два основных вспомогательных результата (леммы 2.26 и 2.28), которые позволяют перейти к оценке ошибки приближения известной функции /о с помощью предложенного метода.

В данной главе мы рассматриваем два основных вида штрафа:

Непрерывная норма производных по гиперкубу Н: Рі(Л,/, 0) = Pi (Л,/) = /л,я. Этот штраф легко может быть подсчитан для тензорного произведения сплайнов, однако не может быть использован в вычислительно эффективном алгоритме. Выше все результаты были получены с использованием именно такого штрафа.

Дискретно-непрерывный аналог предыдущего способа Р2(Л,/, 0) = X}fc=i к \\Dk/\\% к. Основное преимущество — этот штраф может быть использован при построении вычислительно-эффективного алгоритма, хотя и усложняет вид оптимизируемой функции. В данном разделе мы заменим штраф, основанный на непрерывных нормах производных, на его аналог, использующий дискретно-непрерывные нормы производных.

Оптимизируемая функция

Задача моделирования зависимостей по выборкам с полным факторным планом изучается достаточно давно, в том числе большое количество исследований посвящено вопросу создания вычислительно эффективных алгоритмов. P. Dierckx в работе [36] рассмотрел задачу построения бикубической аппроксимации по двумерной решетке (полный факторный план) без штрафа. Было замечено, что матрица регрессоров является произведением Кронекера и был получена явная формула для вычисления коэффициентов, которая соответствует умножению тензора (в данном случае размерности два, то есть матрицы) на псевдообращение матриц регрессоров.

С. de Boor [37] рассмотрел задачу интерполяции по полному факторному плану с одномерными факторами и предложил эффективный итеративный алгоритм нахождения решения (фактически, этот алгоритм следует из свойств умножения тензора на матрицы по измерению). E.Grosse [38] обобщил этот ме тод на случай аппроксимации и, по всей видимости, впервые ввел регуляризацию в алгоритмах такого рода. В отличии от дальнейших работ это была стандартная регуляризация Тихонова с помощью единичной матрицы, которая не предполагала контроль гладкости модели.

D. Forsey и R. Bartels в работе [39] использовали идеи из предыдущих двух статей и предложили итеративную процедуру, в рамках которой в областях с наибольшей ошибкой итеративно достраивается модели, основанные на тензорном произведении сплайнов. Этот подход получил название иерархических сплайнов и получил дальнейшее развития в задачах со случайным планом эксперимента.

Задача контроля гладкости аппроксимации (в одномерном случае) одним из первых была поставлена C. Reinsch в работе [40], который предложил сглаживающие сплайны (штраф в виде интегральной нормы вторых производных). Позднее было предложено несколько различных способов обобщения такого подхода на многомерный случай. Ниже мы перечислим некоторые, наиболее интересные, из этих способов.

P. Dierckx [41] поставил задачу построения бикубической аппроксимации с явным контролем гладкости. Задача свелась к решению системы с матрицей () вида M N + A I + I B = , которая эффективно не решалась (символ обозначает произведение Кронекера). Была предложена модифицированная штрафная функция, которая теряла содержательный смысл, но позволяла строить модель эффективно. Использование такого штрафа приводило к системе ( )( ) вида M+A N+B = , которая легко решалась с помощью использования базовых свойств произведения Кронекера.

В работе [42] Hu C. L. и Schumaker L. L. рассматривается задача двумерной аппроксимации с заданными граничными условяими на производную. Помимо использования граничных условий также штрафуется норма произодных аппроксимации на всей области. В случае интерполяции возникает формула для коэффициентов, аналогичная предложенному в работе [37] алгоритму (частный случай умножения тензора по измерению). Для случая со штрафом использу ется тот же прием, что и в указанной выше работе P. Dierckx. Заметим, что в штрафном слагаемом используется один параметр регуляризации на оба фактора.

B. Marx и P. Eilers рассмотрели [43] важный случай штрафа в двумерной задаче аппроксимации, а именно ввели двумерный параметр регуляризации, который определяет гладкость модели по разным переменным. Вопрос вычислительной эффективности в этой работе не рассматривался. Этот вопрос был исследован в работе [26] (те же авторы совместно с I. Currie). В этом подходе регуляризирующая функция выбирается таким образом, чтобы в линейной системе участвовали матрицы, которые являются суммой Кронекера. Свойства этой суммы позволяет эффективно решать такую систему.

Наконец, L. Xiao с соавторами предложили [27] подход, позволяющий строить аппроксимацию для многомерной задачи с одномерными факторами и явно контролировать изменчивость модели с помощью вектора параметров регуляризации. Из недостатков следует отметить способ выбора штрафной функции: он в первую очередь осуществляется таким образом, чтобы получить низкую вычислительную сложность, а не исходя из содержательных соображений (аналогичный прием использовал P. Dierckx в работе [41], указанной выше).

Из методов, лежащих несколько в стороне от тематики описанных подходов, следует отметить работу [44] R. Paulo по регрессии на гауссовских процессах, в которой предполагается, что данные имеют полный факторный план (который, в том числе, может содержать многомерные факторы). Работа посвящена разработке ковариационной функции специального вида, учитывающей этот вид данных, однако такой подход не позволяет контролировать гладкость модели.

Результатов по неполному факторному плану существенно меньше. В частности, G. Pisinger и A. Zimmermann рассмотрели [45] задачу построения бикубической интерполяции по неполной двумерной решетке (без какого-либо штрафа на изменчивость модели) и предложили решение, основанное на использовании техники псевдообращения и являющееся продолжением еще одной работы P.Dierckx [46]. Метод легко обобщается на многомерный случай, однако помимо отсутствия штрафа у него есть еще один существенный недостаток: необходимо решать систему из М уравнений (М — число пропущенных точек). Эта система не имеет какой-то специальной структуры, что не позволяет использовать этот метод при большом числе пропущенных точек.

Выборки с многомерными факторами

Кроме того, в отдельные функции вынесена функциональность построения модели по данным и дополнительного сглаживания построенной модели. Также следует отметить, что помимо непосредственно алгоритмов построения модели по выборкам с факторным планом эксперимента в комплексе реализована логика сопряжения с другими методами аппроксимации, входящими в соответствующую библиотеку. В ее основе лежит включение разработанного комплекса в дерево решений, определяющее выбор метода на основе некоторых параметров выборки данных. В качестве одного из критериев в этом дереве используется результат работы алгоритма по определению наличия структуры у плана эксперимента заданной выборки.

Помимо непосредственно построения модели по заданной выборке с факторным планом эксперимента разработанный комплекс имеет некоторые дополнительные функциональные возможности. Отметим наиболее интересные из них.

Построенная модель может быть дополнительно сглажена в смысле уменьшения вариабельности модели, измеренной с помощью нормы вторых производных модели. Требуемый уровень гладкости задается с помощью параметра относительной гладкости, который принимает значение от 0 (исходная модель, максимальная вариабельность) до 1 (линейная модель, нулевая вариабельность). Также возможно задавать различные параметры сглаживания для каждого из факторов, то есть, например, можно сделать модель линейной только по одному из факторов.

В силу использования базисных функций с компактным носителем построенная модель стремится к константе при выходе за границы гиперкуба = [0, 1]. В программном комплексе реализована гладкая экстраполяция полученной модели в пределах диапазона [-,1 + ], заданного с помощью дополнительного параметра . В основе решения лежит измененный набор узлов базисных функций, что позволяет сохранить вычислительную сложность алгоритма на том же уровне. Пример использования режима экстраполяции показан на рисунке 4.1.

В некоторых задачах структура данных такова, что в полном факторном плане есть один или несколько многомерных факторов. Разработана и реализована эвристическая вычислительно-эффективная процедура построения словаря параметрических многомерных функций в каждом из таких факторов. Подробнее процедура будет описана ниже.

Помимо использования словаря параметрических функций или базиса B-сплайнов, в каждом факторе могут быть использованы линейная или постоянная зависимость. Это позволяет учесть априорные знания о моделируемой зависимости.

Слева — стандартная модель, справа — модель с гладкой экстраполяцией Помимо описанного программного комплекса на его основе в компании Datadvance была создана реализация на языке С++, которая вошла в состав двух программных продуктов компании: MACROS (библиотека методов интеллектуального анализа данных и многокритериальной оптимизации) и pSeven (платформа для автоматизации инженерных расчетов, анализа данных и оптимизации).

Отметим также, что полученные наработки использовались для создания вычислительно эффективного алгоритма построения регрессии на основе гаус-совских процессов в случае структурированных выборок [Бел8].

В предыдущих главах была рассмотрена наиболее часто встречающаяся структура данных — факторный план (полный или неполный) с одномерными факторами. Этот случай также интересен тем, что позволяет дать строгие оценки точности приближения исходной функции о. Однако иногда в прикладных задачах встречаются задачи с более сложной структурой факторного плана, а именно с наличием одного или нескольких многомерных факторов. Опишем реализованный в программном комплексе эвристический подход, позволяющий работать с такими задачами.

В этом случае возможны по меньшей мере два подхода к обобщению предыдущих результатов на выборки с многомерными факторами: хТак как в структуре появились многомерные факторы, то суммарное число факторов перестало совпадать с размерностью данных d. В рамках этого раздела мы будем использовать обозначение К для общего числа факторов, а с4 для размерности фактора к, 2к с4 = d 1. использовать тензорное произведение dk одномерных B-сплайнов в к-м факторе; вместо базиса сплайнов строить некоторый словарь (некоторый набор) параметрических функций.

Второй подход позволяет адаптивным образом подобрать достаточно небольшое число функций, позволяющих достаточно хорошо описать данные. Этот подход, фактически являющийся искусственной нейронной сетью с одним скрытым слоем, часто используется для аппроксимации многомерных функций в различных прикладных областях, см., например [Бел9]. В программной реализации мы использовали именно второй подход, поскольку предложенная в [Бел10] модификация алгоритма обучения может быть крайне эффективно (с точки зрения вычислительной сложности) интегрирована в алгоритм построения модели для выборки с факторным планом и одним или несколькими многомерными факторами.

Под словарем параметрических функций будем понимать А = { 1 = апк (ж)И =1, где 7г — вектор параметров, а а — некоторая параметрическая функция. Мы использовали сигмоидные параметрические функции, ажк (х) = Зк tanh(([x, 1], 7г )), где tank — гиперболический тангенс, а [х, 1] — расширенный вектор х (для включения постоянного сдвига). Предложим эмпирическую процедуру построения словарей А/;, к = 1,..., К по заданной обучающей выборке S. Зафиксируем базисы сплайнов / словари параметрических функций (в зависимости от размерности соответствующего фактора) Д&,& ф I и рассмотрим задачу выбора словаря А/.