Содержание к диссертации
Введение
Глава 1. Проблема автоматизации процесса контроля качества функциональных материалов 9
1.1 Функциональные материалы и проблемы процесса контроля при их производстве 9
1.2 Проблемы микроструктурного анализа при производстве функциональных материалов 19
1.3 Обзор используемых методов и систем автоматизации 29
1.4 Проблемы визуальной идентификации микроструктурных составляющих функциональных материалов 36
Выводы по главе 42
Глава 2. Решение задачи классификации микроструктур на фотографии микрошлифа материала 45
2.1 Постановка задачи классификации микроструктур 48
2.2 Методы решения 48
2.3 Алгоритм классификации 54
2.4 Верификация алгоритма классификации
2.5 Решение демонстрационных примеров 68
2.6 Повышение достоверности визуальной идентификации методами
структурного анализа изображения 71
Выводы по главе 79
Глава 3. Идентификация параметров микростуктуры материала по фотографии микрошлифа 82
3.1 Постановка задачи идентификации 82
3.2 Методы решения 83
3.3 Алгоритм идентификации параметров 90
3.4 Демонстрационные примеры 104
Выводы по главе 105
Глава 4. Автоматизация процесса контроля качества функциональных материалов 107 4.1 Анализ вероятных ошибок контроля 111
4.2 Функциональные и структурные модели системы автоматизации 113
4.3 Прототип интеллектуальной системы распознавания сложных микроструктур 116
4.4 Модель базы знаний 122
4.5 Пример использования системы при автоматизации процесса контроля качества функциональных материалов 131
Выводы по главе 146
Заключение 148
Библиографический список 150
- Проблемы микроструктурного анализа при производстве функциональных материалов
- Верификация алгоритма классификации
- Алгоритм идентификации параметров
- Прототип интеллектуальной системы распознавания сложных микроструктур
Проблемы микроструктурного анализа при производстве функциональных материалов
Повышение качества выпускаемой металлургической промышленностью продукции является в настоящее время решающим условием её конкурентоспособности как на внутреннем, так и на внешнем рынках. Конкурентоспособность продукции во многом определяет престиж страны, степень её независимости от зарубежных производителей. Тем более, что металлургия является неотъемлемой частью машиностроительного комплекса, который занимает в нашей стране немалый процент от общего объёма промышленной продукции [1, 2].
Как уже отмечалось в смежных работах других авторов [1], в структуре экспорта нашего государства продукция металлургического комплекса составляет сравнительно небольшую величину - наш экспорт имеет, в большей степени, сырьевую направленность. Например, в экспорте черной металлургии сырье и полуфабрикаты (руда, лом, кокс, чугун, слитки) составляют более 60%, в экспорте цветной металлургии — более 80%. Основной причиной крайне малых объёмов экспорта продукции металлургического комплекса является её недостаточная конкурентоспособность вследствие несовременности и сравнительно невысокого качества [2, 3].
Таким образом, в условиях глобальной конкуренции на мировом рынке, по прежнему важнейшим направлением государственной промышленной политики в отношении металлургического производства на современном этапе, наряду с созданием благоприятной обстановки для развития машиностроения (соответствующая налоговая, таможенная и тарифная политика), особую актуальность приобретает задача обеспечения конкурентоспособности металлургической промышленности России. Последнее достигается осуществлением специальных мер, направленных на стимулирование в ней прогрессивных изменений, на реструктуризацию предприятий с целью увеличения качества продукции отечественного машиностроения [1, 2]. Под качеством, в соответствии с международным стандартом ISO 8402:94 [4], понимают совокупность свойств продукции, обусловливающих ее соответствие техническим требованиям, а контролем качества называют количественную или качественную оценку свойств продукции и материалов.
До сравнительно недавнего времени на металлургическом производстве при проведении анализа свойств продукции ограничивались лишь проверкой физико-механических свойств на макроуровне [5].
Но, как известно [6], свойства любого сплава определяются его внутренней структурой. Структура, в свою очередь, зависит от химического состава сплава, технологии его получения и последующей обработки посредством механических, химических, термических и других воздействий. Таким образом, управляя структурой металла, можно получать сплавы с нужными сочетаниями свойств [1, 7, 8, 9].
Подавляющее большинство металлических материалов, предназначенных для различных сфер деятельности человека, используется в качестве конструкционных материалов (КМ) в машиностроении, строительстве, быту и пр. Отличительным свойством КМ является крупнотоннажность их производства, ограниченная номенклатурность в масштабах одного предприятия и широкие возможности взаимозаменяемости. Вследствие этого к качеству самих КМ, а также к уровню контроля этого качества, не предъявлялось повышенных требований, а сам контроль качества вполне мог осуществляться специалистами с типовой для отечественной металлургии квалификацией.
В настоящее время всё чаще ставится задача производства так называемых функциональных материалов (ФМ) - то есть материалов, которые обладают заранее заданным свойствами (электрическими, магнитными, температурнозависящими, химическими и др.) для науки, техники, медицины и иных отраслей использования. ФМ должны обладать строго определенными и желательно настраиваемыми физическими и химическими свойствами, дающими возможность реализовывать служебные характеристики конструкций и устройств, недостижимые при использовании других материалов. К таким материалам, в частности, могут быть отнесены сплавы и композиты. Создание ФМ с оптимальными свойствами осуществляется путем усиления или подавления ("тюнинга") каких-либо свойств уже имеющихся материалов и невозможно без привлечения современных экспериментальных и теоретических подходов. Ярким представителем функциональных материалов являются, например, металлические сплавы с мартенситными превращениями и эффектами памяти формы [10-19].
Сложность и уникальность свойств ФМ приводит к тому, что обеспечить необходимый уровень требований к ним возможно лишь на пути ужесточения контроля качества технологических процессов и результатов их применения на всех этапах производства. При этом трудоемкость проведения контроля любой сложной продукции может составлять значительную долю от общего времени ее производства [20], что приводит к необходимости увеличения оперативности контроля качества продукции и внедрения автоматизированных систем оперативного контроля качества [1, 21-26]. В последние годы разработка автоматизированных систем контроля приобрела особую актуальность, что нашло отражение в ряде научных работ [27-34]. В случае производства ФМ необходимость повышения степени автоматизации контроля качества усиливается следующими обстоятельствами.
Свойства ФМ и их качество определяется многоуровневой системой факторов, характеризующих технологический процесс на всех стадиях производства. К основным уровням можно отнести: - состав ФМ, включающий, например, для сталей, содержание в них углерода, легирующих элементов, «вредных» металлов, неметаллических включений пр.; - структуру ФМ, определяемую, например, для стали, наличием аустенитной, ферритной, мартенситной, бейнитной или перлитной фазы или их сочетаний; - форму ФМ, которая в специальных случаях может иметь вид нанопорошка или нанотрубок, пленок (в том числе пористых), волокна и т.д.
Наиболее простыми методами можно вести контроль показателей качества (и определяющих его факторов) путем измерения физико-механических свойств ФМ (прочности, твердости, вязкости, упругости и др.). Более того, эти методы, хорошо освоенные при производстве КМ, не предъявляют повышенных требований ни к аппаратуре, ни к квалификации работников. Ограничение возможности их использования связано с невозможностью раскрытия с их помощью требуемых уникальных свойств ФМ. Поэтому методы позволяют лишь быстро и с минимальными затратами отсеять заведомый брак.
Основные виды контроля качества производимых ФМ связаны с изучением их структуры. Для изучения структур металлов и сплавов применяются прямые и косвенные методы [35]. К числу косвенных методов относятся: магнитный, дилатометрический, измерение электросопротивления и другие физические методы исследования, которые, хотя и не дают прямого изображения структуры, но всё же позволяют вскрыть кинетику происходящих в них превращений. В данной работе косвенные методы рассматриваться не будут.
Макроструктурным анализом, или, кратко, макроанализом, называется [35] метод исследования строения металлов и сплавов невооруженным глазом или при небольших увеличениях - до 30 раз. Строение металлов и сплавов, изучаемое при помощи макроанализа, называется макроструктурой [35].
Верификация алгоритма классификации
Минимизацию предлагается проводить по методу Левенберга-Марквардта [84, 85], который является альтернативой методу Гаусса-Ньютона [84] и может быть рассмотрен как комбинация метода Гаусса-Ньютона с методом градиентного спуска. Этот метод отличается в лучшую сторону от последнего тем, что он более устойчив даже в случаях, когда начинает работать от точки, далеко удалённой от минимума. Стоит также отметить, что этот метод ищет локальный минимум, который не обязательно совпадает с абсолютным. Однако, используя предположение о том, что фазы на анализируемом шлифе повёрнуты на малый угол относительно образцов из базы знаний, эта специфика работы метода не является существенной при проведении классификации. Кроме того, существуют некоторые эвристики, позволяющие повысить вероятность нахождения глобального экстремума, речь о которых пойдёт позднее в этой главе.
Перед тем, как перейти к рассмотрению сходимости и устойчивости метода Левенберга-Марквардта, следует немного подробнее остановиться на том, как именно происходит минимизация при использовании этого метода. Пусть имеется задача вида (8).
Выбор параметра метода Лк является критичным с точки зрения достижения минимума функции и скорости достижения минимума. При этом из (12) нетрудно заметить, что при Лк = 0 алгоритм вырождается в метод Гаусса-Ньютона (его вид представлен в выражении (12)), а при больших значениях алгоритм ведёт себя аналогично методу градиентного спуска (с проявлением всех его недостатков). Следует отметить, что на практике выбор Лк зачастую осуществляется, исходя из изменения функции f(x). При этом также стоит отметить, что выбор оптимальной стратегии Лк лежит за рамками этой диссертационной работы и если даже выбор расчёта Лк не был выбран оптимально, то дальнейшее изучение этого вопроса лишь увеличит степень адекватности проводимой классификации.
Таким образом, в зависимости от вида минимизируемой функции метод Левенберга-Марквардта может дать гораздо меньшую эффективность сходимости (требовать большее количество итераций, чем метод Гаусса-Ньютона), однако он обладает большей устойчивостью, что на практике компенсирует слабую эффективность алгоритма (подробный анализ устойчивости и сходимости рассмотрен в таких работах, как [84]).
Теперь, когда выбор алгоритма минимизации был обоснован, открытым остаётся вопрос о достижимости глобального минимума функции невязки (7). Этот вопрос напрямую связан с видом минимизируемой функции, который зависит от конкретных входных данных этой функции. В частном случае, вход функции может превратить её в выпуклую на всей области её определения. Это приведёт к тому, что независимо от выбора начальной точки минимизации будет найден глобальный минимум. Однако, в общем случае целевая функция будет выпуклой лишь на отдельных подмножествах области определения функции. При этом нахождение глобального минимума функции зависит от начального значения параметров минимизации и в общем случае алгоритм минимизации найдёт лишь локальный минимум. То есть если начальные значения параметров минимизации лежат достаточно близко к глобальному минимуму то алгоритм минимизации найдёт точное значение этого глобального минимума.
Возникает задача поиска начального значения параметров минимизации. На практике в качестве начального значения параметров минимизации часто выступает аналитическое решение упрощённой задачи. То есть, если минимизируемую функцию можно апроксимировать более простой и найти аналитическое решение её экстремумов, то глобальный экстремум этой функции считается наиболее удачным значением параметров минимизации целевой функции.
Но в случае функции (7) построение такой аппроксимации и анализ его экстремумов не является возможным в связи с зависимостью экстремумов от входных данных, что делает нахождение аналитического решения задачи поиска стартовых значений неразрешимой. Естественно, существуют численные методы анализа функции, не заданной в аналитическом виде, однако применение их для анализа функции (7) значительно увеличит время, необходимое на проведение классификации, что приведёт к более затруднённому применению системы автоматизации на практике.
Альтернативным подходом является применение некоторых эвристик, позволяющих выйти за пределы локального минимума и, тем самым, повысить вероятность нахождения глобального минимума. Примером такой эвристики является произвольный выбор начальных значений параметров минимизации, к которым впоследствии применяются некоторые возмущения и проведение процесса минимизации для каждого из возмущённых значений начальных значений. Алгоритм работы этой эвристики приведён на рис. 21.
Эвристика повышения вероятности нахождения глобального минимума функции Естественно, такая эвристика не гарантирует нахождение глобального минимума функции, однако она улучшает поведение оригинального алгоритма минимизации. Теперь, когда были рассмотрены все составляющие модифицированного алгоритма классификации, основанном на функции невязки SAD, следует перейти к рассмотрению того, как именно все эти части завязаны в рамках единого алгоритма. Блок-схема модифицированного алгоритма классификации приведена на рис. 22.
Далее приведены пояснения каждого шага алгоритма с приведением конкретных значений, использованных при реализации алгоритма в виде программного кода.
Цикл по подобластям изображения рассматривает области анализируемого шлифа размером 64x64 пикселей (что соответствует размеру шаблонов из обучающей выборки). Области перебираются слева направо сверху вниз с шагов в 8 пикселей. Для каждой такой подобласти производится её классификация к классам из обучающей выборки.
Такая классификация основана на поиске шаблона структуры, который обеспечивает минимальное значение функции невязки SAD (7). Для этого перебираются все шаблоны из обучающей выборки и происходит подсчёт и минимизация функции невязки по рассмотренному выше алгоритму. Минимизация происходит по параметрам матрицы M выражения (7). Начальным значением считается единичная матрица преобразования. Но при этом производится 18 испытаний по подсчёту и минимизации функции невязки на каждой итерации, при этом начальное значение матрицы поворачивается на 20. Такие числа подкреплены принятой гипотезой, что поворот между анализируемой структурой и структурой из обучающей выборки не превышает 10.
Выделенная подобласть классифицируется к классу, обеспечивающему минимум функции невязки в процессе проведения этих 18 испытаний.
Следует отметить, что возможны ситуации, в которых структура, присутствующая на фотографии анализируемого шлифа отсутствует в обучающей выборке системы. Такая ситуация может привести к полностью некорректному анализу фазовых составляющих на анализируемом микрошлифе. Однако, алгоритм можно легко модифицировать таким образом, что он будет «знать» о том, что анализируемая структура ему незнакома. Суть модификации сводится к введению порогового значения функции невязки SADmax. Если после проведения минимизации получится, что SAD(imagel,image2) SADmax, то считается, что анализируемый класс системе неизвестен.
Алгоритм идентификации параметров
Как видно из представленной фотографии микрошлифа. Большинство объектов, подлежащих исследованию (зёрен), имеют небольшой размер. Таким образом, применение частотно-пространственной модели представления изображения является неактуальным (так как практически вся фотография микрошлифа будет представлена высокочастотными составляющими). Следует заметить, что применение разработанного алгоритма возможно и для фотографий микрошлифов с более низким увеличением, однако, точность работы на таких шлифах может быть несколько ниже, чем алгоритмов, специально разработанных для подобных видов фотографий микрошлифа.
Таким образом, первым действием, которое осуществляется шагом предобработки фотографии, является приведения фотографии к этому пространству. При этом используются стандартные хроматические коэффициенты [75]. Такое преобразование заключается в пересчёте значения каждого пикселя изображения по формуле (18). BW(x, у) = 0.2126- R(x, у) + 0.7152- G(x, у) + 0.0722- В(х, у) (18) где BW(x, у) - результирующее значение чёрено-белого пикселя для координаты изображения (х, у), R(x, у), G(x, у) и В(х, у) - значения красного, зелёного и синего каналов для пикселя с координатой (х, у) на входном изображении. В зависимости от микроструктур, которые присутствуют на изучаемом изображении возможен различный контраст между зерном и окружающей его структурой. Это можно увидеть на структурах, приведённых на рис. 38.
Замечание: здесь и далее при рассмотрении специфики работы алгоритма используется достаточно простые структуры. Это вызвано тем, что эти структуры лучше показывают специфику работы каждого из шага работы алгоритма на фотографиях небольшого размера.
Вид зёрен на шлифах (а) среднеуглеродистой стали (увеличение х250) и (б) зернистого перлита справа (увеличение х2000) Для повышения надёжности автоматического поиска зёрен, изображение подвергается исправлению освещённости таким образом, что его гистограмма полностью занимает диапазон величин [0..l]. Для этого используется стандартный подход выравнивания гистограммы, описанный в [75], который заключается в пересчёте значения каждого пикселя по формуле (19). где Icorrected - итоговое изображение с выровненной гистограммой, I - исходное изображение, Iтіпи Iтах - минимальное и максимальные значения яркости пикселей входного изображения соответственно. Пример результата выравнивания гистограммы приведён на рис. 39.
Пример фотографий микроструктур после выравнивания гистограммы Одним из негативных эффектов такого масштабирования гистограммы является проявление изначально не столь очевидной зашумлённости на фотографии. Для избавления от этого эффекта в рамках решаемой задачи достаточно было применения фильтра уменьшения шума, основанном на локальном среднем значении с ядром 5x5 пикселя [75, 93]. Значения весов в этом ядре были получены исходя из формулы Гаусса (15) с параметром о = 0.3.
Такое преобразование также несколько размывает границы зёрен, что может быть легко скомпенсировано после получения численных характеристик зёрен. Также, в дальнейшем возможно улучшение поведения этого алгоритма за счёт использования двустороннего фильтра по формуле (16).
Определения границ зёрен заключается в приведении фотографии микрошлифа в вид, наиболее удобный для поиска границ зёрен. Этот этап алгоритма можно отнести с методу сегментации изображения по границе.
Идея предлагаемого метода заключается в приведении изображения к виду, на котором зёрна представляются в виде границ. То есть, после применения сегментации светлые пиксели изображения соответствуют границам зёрен, тёмные пиксели соответствуют либо внутренним пикселям зёрен, либо внешним.
Для этого используется алгоритм определения границ, основанный на применении матрицы конволюций (иногда также известной, как матрица свёртки) [101] с ядром преобразования в виде лапласиана [75, 101]. Такое преобразование сводится к замене значения пикселя на скалярное произведение матрицы, построенной из окружающих его пикселей на матрицу ядра преобразования, как показано в формуле (20). где I filtered - результирующее изображение после применения фильтра, (х,у) текущие координаты изображения, п - размер ядра преобразования, А - матрица ядра преобразования. Как упоминалось выше, на данном шаге алгоритма используется ядро преобразования в виде Лапласиана. Такая матрица имеет вид, подставленный в выражении (21).
Поведение такого фильтра аналогично подсчёту градиента для каждого пикселя в вертикальном и горизонтальном направлениях, а яркость результирующего пикселя зависит от величины этих градиентов. Таким образом, после применения такого фильтра пиксели, принадлежащие границе зёрен (в которых градиент является большим) превращаются в светлые, все остальные же пиксели преобразуются в тёмные.
Как видно из приведённых примеров, в случае зернистого перлита наблюдается явно выраженная двойная граница. Подобная ситуация может возникнуть и при других видах зёрен. Так, в рассмотренном случае для среднеуглеродистой стали, подобная картина может наблюдаться в случае металлических вкраплений в области углерода. Связано это с природой самих зёрен - у кольцевидных зёрен будет определена как внешняя, так и внутренняя границы.
Подобная ситуация легко разрешается путём использования лишь внешней границы зерна и игнорирования возможных внутренних областей. Такой подход не влияет на точность определения размера и ориентации зёрен.
Следует отметить, что подобный фильтр может привести величины яркостей некоторых пикселей в какой-то промежуточное значение яркости (светлее полностью тёмного и темнее самого светлого). Это вызвано тем, что на фотографии зёрен могут присутствовать какие-то текстурные составляющие, подсчёт градиента по которым даст ненулевой результат. Такой эффект поведения фильтра можно убрать путём применения бинаризации изображения [75]. Такой подход заключается в пересчёте значения яркости каждого пикселя по формуле (22). где I filtered - результирующее изображение после применения бинаризации, t порог бинаризации. При реализации этого алгоритма использовался порог в 0.25. Пример анализируемого шлифа после применения бинаризации приведён на рис. 41.
Границы зёрен после применения бинаризации к отфильтрованному изображению Анализ границ и выделение зёрен. Следующим шагом для подсчёта характеристик микроструктуры является анализ границ и выделение зёрен. Для этого используется переборный алгоритм, который заключается в обходе всех пикселей изображения по порядку, и при встрече светлого пикселя начинается поиск замкнутой области. При этом пиксели изображения рассматриваются построчно слева направо, строки идут сверху вниз, обход границы происходит по часовой стрелке.
Обход границы происходит итерационным методом, на каждом шаге которого происходит поиск следующего пикселя, на который можно осуществить переход. В качестве возможных альтернатив рассматриваются все соседние с текущим светлые пиксели. Альтернативы рассматриваются внутри небольшой области размера 5x5 пикселей. Для уменьшения влияния возможных оставшихся шумов на изображении размер этой области может быть изменён.
Блок схема этого алгоритма приведена на рис. 42. При обходе сохраняются координаты пикселей, которые принадлежат границе и которые позднее используются для подсчёта характеристик зерновой структуры. Таким образом, после завершения работы этого шага алгоритма существует массив данных, который описывает все найденные зёрна. Зёрна представляются как многоугольники, у которых известны координаты всех вершин в порядке обхода против часовой стрелки.
Прототип интеллектуальной системы распознавания сложных микроструктур
Здесь посылка - это условие, при котором срабатывает правило. Посылка - это выражение логического вида, и, таким образом, правило срабатывает тогда и только тогда, когда его посылка является истинным выражением. Заключение представляет собой набор выражений вида A B, которое помещает новые факты в рабочую память механизма логического вывода (факт - это знание о значении переменной). Другими словами, заключение правила приводит к означиванию той или иной переменной в рабочей памяти.
Таким образом, правила оперируют со значениями переменных: посылка правила проверяет значение переменных, заключение правила приводит к означиванию новых переменных. При этом не допускается проверка или присваивание значения переменной произвольному значению, что делается с целью уменьшения риска возникновения ошибок в базе знаний и упрощения проверки целостности базы знаний. При таком подходе к каждой переменной ассоциируется домен допустимых значений. Домен значений это статический список возможных значений переменной этого домена. Взаимное отношение доменов, переменных и правил отображено в виде диаграммы классов на рис. 55.
В зависимости от того, как механизм логического вывода оперирует с переменными, значения которых ещё отсутствуют в рабочей памяти, выделены следующие типы переменных:
Запрашиваемая переменная это переменная, значение которой будет запрошено у оператора системы поддержки принятия решения в случае, если её значение отсутствует в рабочей памяти, но необходимо для проверки истинности посылки правила.
Выводимая переменная это переменная, значение которой будет выведено механизмом логического вывода. Выводимо-запрашиваемая переменная это переменная, значение которой будет запрошено у оператора СППР в случае, если автоматический вывод переменной из правил не увенчался успехом.
Посылки и заключения правил представлены списком пар Переменная, Значение (при этом в посылке правила значение переменной сравнивается со значением из этой пары, а в заключении происходит означивание переменной новому значению).
Посылки правила всегда связываются между собой логическим «И». Для представления логического «ИЛИ» следует разбить такое правило на несколько более простых правил.
Значения переменных всегда считаются строковыми. Для представления численных переменных используются диапазоны значений, заданных в строковом виде (например, для переменной
Следует отметить, что подобные допущения не уменьшают общности представления знаний. Эти допущения были сделаны с целью упрощения отладки механизма логического вывода, и в дальнейшем могут быть пересмотрены.
Связь компонент анализа микроструктур с механизмом логического вывода. Теперь, после рассмотрения внутреннего представления правил, необходимо перейти к рассмотрению механизма связи результатов работы алгоритмов анализа микроструктуры с механизмом логического вывода.
Основным критерием при выборе варианта связи между этими двумя алгоритмами являлось достижение наиболее удобного написания правил экспертом материаловедом. Таким образом, было решено создать «системные» домены переменных и переменные, которые помещаются в рабочую память механизма логического вывода автоматически и которые можно использовать в посылках правил. Использование этих переменных в заключениях правил не разрешено, так как по своей сути эти переменные являются доступными только для чтения.
При этом на этапе классификации фазовых структур на фотографии микрошлифа анализируемого материала получается более эффективно и достоверно определять вид структуры, а не её точную классификацию. Другими словами, алгоритм классификации может очень точно определить, что наблюдаемая структура принадлежит пластинчатым перлитам, но не может достоверно провести её классификацию как сорбита или троостита. Вместе с тем, проведение подобной, более точной, классификации становится тривиальным после того, как стали известны результаты классификации и анализа численных характеристик путём сравнения вида фазового состояния и его численных характеристик. То есть для более точной классификации перлитной структуры в базе знаний должны присутствовать следующие правила: