Генетические алгоритмы и нечеткая логика. Нечеткая логика и нейронные сети. Проекции нечетких отношений
Хотя нечеткая логика может явно использоваться для представления знаний эксперта с помощью правил для лингвистических переменных , обычно требуется очень много времени для конструирования и настройки функций принадлежности, которые количественно определяют эти переменные. Нейросетевые методы обучения автоматизируют этот процесс и существенно сокращают время разработки и затраты на нее, улучшая при этом параметры системы. Системы, использующие нейронные сети для определения параметров нечетких моделей, называются нейронными нечеткими системами. Важнейшим свойством этих систем является их интерпретируемость в терминах нечетких правил if-then.
Подобные системы именуются также кооперативными нейронными нечеткими системами и противопоставляются конкурентным нейронным нечетким системам, в которых нейронные сети и нечеткие системы работают вместе над решением одной и той же задачи, не взаимодействуя друг с другом. При этом нейронная сеть обычно используется для предобработки входов или же для постобработки выходов нечеткой системы.
Кроме них имеются также нечеткие нейронные системы. Так называются нейронные сети, использующие методы нечеткости для ускорения обучения и улучшения своих характеристик. Это может достигаться, например, использованием нечетких правил для изменения темпа обучения или же рассмотрением нейронных сетей с нечеткими значениями входов.
Существует два основных подхода к управлению темпом обучения персептрона методом обратного распространения ошибки . При первом этот темп одновременно и равномерно уменьшается для всех нейронов сети в зависимости от одного глобального критерия - достигнутой среднеквадратичной погрешности на выходном слое. При этом сеть быстро учится на начальном этапе обучения и избегает осцилляций ошибки на позднем. Во втором случае оцениваются изменения отдельных межнейронных связей. Если на двух последующих шагах обучения инкременты связей имеют противоположный знак, то разумно уменьшить соответствующий локальный темп - впротивном случае его следует увеличить. Использование нечетких правил может обеспечить более аккуратное управление локальными темпами модификации связей. В чаcтности это может быть достигнуто, если в качестве входных параметров этих правил использовать последовательные значения градиентов ошибки. Таблица соответствующих правил может иметь, например следующий вид:
| Предыдущий градиент | Текущий градиент | ||||
|---|---|---|---|---|---|
| NB | NS | Z | PS | PB | |
| NB | PB | PS | Z | NS | NB |
| NS | NS | PS | Z | NS | NB |
| Z | NB | NS | Z | NS | NB |
| PS | NB | NS | Z | PS | NS |
| PB | NB | NS | Z | PS | PB |
Лингвистические переменные Темп Обучения и Градиент принимают в иллюстрируемом таблицей нечетком правиле адаптации следующие значения: NB - большой отрицательный; NS - малый отрицательный; Z - близок к нулю; PS - малый положительный; PB - большой положительный.
Наконец, в современных гибридных нейронных нечетких системах нейронные сети и нечеткие модели комбинируются в единую гомогенную архитектуру. Такие системы могут интерпретироваться либо как нейронные сети с нечеткими параметрами, либо как параллельные распределенные нечеткие системы.
Элементы нечеткой логики
Центральным понятием нечеткой логики является понятие лингвистической переменной . Согласно Лотфи Заде лингвистической называется переменная, значениями которой являются слова или предложения естественного или искусственного языка. Примером лингвистической переменной является, например, падение производства, если она принимает не числовые, а лингвистические значения, такие как, например, незначительное, заметное, существенное, и катастрофическое. Очевидно, что лингвистические значения нечетко характеризуют имеющуюся ситуацию. Например, падение производства на 3% можно рассматривать и как в какой-то мере незначительное, и как в какой-то мере заметное. Интуитивно ясно, что мера того, что данное падение является катастрофическим должна быть весьма мала.
В основе нечеткой логики лежит теория нечетких множеств, изложенная в серии работ Л. Заде в 1965-1973 годах. Математическая теория нечетких множеств (fuzzy sets) и нечеткая логика (fuzzy logic) являются обобщениями классической теории множеств и классической формальной логики. Основной причиной появления новой теории стало наличие нечетких и приближенных рассуждений при описании человеком процессов, систем, объектов.
Л. Заде, формулируя это главное свойство нечетких множеств, базировался на трудах предшественников. В начале 1920-х годов польский математик Лукашевич трудился над принципами многозначной математической логики, в которой значениями предикатов могли быть не только «истина» или «ложь». В 1937 году еще один американский ученый М. Блэк впервые применил многозначную логику Лукашевича к спискам как множествам объектов и назвал такие множества неопределенными.
Нечеткая логика как научное направление развивалась непросто, не избежала она и обвинений в лженаучности. Даже в 1989 году, когда примеры успешного применения нечеткой логики в обороне, промышленности и бизнесе исчислялись десятками, Национальное научное общество США обсуждало вопрос об исключении материалов по нечетким множествам из институтских учебников.
Первый период развития нечетких систем (конец 60-х – начало 70-х гг.) характеризуется развитием теоретического аппарата нечетких множеств. В 1970 году Беллман совместно с Заде разработали теорию принятия решений в нечетких условиях.
В 70-80 годы (второй период) появляются первые практические результаты в области нечеткого управления сложными техническими системами (парогенератор с нечетким управлением). И. Мамдани в 1975 году спроектировал первый функционирующий на основе алгебры Заде контроллер, управляющий паровой турбиной. Одновременно стало уделяться внимание вопросам создания экспертных систем, построенных на нечеткой логике, разработке нечетких контроллеров. Нечеткие экспертные системы для поддержки принятия решений нашли широкое применение в медицине и экономике.
Наконец, в третьем периоде, который длится с конца 80-х годов и продолжается в настоящее время, появляются пакеты программ для построения нечетких экспертных систем, а области применения нечеткой логики заметно расширяются. Она применяется в автомобильной, аэрокосмической и транспортной промышленности, в области изделий бытовой техники, в сфере финансов, анализа и принятия управленческих решений и многих других. Кроме того, немалую роль в развитии нечеткой логики сыграло доказательство знаменитой теоремы FAT (Fuzzy Approximation Theorem) Б. Коско, в которой утверждалось, что любую математическую систему можно аппроксимировать системой на основе нечеткой логики.
Информационные системы, базирующиеся на нечетких множествах и нечеткой логике, называют нечеткими системами .
Достоинства нечетких систем:
· функционирование в условиях неопределенности;
· оперирование качественными и количественными данными;
· использование экспертных знаний в управлении;
· построение моделей приближенных рассуждений человека;
· устойчивость при действии на систему всевозможных возмущений.
Недостатками нечетких систем являются:
· отсутствие стандартной методики конструирования нечетких систем;
· невозможность математического анализа нечетких систем существующими методами;
· применение нечеткого подхода по сравнению с вероятностным не приводит к повышению точности вычислений.
Теория нечетких множеств. Главное отличие теории нечетких множеств от классической теории четких множеств состоит в том, что если для четких множеств результатом вычисления характеристической функции могут быть только два значения – 0 или 1, то для нечетких множеств это количество бесконечно, но ограничено диапазоном от нуля до единицы.
Нечеткое множество. Пусть U – так называемое универсальное множество, из элементов которого образованы все остальные множества, рассматриваемые в данном классе задач, например множество всех целых чисел, множество всех гладких функций и т.д. Характеристическая функция множества – это функция , значения которой указывают, является ли элементом множества A:
В теории нечетких множеств характеристическая функция называется функцией принадлежности, а ее значение – степенью принадлежности элемента x нечеткому множеству A.
Более строго: нечетким множеством A называется совокупность пар
где – функция принадлежности, то есть 
Пусть, например, U ={a, b, c, d, e}, . Тогда элемент a не принадлежит множеству A, элемент b принадлежит ему в малой степени, элемент c более или менее принадлежит, элемент d принадлежит в значительной степени, e является элементом множества A.
Пример. Пусть универсум U есть множество действительных чисел. Нечеткое множество A, обозначающее множество чисел, близких к 10, можно задать следующей функцией принадлежности (рис. 21.1):
,
Мищенко В.А. 1 Коробкин А.А. 2
1 Воронежский государственный педагогический университет, Воронеж
2 Воронежский государственный университет, Воронеж
В данной статье рассмотрены принципы построения систем, основанных на нечеткой логике, кроме того, определен принцип построения логического вывода. Также рассматривается структура организации нечетких нейронных сетей на примере сети Ванга – Менделя. Описывается схема организации такой сети, ее структура, в частности, определены слои нейронной сети и описаны принципы функционирования каждого слоя. Кроме того, рассмотрен процесс обучения нечеткой нейронной сети Ванга – Менделя, включающий в себя подстройку весовых коэффициентов сети и настройку параметров функции Гауса. А также рассмотрен процесс обучения сети в случае, когда нахождения решения процесса обучения невозможно, а поиск параметров осуществляется таким образом, что все условия выполняются в некоторой степени. Также в статье проведен сравнительный анализ различных типов архитектур интеллектуальных систем.
нечеткая логика
нечеткие нейронные сети
1. Аксенов С.В., Новосельцев В.Б. Организация и использование нейронных сетей (методы и технологии) / Под общ. ред. В.Б. Новосельцева. – Томск: Изд-во НТЛ, 2006. – 128 с.
2. Батыршин И.З. Нечеткие гибридные системы. Теория и практика / Под ред. Н.Г. Ярушкиной. – М.ФИЗМАТЛИТ, 2007. – 208 с.
3. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. – М.: Финансы и статистика, 2002. – 344 с.
5. Яхъева Г.Э. Нечеткие множества и нейронные сети: Учебное пособие / Г.Э. Яхъева. – М.: Интернет-Университет Информационных технологий; БИНОМ. Лаборатория знаний, 2006. – 316 с.
Используемая в различных видах систем модель на основе нечеткой логики представляет собой базу знаний, построенную специалистами предметной области как множество нечетких правил вида:
Если x есть A 1 , то y есть B 1 ,
Если x есть A 2 , то y есть B 2 ,
Если x есть A n , то y есть B n ,
где х и y - входная и выходная переменная соответственно, а А и В - функции принадлежности .
Нечеткий логический вывод формируется в несколько шагов:
- введение нечеткости: на этом этапе функции принадлежности применяются к фактическим значениям входных переменных;
- логический вывод: вычисляется значение истинности для предпосылок каждого правила и применяется к заключениям каждого правила. Это приводит к одному нечеткому подмножеству, которое будет назначено каждой переменной вывода для каждого правила;
- композиция: нечеткие подмножества, назначенные каждой переменной вывода, объединяют в одно множество для всех переменных вывода;
- приведение к четкости: используется в случаях, когда необходимо преобразовать нечеткий набор выводов в четкое число.
На этих принципах построено большое количество сетей, рассмотрим подробнее одну из них - сеть Ванга - Менделя. Структура такой сети представляет собой четырехслойную нейронную сеть, в которой первый слой выполняет фазификацию входных переменных, второй - агрегирование значений активации условия, третий - агрегирование М правил вывода (первый нейрон) и генерацию нормализующего сигнала (второй нейрон), тогда как состоящий из одного нейрона выходной слой осуществляет нормализацию, формируя выходной сигнал .
В этой сети первый и третий слой являются параметрическими: первый слой содержит M* N*2 параметров функции Гаусса, а третий - М параметров w i.
Выходной сигнал сети Ванга - Менделя рассчитывается по формуле:
,
(1)
где w i - весовой коэффициент, μ ij () - функция Гаусса с параметрами математического ожидания, которое определяет центр c ij и параметрами разброса, которые определяются средним квадратическим отклонением d ij ,
- функция Гаусса.
Рис. 1. Структура сети Ванга - Менделя
Задача сети состоит в построении такого отображения пар данных (x, d ), чтобы ожидаемое значение, соответствующее входному вектору x , формировалось выходной функцией y(x) .
Обучение нечетких сетей, также как и классических сетей, может проводиться по алгоритму с учителем, основанному на минимизации целевой функции, задаваемой с использованием евклидовой нормы как
, где p
- количество обучающих пар (x,
d
).
Для обучения нечеткой нейронной сети применяют алгоритм, включающий последовательное чередование следующих шагов:
- для фиксированных значений параметров c ij и d i j первого слоя вычисляются значения параметров w i третьего слоя сети;
- при зафиксированных значениях параметров w i третьего слоя уточняются параметры c ij и d ij первого слоя сети.
Таким образом, на первом этапе для K
обучающих выборок , k=1, 2, ... K
, получаем систему K
линейных уравнений , где W
- вектор, составленный из линейных коэффициентов w
i
, D
- вектор эталонных ответов сети, 
. Количество строк K
матрицы PV
значительно больше количества ее столбцов. Решение этой системы линейных алгебраических уравнений может быть получено за один шаг следующим образом: , где - псевдообратная матрица для матрицы PV
.
На втором этапе фиксируются значения коэффициентов полиномов третьего слоя и осуществляется уточнение (обычно многократное) коэффициентов функции Гаусса для первого слоя сети стандартным методом градиента: 
, 
, где k
- номер очередного цикла обучения, v c - скорость обучения для коэффициентов c ij , v d - скорость обучения для коэффициентов d ij , 
- ошибка сети, где L - общее число обучающих выборок, y l - выход сети Ванга-Менделя для данной выборки, - эталонное значение выхода сети Ванга - Менделя .
Производные и вычисляются по формулам:
, 
.
Производные и можно найти по формулам:
, 
,
где - функция Гаусса
Поскольку в череде этапов этап уточнения параметров функции Гаусса имеет много меньшую скорость сходимости, то в ходе обучения реализацию этапа 1, как правило, сопровождает реализация нескольких этапов 2.
Часто требуется найти «решение» системы, которая решений (в обычном смысле) не имеет. Выходом из ситуации является нахождение таких значений неизвестных параметров, что все условия системы выполняются «в некоторой степени».
Матрица A + называется псевдообратной матрицей для матрицы A , если . Отсюда сразу вытекает, что если матрица A имеет размер m x n , то псевдообратная матрица A + имеет размер n x m .
Опишем и другой, часто встречающийся в литературе подход к определению этого понятия. Сначала введём понятие псевдорешения системы уравнений. Пусть нам дана система уравнений
где A - матрица размера m x n , b - вектор из m элементов.
Любое решение этой системы является также и решением системы
Псевдорешением системы (2) называется решение системы (3) с минимальной нормой среди всех столбцов, имеющих минимальную невязку (норма вектора равна квадратному корню из суммы квадратов компонент вектора, а невязкой решения системы (2) называется норма вектора Ax-b ).
Псевдообратной матрицей для матрицы A размера m x n называется матрица A + , столбцы которой - псевдорешения систем вида Ax=e i ,
где e i - i -ый столбец единичной матрицы порядка m .
К универсальным способам нахождения псевдообратной матрицы относятся рекуррентные алгоритмы Гревиля и Фадеева. В данной работе приведем алгоритм Гревиля для псевдообращения матриц.
Пусть дана матрица A ∈ R min и a k - ее k -й столбец, k = 1, . . ., n .
Пусть A k - матрица, составленная из k первых столбцов матрицы A :
При k
= 1: A 1 = a 1 , а при k
= 2, . . . , n
: 
; A n =A.
Матрица A + ∈ R min может быть вычислена с помощью рекуррентного алгоритма:
1. Инициализация.
2. Цикл по k =2, ..., n.
, где I
- единичная матрица порядка m
,
Полученная на последнем шаге матрица A + n и есть псевдообратная матрица, которая является искомым решением.
Принцип нечеткой логики достаточно давно используется для решения задач, в которых исходные данные являются слабо формализованными или же ненадежными. Основными преимуществами сетей с такой структурой являются:
- удобство представления информации: описание постановки задачи и условий производится на языке близком к естественному;
- универсальность: согласно теореме нечеткой аппроксимации, любая математическая модель может быть аппроксимирована системой, построенной на нечеткой логике;
- эффективность: ряд теорем, подобных теоремам о полноте для искусственных нейронных сетей, показывают высокую эффективность работы таких сетей.
Однако, такой организации нейронных сетей присущ и ряд недостатков:
- исходный набор нечетких правил формируется человеком, что не всегда является объективным, а иногда неполным или даже противоречивым;
- вид и параметры данных, связывающих вход и выход, также определяются субъективно и не всегда отражают действительность.
Каждый тип архитектуры интеллектуальных систем обладает своими особенностями в части обучения сети, обработки данных и вычисления конечного результата, что позволяет использовать одни типы архитектур для решения задач, к которым не применимы другие. Так, например, использование искусственных нейронных сетей в задачах по распознаванию образов имеет широкое применение, однако, объяснить принцип работы сетей достаточно сложно. Сети могут самостоятельно получать данные и обрабатывать их, однако, процесс обучения сетей достаточно долог, кроме того, анализ полученной в конечном итоге сети достаточно сложен. При этом, ввод в нейронную сеть какой-либо заранее достоверной информации не возможен .
Рассматривая системы, построенные на нечеткой логике, можно утверждать обратное - данные, получаемые на выходе таких систем, легки в понимании, однако, такие системы не могут самостоятельно получать информацию, которую можно использовать в дальнейшем при формировании выходных данных.
Как мы видим, искусственные нейронные сети и системы с нечеткой логикой схожи между собой, однако, каждая из них имеет свои достоинства и недостатки. Данный вывод был взят за основу при создании нечетких нейронных сетей. Такие сети строят решение на основе аппарата нечеткой логики, однако функции принадлежности настраиваются с помощью алгоритмов обучения искусственных нейронных сетей . Кроме того, такие сети не только могут обучаться, но и способны учитывать априорную информацию. По своей структуре нечеткие нейронные сети схожи с многослойными сетями, например, с сетью, обучающейся по алгоритму обратного распространения, но скрытые слои в нечетких сетях соответствуют этапам работы нечеткой системы: первый слой производит введение нечеткости, исходя из заданных признаков входов; второй слой определяет множество нечетких правил; третий слой выполняет функцию приведения к четкости. В каждом из указанных слоев имеется набор параметров, настройка которых производится так же, как и настройка обычной нейронной сети.
Рецензенты:
- Шашкин А.И., д.ф.-м.н., зав. кафедрой математического и прикладного анализа ФГБОУ ВПО «Воронежский государственный университет», г. Воронеж.
- Кургалин С.Д., д.ф.-м.н., зав. кафедрой цифровых технологий ФГБОУ ВПО «Воронежский государственный университет», г. Воронеж.
Библиографическая ссылка
Мищенко В.А., Коробкин А.А. ПРИНЦИПЫ НЕЧЕТКОЙ ЛОГИКИ НА ПРИМЕРЕ НЕЧЕТКИХ НЕЙРОННЫХ СЕТЕЙ // Современные проблемы науки и образования. – 2012. – № 1.;URL: http://science-education.ru/ru/article/view?id=5321 (дата обращения: 01.02.2020). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
Рассмотрим некоторые методы "мягких" вычислений, не получившие пока широкого распространения в бизнесе. Алгоритмы и параметры этих методов значительно меньше детерминированы по сравнению с традиционными. Появление концепций "мягких" вычислений было вызвано попытками упрощенного моделирования интеллектуальных и природных процессов, которые во многом носят случайный характер.
Нейронные сети используют современное представление о строении и функционировании мозга. Считается, что мозг состоит из простых элементов - нейронов, соединенных между собой синапсами, через которые они обмениваются сигналами.
Основное преимущество нейронных сетей заключается в способности обучаться на примерах. В большинстве случаев обучение представляет собой процесс изменения весовых коэффициентов синапсов по определенному алгоритму. При этом, как правило, требуется много примеров и много циклов обучения. Здесь можно провести аналогию с рефлексами собаки Павлова, у которой слюноотделение по звонку тоже начало появляться не сразу. Отметим лишь, что самые сложные модели нейронных сетей на много порядков проще мозга собаки; и циклов обучения нужно значительно больше.
Применение нейронных сетей оправдано тогда, когда невозможно построить точную математическую модель исследуемого объекта или явления. Например, продажи в декабре, как правило, больше, чем в ноябре, но нет формулы, по которой можно посчитать, насколько они будут больше в этом году; для прогнозирования объема продаж можно обучить нейронную сеть на примерах предыдущих лет.
Среди недостатков нейронных сетей можно назвать: длительное время обучения, склонность к подстройке под обучающие данные и снижение обобщающих способностей с ростом времени обучения. Кроме того, невозможно объяснить, каким образом сеть приходит к тому или иному решению задачи, то есть нейронные сети являются системами категории "черный ящик", потому что функции нейронов и веса синапсов не имеют реальной интерпретации. Тем не менее, существует масса нейросетевых алгоритмов, в которых эти и другие недостатки так или иначе нивелированы.
В прогнозировании нейронные сети используются чаще всего по простейшей схеме: в качестве входных данных в сеть подается предварительно обработанная информация о значениях прогнозируемого параметра за несколько предыдущих периодов, на выходе сеть выдает прогноз на следующие периоды - как в вышеупомянутом примере с продажами. Существуют и менее тривиальные способы получения прогноза; нейронные сети - очень гибкий инструмент, поэтому существует множество конечных моделей самих сетей и вариантов их применения.
Еще один метод - генетические алгоритмы. В их основе лежит направленный случайный поиск, то есть попытка моделирования эволюционных процессов в природе. В базовом варианте генетические алгоритмы работают так:
1. Решение задачи представляется в виде хромосомы.
2. Создается случайный набор хромосом - это изначальное поколение решений.
3. Они обрабатываются специальными операторами репродукции и мутации.
4. Производится оценка решений и их селекция на основе функции пригодности.
5. Выводится новое поколение решений, и цикл повторяется.
В результате с каждой эпохой эволюции находятся более совершенные решения.
При использовании генетических алгоритмов аналитик не нуждается в априорной информации о природе исходных данных, об их структуре и т. д. Аналогия здесь прозрачна - цвет глаз, форма носа и густота волосяного покрова на ногах закодированы в наших генах одними и теми же нуклеотидами.
В прогнозировании генетические алгоритмы редко используются напрямую, так как сложно придумать критерий оценки прогноза, то есть критерий отбора решений, - при рождении невозможно определить, кем станет человек - космонавтом или алконавтом. Поэтому обычно генетические алгоритмы служат вспомогательным методом - например, при обучении нейронной сети с нестандартными активационными функциями, при которых невозможно применение градиентных алгоритмов. Здесь в качестве примера можно назвать MIP-сети, успешно прогнозирующие, казалось бы, случайные явления - число пятен на солнце и интенсивность лазера.
Еще один метод - нечеткая логика, моделирующая процессы мышления. В отличие от бинарной логики, требующей точных и однозначных формулировок, нечеткая предлагает иной уровень мышления. Например, формализация утверждения "продажи в прошлом месяце были низкими" в рамках традиционной двоичной или "булевой" логики требует однозначного разграничения понятий "низкие" (0) и "высокие" (1) продажи. Например, продажи равные или большие 1 миллиона шекелей - высокие, меньше - низкие.
Возникает вопрос: почему продажи на уровне 999 999 шекелей уже считаются низкими? Очевидно, что это не совсем корректное утверждение. Нечеткая логика оперирует более мягкими понятиями. Например, продажи на уровне 900 тыс. шекелей будут считаться высокими с рангом 0,9 и низкими с рангом 0,1.
В нечеткой логике задачи формулируются в терминах правил, состоящих из совокупностей условий и результатов. Примеры простейших правил: "Если клиентам дали скромный срок кредита, то продажи будут так себе", "Если клиентам предложили приличную скидку, то продажи будут неплохими".
После постановки задачи в терминах правил четкие значения условий (срок кредита в днях и размер скидки в процентах) преобразуются в нечеткую форму (большой, маленький и т. д.). Затем производится их обработка с помощью логических операций и обратное преобразование к числовым переменным (прогнозируемый уровень продаж в единицах продукции).
По сравнению с вероятностными методами нечеткие позволяют резко сократить объем производимых вычислений, но обычно не повышают их точность. Среди недостатков таких систем можно отметить отсутствие стандартной методики конструирования, невозможность математического анализа традиционными методами. Кроме того, в классических нечетких системах рост числа входных величин приводит к экспоненциальному росту числа правил. Для преодоления этих и других недостатков, так же как и в случае нейронных сетей, существует множество модификаций нечетко-логических систем.
В рамках методов "мягких" вычислений можно выделить так называемые гибридные алгоритмы, включающие в себя несколько разных составляющих. Например, нечетко-логические сети, или уже упоминавшиеся нейронные сети с генетическим обучением.
В гибридных алгоритмах, как правило, имеет место синергетический эффект, при котором недостатки одного метода компенсируются достоинствами других, и итоговая система показывает результат, недоступный ни одному из компонентов по отдельности.