Реферат: Нейронные сети
Федеральное агентство пообразованию
Государственное образовательноеучреждение высшего профессионального образования
Волгоградский государственныйтехнический университет
Кафедра информационных систем вэкономике
Реферат по информационнымтехнологиям
на тему «Нейронные сети»
Выполнил:студент группы ЭИС-458
ДорощенкоФ. Н.
Проверил:Черняева Н.В.
Волгоград, 2008
Оглавление
Введение
1. Базовые понятия искусственногонейрона
1.1 Структура искусственного нейрона
1.2 Активационные функции
1.3 Классификация
2. Преимущества нейронных сетей
3. Использование нейронных сетей
3.1 Требования к компетенциипользователя
3.2 Области применения нейронныхсетей
Заключение
Список использованной литературы
Введение
В последние десятилетияв мире бурно развивается новая прикладная область математики,специализирующаяся на искусственных нейронных сетях. Актуальность исследованийв этом направлении подтверждается массой различных применений нейросетей. Этоавтоматизация процессов распознавания образов, адаптивное управление,аппроксимация функционалов, прогнозирование, создание экспертных систем,организация ассоциативной памяти и многие другие приложения. С помощьюнейросетей можно, например, предсказывать показатели биржевого рынка, выполнятьраспознавание оптических или звуковых сигналов, создавать самообучающиесясистемы, способные управлять автомашиной при парковке или синтезировать речь потексту. В то время как на западе применение НС уже достаточно обширно, у насэто еще в некоторой степени экзотика – российские фирмы, использующие НС впрактических целях, наперечет.
Широкий круг задач,решаемый нейронными сетями, не позволяет в настоящее время создаватьуниверсальные, мощные сети, вынуждая разрабатывать специализированные сети,функционирующие по различным алгоритмам. Тем не менее, тенденции развитиянейросетей растут с каждым годом.
Цель моей работы –разбор базовых понятий, связанных с изучением нейронных сетей, а такжевыявление перспектив развития.
1. Базовыепонятия искусственного нейрона
1.1 Структураискусственного нейрона
Искусственныйнейрон имитирует в первом приближении свойства биологического нейрона. На входискусственного нейрона поступает некоторое множество сигналов, каждый изкоторых является выходом другого нейрона. Каждый вход умножается насоответствующий вес, аналогичный синоптической силе, и все произведениясуммируются, определяя уровень активации нейрона. На рис.1 представлена модель,реализующая эту идею.
/>
рис.1.Искусственныйнейрон
Хотя сетевыепарадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация.Здесь множество входных сигналов, обозначенных x1, x2, x3...xn, поступает наискусственный нейрон. Эти входные сигналы, в совокупности обозначаемые векторомX, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждыйсигнал умножается на соответствующий вес w1, w2, w3...wn,и поступает на суммирующий блок, обозначенный СУМ. Каждый вес соответствует«силе» одной биологической синоптической связи. (Множество весов всовокупности обозначается вектором W). Суммирующий блок, соответствующий телубиологического элемента, складывает взвешенные входы алгебраически, создаваявыход, который мы будем называть NET.
1.2 Активационные функции
Сигнал NETдалее, как правило, преобразуется активационной функцией F и дает выходнойнейронный сигнал OUT. Активационная функция может быть обычной линейнойфункцией:
OUT=K(NET)
где К–постоянная, пороговой функцией
OUT=1, если NET>T
OUT=0 в остальных случаях,
где T –некоторая постоянная пороговая величина, или же функцией более точномоделирующей нелинейную передаточную характеристику биологического нейрона ипредставляющей нейронной сети большие возможности. На рис 2 блок, обозначенный F,принимает сигнал NET и выдает сигнал OUT.
/>
рис.2. Нейронс активационной функцией
Если блок Fсужает диапазон изменения величины NET так, что при любых значениях NETзначения OUT принадлежат некоторому конечному интервалу, то F называетсясжимающей функцией. В качестве сжимающей функции часто используетсялогистическая или сигмоидальная (S-образная) функции. Эта функция математическивыражается как F(x)=1/(1+e-x). Таким образом,
OUT=1/(1+e-NET)
По аналогии сэлектронными системами активационную функцию можно считать нелинейнойусилительной характеристикой искусственного нейрона. Коэффициент усилениявычисляется как отношение приращения величины OUT к вызвавшему его небольшомуприращению величины NET.
Он выражаетсянаклоном кривой при определенном уровне возбуждения и изменяется от малыхзначений при больших отрицательных возбуждениях (кривая почти горизонтальна) домаксимального значения при нулевом возбуждении и снова уменьшается, когдавозбуждение становится большим положительным. Гроссберг (1973) обнаружил, чтоподобная нелинейная характеристика решает поставленную им дилемму шумовогонасыщения. Каким образом одна и та же сеть может обрабатывать как слабые, так исильные сигналы? Слабые сигналы нуждаются в большом сетевом усилении, чтобыдать пригодный к использованию выходной сигнал. Однако усилительные каскады сбольшими коэффициентами усиления могут привести к насыщению выхода шумамиусилителей (случайными флуктуациями), которые присутствуют в любой физическиреализованной сети. Сильные входные сигналы в свою очередь также будутприводить к насыщению усилительных каскадов, исключая возможность полезногоиспользования выхода. Центральная область логистической функции, имеющаябольшой коэффициент усиления, решает проблему обработки слабых сигналов, в товремя как в области с падающим усилением на положительном и отрицательномконцах подходят для больших возбуждений. Таким образом, нейрон функционирует сбольшим усилением в широком диапазоне уровня входного сигнала.
Рассмотреннаяпростая модель искусственного нейрона игнорирует многие свойства своегобиологического двойника. Например, она не принимает во внимание задержки вовремени, которые воздействуют на динамику системы. Входные сигналы сразу жепорождают выходной сигнал. И что более важно, она не учитывает воздействийфункции частотной модуляции или синхронизирующей функции биологическогонейрона, которые ряд исследователей считают решающими. Несмотря на этиограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильнонапоминающие биологическую систему. Только время и исследования смогут ответитьна вопрос, являются ли подобные совпадения случайными или следствием того, чтов модели верно схвачены важнейшие черты биологического нейрона. [1]
1.3 Классификация
· по типу входнойинформации: Аналоговые нейронные сети (используют информацию в формедействительных чисел); Двоичные нейронные сети (оперируют с информацией,представленной в двоичном виде).
· по характеруобучения: С учителем (выходное пространство решений нейронной сети известно);Без учителя (нейронная сеть формирует выходное пространство решений только наоснове входных воздействий). Такие сети называют самоорганизующимися; Скритиком (система назначения штрафов и поощрений).
· по характерунастройки синапсов: Сети с фиксированными связями (весовые коэффициентынейронной сети выбираются сразу, исходя из условий задачи, при этом: dW/dt = 0, где W — весовые коэффициенты сети); сети сдинамическими связями (для них в процессе обучения происходит настройкасинаптических связей, то есть dW/dt ≠ 0, где W — весовые коэффициенты сети).
· по характерусвязей: Сети прямого распространения (Feedforward). Все связи направлены строго от входных нейронов квыходным; Рекуррентные сети. Сигнал с выходных нейронов или нейронов скрытогослоя частично передается обратно на входы нейронов входного слоя. Как любаясистема, имеющая обратную связь, рекуррентная сеть стремится к устойчивомусостоянию. Как известно, наиболее устойчивое состояние обеспечиваетсяминимизацией энергии системы. Рекуррентная сеть «фильтрует» входные данные,возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачикомпрессии данных и построения ассоциативной памяти; Двунаправленные сети. Втаких сетях между слоями существуют связи как в направлении от входного слоя квыходному, так и в обратном; Самоорганизующиеся карты. Такие сети представляютсобой, как правило, двумерную структуру нейронов. Перед обучением структураслучайна, нейроны распределены примерно равномерно. При обучении, для каждойобучающей записи рассчитывается точка, которая соответствует ей в структуресети. Нейрон, находящийся ближе всего к искомой точке, называется нейрономпобедителем. Веса связей, соединяющих этот нейрон с другими, увеличивается, темсамым несколько упорядочивая структуру. Веса от нейронов, являющихся «соседями»нейрона победителя, к другим нейронам также увеличиваются, но слабее и т. д.Таким образом, чем чаще нейрон «побеждает» при сравнении с признаком, тем«плотнее» к нему находятся другие нейроны. В конце обучения сеть представляетиз себя несколько зон сосредоточения нейронов, называемых кластерами. [2]
2. Преимуществанейронных сетей
Круг задач,для решения которых используются нейронные сети, во многом совпадает сзадачами, решаемыми традиционными статистическими методами. Поэтому укажемпреимущества нейросетей перед несколькими классическими методами статистики.
По сравнениюс линейными методами статистики (линейная регрессия, авторегрессия, линейныйдискриминант), нейронные сети позволяют эффективно строить нелинейныезависимости, более точно описывающие наборы данных. Из нелинейных методовклассической статистики распространен, пожалуй, только байесовскийклассификатор, строящий квадратичную разделяющую поверхность − нейроннаясеть же может построить поверхность более высокого порядка. Высокаянелинейность разделяющей поверхности наивного байесовского классификатора (онне использует ковариационные матрицы классов, как классический байес, аанализирует локальные плотности вероятности) требует значительного суммарногочисла примеров для возможности оценивания вероятностей при каждом сочетанииинтервалов значений переменных − нейронная сеть же обучается на всейвыборке данных, не фрагментируя её, что повышает адекватность настройкинейронной сети.
Припостроении нелинейных моделей (например, полиномиальных) в статистическихпрограммах обычно требуется ручное введение-описание модели в символьном виде сточностью до значений параметров: при N=10 независимых переменных полиномвторой степени будет содержать N*(N-1)/2=45 коэффициентов при попарныхпроизведениях переменных, 10 при самих переменных, 10 при квадратах значенийпеременных, т.е. 65 (66 с учетом неоднородного слагаемого) коэффициентов. Придвадцати переменных в выражение войдет уже 231 слагаемое. Вводить такие длинныеформулы долго, велик риск опечатки. Нейронная сеть же создается путем указаниявида структуры, числа слоев и числа нейронов в каждом слое, что гораздобыстрее. А алгоритмы построения растущих нейросетей и вовсе не требуютпервоначального задания размера нейронной сети. Альтернативой нейронной сетипри построении сложных нелинейных моделей является только метод группового учетааргументов.
Для сжатия ивизуализации данных в статистике разработан метод линейных главных компонент.Нейросети-автоассоциаторы позволяют эффективнее сжимать данные за счетпостроения нелинейных отображений и визуализировать данные в пространствеменьшего числа нелинейных главных компонент.
По сравнениюс методами непараметрической статистики, нейронная сеть с радиальными базиснымифункциями позволяет сокращать число ядер, оптимизировать координаты иразмытость каждого ядра. Это позволяет при сохранении парадигмы локальнойядерной аппроксимации ускорять дальнейший процесс принятия решения.
При обучениинейронной сети вместо критерия качества в виде наименьших квадратов можноиспользовать робастные критерии, дополнительно вести оптимизацию и другихсвойств нейронной сети (например, добавляя критерии регуляризации решения илиоптимизации структуры нейронной сети). Алгоритмы обучения нейронной сети приэтом остаются неизменными.
Необходимостьрешения прямой и обратной задач обычно требует построения двух моделей. Прииспользовании же нейронных сетей можно обойтись одной сетью, обученной решатьпрямую задачу.
3. Использование нейронных сетей
Нейронныесети могут решать широкий круг задач обработки и анализа данных −распознавание и классификация образов, прогнозирование, управление и т.д.Конкурентами являются классические методы анализа данных: методы статистики,идентификации систем и управления − частично это обрисовано приобсуждении преимуществ нейронных сетей.
3.1 Требования к компетенции пользователя
Подпользователем здесь понимается человек, непосредственно разрабатывающийнейросетевые модели, а не конечный пользователь готового нейросетевого«решателя». Несмотря на многочисленные заявления о том, что нейронныесети доступны пользователям-неспециалистам, реальное положение вещей на самомделе иное. Во-первых, правильную формулировку задачи никакой компьютер запользователя не сделает, причем под «правильной формулировкой»понимается не только правильность смысловой постановки задачи, но и правильныйвыбор математического метода решения и его настроек − а это в случаенейронных сетей подразумевает выбор адекватной структуры нейросети, алгоритмаобучения, критерия качества решения задачи и и т.д. Конечно, значительнаягибкость и универсальность нейроалгоритмов допускает применение по принципузабивания гвоздей микроскопом, но не всегда это приводит к хорошему результату.Во-вторых, имеющиеся автоматические схемы подбора оптимальных настроекнейрометодов не могут найти правильные решения для более-менее сложных задач.Например, соответствующие процедуры в Statistica Neural Networks не умеютхорошо работать с временными рядами, поскольку не используют приведения ряда кстационарному виду. Так что для пользователей-неспециалистов хорошихширокопрофильных автоматических инструментов нет. А если делать вручную, то дляполучения хороших результатов (я остаюсь пока в рамках примера с временнымирядами) придется осваивать как теорию статистического прогнозирования временныхрядов и соответствующий модуль пакета Statistica (или альтернативнуюстатпрограмму), так и нейросетевые методы и программы. И для иных классов задачграмотное применение нейросетей требует хороших знаний как методовнейроинформатики, так и других методов обработки и анализа данных (статистики,например).
3.2 Области применения нейронных сетей
Наверно, вкаждой предметной области при ближайшем рассмотрении можно найти постановкинейросетевых задач. Вот список отдельных областей, где решение такого родазадач имеет практическое значение уже сейчас.
Экономика ибизнес: предсказаниерынков, автоматический трейдинг, оценка рисков невозврата кредитов,предсказание банкротств, оценка стоимости недвижимости, выявление пере- инедооцененных компаний, автоматическое рейтингование, оптимизация товарных иденежных потоков, автоматическое считывание и распознавание чеков и документов,безопасность транзакций по пластиковым картам.
Медицина: постановка диагноза, обработкамедицинских изображений, мониторинг состояния пациента, факторный анализэффективности лечения, очистка показаний приборов от шумов.
Авионика: обучаемые автопилоты, распознаваниесигналов радаров, адаптивное пилотирование сильно поврежденного самолета,беспилотные летательные аппараты.
Связь: сжатие видеоинформации, быстроекодирование-декодирование, оптимизация сотовых сетей и схем маршрутизациипакетов.
Интернет: ассоциативный поиск информации,электронные секретари и агенты пользователя в Сети, фильтрация информации,блокировка спама, автоматическая рубрикация новостевых лент, адресные реклама имаркетинг для электронной торговли.
Автоматизацияпроизводства:оптимизация режимов производственного процесса, контроль качества продукции,мониторинг и визуализация многомерной диспетчерской информации, предупреждениеаварийных ситуаций, робототехника.
Политологическиеи социологические технологии: предсказание результатов выборов, анализ социологических опросов,предсказание динамики рейтингов, выявление значимых факторов, объективнаякластеризация электората, исследование и визуализация социальной динамикинаселения.
Безопасностьи охранные системы:идентификация личности по отпечаткам пальцев, голосу, подписи, лицу,распознавание голоса, лиц в толпе, распознавание автомобильных номеров, анализаэрокосмических снимков, мониторинг информационных потоков в компьютерной сетии обнаружение вторжений, обнаружение подделок.
Ввод иобработка информации:распознавание и обработка рукописных чеков, платежных, иных финансовых ибухгалтерских документов.
Геологоразведка: анализ сейсмических данных,ассоциативные методики поиска полезных ископаемых, оценка ресурсовместорождений.
Обилиеприведенных выше применений нейронных сетей — не рекламный трюк. Простонейросети — это новый, гибкий и мощный инструмент решения разнообразных задачобработки и анализа данных. [3]
Заключение
/>Развитиенейронных сетей вызвало немало энтузиазма и критики. Некоторые сравнительныеисследования оказались оптимистичными, другие — пессимистичными. Для многихзадач, таких как распознавание образов, пока не создано доминирующих подходов.Нужно пытаться понять возможности, предпосылки и область применения различныхподходов и максимально использовать их дополнительные преимущества длядальнейшего развития интеллектуальных систем.
Множество надежд вотношении нейронных сетей сегодня связывают именно с аппаратными реализациями,но пока время их массового выхода на рынок, видимо, еще не пришло. Они иливыпускаются в составе специализированных устройств, или достаточно дороги, азачастую и то и другое. На их разработку тратится значительное время, закоторое программные реализации на самых последних компьютерах оказываются лишьна порядок менее производительными, что делает использование нейропроцессоровнерентабельным. Но все это только вопрос времени — нейронным сетям предстоитпройти тот же путь, по которому еще совсем недавно развивались компьютеры,увеличивая свои возможности и производительность, захватывая новые сферыприменения по мере возникновения новых задач и развития технической основы дляих разработки.
Сегодня нейронные сетииспользуются для работы в относительно узких областях, и неизвестно, доверят лиим когда-нибудь решение вопросов, которые требуют понимания социальногоконтекста. Между тем нейронные сети уверенно продолжают проникать в нашу жизнь,и примеров тому немало.
Списокиспользованной литературы
1) www.fos.ru./pedagog/9363.html
2) www.nekata.ru/index.php?show_section=155
3) www.neuropro.ru/neu4.shtml