Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом icon

Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом






Скачать 146.96 Kb.
НазваниеДослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом
Дата конвертации21.07.2013
Размер146.96 Kb.
ТипДокументы
Вступ

Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком і Піттсом в 1943 р. Пізніше вони досліджували мережеві парадигми для розпізнавання зображень, що піддаються зрушень і поворотів.

Основні завдання, які ставляться перед нейронними мережами, відносяться до задач розпізнавання образів. Вони полягають в тому, щоб класифікувати вхідний образ, тобто віднести його до якого-небудь відомого мережі класу. Спочатку мережі даються еталонні образи - такі образи, приналежність яких до певного класу відома. Потім на вхід мережі подається деякий невідомий образ, і мережа намагається за певним алгоритмом співвіднести його з яким-небудь еталонний чином. Можна сказати, що нейромережі проводять кластеризацію образів. Так як кластерний аналіз застосовується дослідниками ринку цінних паперів, то нейронні мережі можуть бути використані і для прогнозування вартості акцій, що є актуальним завданням, до того ж строго нерозв'язною на даний момент.

Так само нейронний мережі можуть застосовуватися в криміналістиці (аналіз відбитків пальців) або ж для полегшення роботи правоохоронних органів в затриманні злочинців, тому що зараз уже створені такі програми, які розпізнають обличчя.

    Все вищенаведене свідчить про те, що проблеми дослідження можливостей нейронних мереж та їх розвитку є актуальною на даний момент часу.


1 Постановка задачі

Розробити алгоритм, та створити програмний додаток, що моделює роботу мережі Хопфілда. Дослідити її ефективність у залежності від значень внутрішніх параметрів. Побудувати графік і звіти.


2 Біологічний прототип і штучний нейрон

Розвиток штучних нейронних мереж надихається біологією. Тобто, розглядаючи мережеві конфігурації і алгоритми, дослідники застосовують терміни, запозичені з принципів організації мозкової діяльності. Але на цьому аналогія закінчується. Наші знання про роботу мозку настільки обмежені, що мало б знайшлося точно доведених закономірностей для тих, хто побажав би керуватися ними. Тому розробникам мереж доводиться виходити за межі сучасних біологічних знань в пошуках структур, здатних виконувати корисні функції. У багатьох випадках це призводить до необхідності відмови від біологічного правдоподібності, мозок стає просто метафорою, і створюються мережі, неможливі в живій матерії або які вимагають неправдоподібно великих допущень про анатомію і функціонуванні мозку.

Незважаючи на те, що зв'язок з біологією часто несуттєвий, штучні нейронні мережі продовжують порівнювати з мозком. Їх функціонування часто має зовнішню схожість з людським пізнанням, тому важко уникнути цієї аналогії. На жаль, такі порівняння неплідно і створюють невиправдані очікування, що неминуче ведуть до розчарування.

     Нервова система людини, побудована з елементів, званих нейронами, має приголомшуючу складність. Близько нейронів беруть участь в приблизно передавальних зв'язках, що мають довжину метр і більше. Кожен нейрон володіє багатьма властивостями, спільними з іншими органами тіла, але йому притаманні абсолютно унікальні здібності: приймати, обробляти і передавати електрохімічні сигнали по нервових шляхах, які утворюють комунікаційну систему мозку.

На рис. 1 показано будову «нейронної мережі» людини. Дендрити йдуть від тіла нервової клітини до інших нейронів, де вони приймають сигнали в точках з'єднання, які називаються синапсами. Прийняті синапсом вхідні сигнали передаються до тіла нейрона. Тут вони підсумовуються, причому одні входи прагнуть порушити нейрон, інші - перешкодити його збудженню.

Коли сумарне збудження в тілі нейрона перевищує деякий поріг, нейрон збуджується, посилаючи по аксону сигнал іншим нейронам. У цій основної функціональної схеми багато ускладнень і винятків, тим не менше, більшість штучних нейронних мереж моделюють лише ці прості властивості.

http://www.intuit.ru/department/ds/neuronnets/1/15_1sm.png

Рисунок 1 – Типові біологічні


Штучний нейрон імітує в першому наближенні властивості біологічного нейрона. На вхід штучного нейрона надходить деяка безліч сигналів, кожен з яких є виходом іншого нейрона. Кожен вхід множиться на відповідну вагу, аналогічний синаптичної силі, і всі твори підсумовуються, визначаючи рівень активації нейрона.

http://www.intuit.ru/department/ds/neuronnets/1/15_2.png

Рисунок 2 – Штучний нейрон

На рис. 2 представлена ​​модель, що реалізує цю ідею. Безліч вхідних сигналів, позначених надходить на штучний нейрон. Ці вхідні сигнали, в сукупності позначаються вектором , відповідають сигналам, що приходять в синапси біологічного нейрона. Кожен сигнал помножується на відповідний вага і надходить на смарний блок, позначений Кожна вага відповідає "силі" одного біологічного синаптичного зв'язку (безліч ваг в сукупності позначається вектором ). Суммирующий блок, що відповідає тілу біологічного елемента, складає зважені входи алгебраїчно, створюючи вихід, який ми будемо називати NET. У векторних позначеннях це може бути компактно записано наступним чином:

NET = XW.

Сигнал NET далі, як правило, перетворюється активаційною функцією F і дає вихідний нейронний сигнал OUT. Активаційна функція може бути звичайною лінійною функцією:

OUT = F(NET)

где F — порогова функція

OUT =

де T — деяка постійна порогова величина


http://www.intuit.ru/department/ds/neuronnets/1/15_3.gif

Рисунок 3 – Функція F


На рис. 3 блок, позначений F, приймає сигнал NET і видає сигнал OUT. Якщо блок F звужує діапазон зміни величини NET так, що при будь-яких значеннях NET значення OUT належать деякому кінцевому інтервалу, то F називається "стискає" функцією. В якості "стискаючої" функції часто використовується логістична або "сигмоїдальна" (S-образна) функція, показана на рис.3. Ця функція математично виражається як таким чином

За аналогією з електронними системами активаційну функцію можна вважати нелінійної підсилювальної характеристикою штучного нейрона. Коефіцієнт посилення обчислюється як відношення приросту величини OUT до викликав його невеликому збільшенню величини NET. Він виражається нахилом кривої при певному рівні збудження і змінюється від малих значень при великих негативних збудженнях (крива майже горизонтальна) до максимального значення при нульовому збудженні і знову зменшується, коли збудження стає великим позитивним. С. Гросберг (1973) виявив, що подібна нелінійна характеристика вирішує поставлену їм дилему шумового насичення. Яким чином одна і та ж мережа може обробляти як слабкі, так і сильні сигнали? Слабкі сигнали мають потребу у великій мережевому посилення, щоб дати придатний до використання вихідний сигнал. Однак підсилювальні каскади з великими коефіцієнтами посилення можуть призвести до насичення виходу шумами підсилювачів (випадковими флуктуаціями), які присутні в будь-який фізично реалізованої мережі. Сильні вхідні сигнали, в свою чергу, також будуть приводити до насичення підсилювальних каскадів, виключаючи можливість корисного використання виходу. Центральна область логістичної функції, має великий коефіцієнт посилення, вирішує проблему обробки слабких сигналів, у той час як області з падаючим посиленням на позитивному і негативному кінцях підходять для великих збуджень. Таким чином, нейрон функціонує з великим посиленням в широкому діапазоні рівня вхідного сигналу



Інший широко використовуваною активаційною функцією є гіперболічний тангенс. За формою вона схожа з логістичною функцією і часто використовується біологами в якості математичної моделі активації нервової клітини. В якості активаційної функції штучної нейронної мережі вона записується таким чином:



http://www.intuit.ru/department/ds/neuronnets/1/15_4.png

Рисунок 4 – Функція F


Подібно логістичної функції гіперболічний тангенс є S-образної функцією, але він симетричний відносно початку координат, і в точці NET = 0 значення вихідного сигналу OUT дорівнює нулю, це показано на рис. 4. На відміну від логістичної функції, гіперболічний тангенс приймає значення різних знаків, і це його властивість застосовується для цілого ряду мереж.

Розглянута проста модель штучного нейрона ігнорує багато властивості свого біологічного двійника. Наприклад, вона не бере до уваги затримки в часі, які впливають на динаміку системи. Вхідні сигнали відразу ж породжують вихідний сигнал. І, що більш важливо, вона не враховує впливів функції частотної модуляції або синхронізуючий функції біологічного нейрона, які ряд дослідників вважають вирішальними в нервовій діяльності природного мозку.

Незважаючи на ці обмеження, мережі, побудовані з таких нейронів, виявляють властивості, сильно нагадують біологічну систему. Тільки час і дослідження зможуть відповісти на запитання, чи є подібні збіги випадковими або ж вони є наслідок того, що в моделі вірно схоплені найважливіші риси біологічного нейрона.


3 Мережа Хопфілда

Нейронна мережа Хопфілда - повнозв'язна нейронна мережа з симетричною матрицею зв'язків. У процесі роботи динаміка таких мереж сходиться (конвергіруют) до одного з положень рівноваги. Ці положення рівноваги є локальними мінімумами функціоналу, званого енергією мережі (у простому випадку - локальними мінімумами негативно певної квадратичної форми на n-мірному кубі). Така мережа може бути використана як автоасоціативна пам'ять, як фільтр, а також для вирішення деяких задач оптимізації. На відміну від багатьох нейронних мереж, що працюють до отримання відповіді через певну кількість тактів, мережі Хопфілда працюють до досягнення рівноваги, коли наступний стан мережі в точності дорівнює попередньому: початковий стан є вхідним образом, а при рівновазі отримують вихідний образ.

3.1 Розпізнавання цифр за допомогою мереж Хопфілда

Нейронні мережі можуть мати зворотні зв'язки (тобто зв'язки від виходів деяких нейронів до входів інших нейронів), а можуть не мати їх. Мережі Хопфілда - це нейронні мережі із зворотними зв'язками, причому вихід кожного нейрона пов'язується зі входами всіх інших нейронів. Так як мережі із зворотними зв'язками мають шляхи, що передають сигнали від виходів до входів, то відгук таких мереж є динамічним, тобто після докладання нового входу обчислюється вихід і, передаючись по мережі зворотного зв'язку, модифікує вхід. Потім вихід повторно обчислюється, і процес повторюється знову і знову. Для стійкої мережі послідовні ітерації приводять до все менших змін виходу, поки зрештою вихід не стає постійним. Для багатьох мереж процес ніколи не закінчується, такі мережі називають нестійкими. Нестійкі мережі мають цікаві властивості і вивчалися як приклад хаотичних систем. Ніхто не міг передбачити, які з мереж будуть стійкими, а які будуть знаходитися в постійній зміні. Більш того, проблема представлялася настільки важкою, що багато дослідників були настроєні песимістично відносно можливості її рішення. На щастя, була отримана теорема, що описала підмножину мереж із зворотними зв'язками, виходи яких зрештою досягають стійкого стану. Це чудове досягнення відкрило дорогу подальшим дослідженням, і сьогодні багато вчених займаються дослідженням складної поведінки і можливостей цих систем. Дж. Хопфилд зробив важливий внесок як в теорію, так і в застосування систем із зворотними зв'язками. Тому деякі з конфігурацій відомі як мережі Хопфілда. Зупинимося на важливому окремому випадку нейромережевої архітектури, для якої властивості стійкості детально досліджені. На рис. 5. показана мережа із зворотними зв'язками, що складається з двох шарів. Спосіб представлення дещо відрізняється від використаного в роботі Хопфілда і інших подібних, але еквівалентний їм з функціональної точки зору. Нульовий шар не виконує обчислювальної функції, а лише розподіляє виходи мережі зворотно на входи. Кожен нейрон першого шару обчислює зважену суму своїх входів, даючи сигнал NET, який потім за допомогою нелінійної функції F перетворюється в сигнал OUT. Ці операції схожі з нейронами інших мереж.

http://www.intuit.ru/department/ds/neuronnets/8/22_1.png

Рисунок 5 – Мережа Хопфілда


Стан мережі - це просто множина поточних значень сигналів OUT від всіх нейронів. У первісній мережі Хопфілда стан кожного нейрона змінювався в дискретні випадкові моменти часу, в подальшому - стану нейронів могли змінюватись одночасно. Так як виходом бінарного нейрона може бути тільки нуль або одиниця (проміжних рівнів немає), то поточний стан мережі є двійковим числом, кожний біт якого є сигналом OUT деякого нейрона. Завдання, які вирішуються даною мережею, як правило, формулюються наступним чином. Відомий деякий набір двійкових сигналів (зображень, оцифровок звуку, інших даних, що описують якісь об'єкти або характеристики процесів), які вважаються зразковими. Мережа повинна вміти з довільного неідеального сигналу, поданого на її вхід, виділити ("згадати" за частковою інформацією) відповідний зразок (якщо такий є) або "дати висновок" про те, що вхідні дані не відповідають жодному зі зразків. У загальному випадку, будь-який сигнал може бути описаний вектором - Число нейронів у мережі і розмірність вхідних і вихідних векторів. Кожен елемент x_i дорівнює або 1, або 0. Позначимо вектор, що описує k-й зразок, через , а його компоненти, відповідно, - , k = 0…m – 1, m - число зразків. Коли мережа распознaет (або "згадає") який-небудь зразок на основі пред'явлених їй даних, її виходи будуть містити саме його, тобто Y = , где Y - вектор вихідних значень мережі: . У противному випадку, вихідний вектор не співпаде з одним зразковим.

Якщо, наприклад, сигнали являють собою якісь зображення, то, відобразивши в графічному вигляді дані з виходу мережі, можна буде побачити картинку, повністю збігається з однієї зі зразкових (у випадку успіху) або ж "вільну імпровізацію" мережі (у випадку невдачі). На стадії ініціалізації мережі вагові коефіцієнти синапсів встановлюються таким чином:



Тут i та j - індекси, відповідно, предсинаптичного і постсинаптичного нейронів; , - i-й та j-й елементи вектора k-го зразка.

Алгоритм функціонування мережі наступний (p-номер ітерації):

  1. На входи мережі подається невідомий сигнал. Фактично його ввід здійснюється безпосередньою установкою значень аксонів:



тому позначення на схемі мережі вхідних синапсів у явному вигляді носить чисто умовний характер. Нуль в скобці праворуч від означає нульову ітерацію в циклі роботи мережі.

  1. Розраховується новий стан нейронів:



і нові значення аксонів



де f - активаційна функція у вигляді стрибка.

  1. Перевірка, чи змінилися вихідні значення аксонів за останню ітерацію. Якщо так - перехід до пункту 2, інакше (якщо виходи стабілізувались) - кінець процедури. При цьому вихідний вектор являє собою зразок, найкращим чином поєднується з вхідними даними.


3.2 Асоціативна мережа Хопфілда

Асоціативна пам'ять — система, здатна відновлювати збережені в ній стани за неповною або зашумленою інформацією. Асоціативна пам'ять відображає реальні образи в стійкі точки динамічної системи (рис. 6.).



Рисунок  6 - Схема роботи асоціативної пам’яті


Якщо на вхід системи подати неповний або зашумлений образ, то завдяки динаміці НМ траєкторія системи зійдеться до стійкого стану (атрактору) — мережа "згадає" образ.

Стан мережі визначається вектором:



Постсинаптичний потенціал обчислюється за формулою:

.

Модифікація стану мережі:



Якщо то можна вибрати довільне значення , однак краще залишити нейрон у попередньому стані. Тоді діаграма станів буде симетрична.





3.3. Фази функціонування дискретної мережі Хопфілда

Фаза запам'ятовування. Нехай необхідно запам'ятати -мірних бінарних векторів

,

де  — прототипи, що запам'ятовуються.


За правилом навчання Хебба:



де  — -ий компонент вектора . У векторній формі



Запам'ятовування виконується за один прохід. Нейрони не мають зворотних зв'язків із самими собою, тому для кожного :

, і

При такому навчанні виконуються наступні умови.

1. Вихід кожного нейрона пов'язаний із входами всіх інших нейронів.

2. Нейрон не має зв'язків із самим собою.

3. Матриця вагових коефіцієнтів симетрична: .

Фаза відновлення. У мережу подається пробний вектор  —з числа незаписаних у мережі (неповний або зашумлений еталон):

.

Елементи вектора x оновлюється асинхронно, по одному в кожен момент часу:





де  — матриця синаптичних вагових коефіцієнтів ,  — вектор відхилення.

Процес припиняється, якщо

,

де  — вихід мережі.

Таким чином, алгоритм функціонування мережі Хопфілда має наступний вигляд:

1. Навчання. Нехай -мірні прототипи. За правилом Хебба

.

Після обчислення синаптичні вагові коефіцієнти фіксуються.

2. Ініціалізація. Стан нейронів мережі в початковий момент часу при подачі нового (зашумленого) образу:



3. Ітераційний процес збіжності мережі до стійкого стану. Вектор обробляється за формулою:

.

4. Завершення роботи алгоритму. Якщо

 –– вихід мережі.

Пункт 1 описує фазу запам'ятовування, пункти 2–3 — фазу відновлення.

Запам'ятовуюча здатність мережі:



де  — число нейронів,  — число образів.


4. Створення програмного додатку

У первісній реалізації мережі Хопфілда, що розпізнає цифри, вирішено було поставити в якості еталону цифри від 1 до 9. Вони представлялися векторами розмірності 81, що містять 1 або -1. Ця розмірність векторів була вибрана не випадково, так як мережа Хопфілда здатна розпізнати приблизно 0,15 * N образів, тут N - число нейронів в мережі і відповідно розмірність вектора образу. Алгоритм навчання був модифікований, якщо мережа в кінцевому стані має на виході вектор, який не є точною копією одного з еталонних, але дуже схожий на деякий еталонний образ, то програма впізнає його. Тобто на виході мережа може мати вектор, який не в точності є одним з еталонних, а в якомусь наближенні. Кінцева реалізація розпізнає тільки цифри від 1 до 5, щоб залишити найменш схожі один на одного еталонні образи. На рис.7. приведено приклад вдалої спроби розпізнавання.

d:\курсовая\screenshot 145.jpg

Рисунок 7 – Розпізнавання цифр мережею Хопфілда


Також в алгоритмі є найменш вдалі спроби розпізнавання образів, приведені на рис.8.

d:\курсовая\tfn6tkck.png

Рисунок 8 – Невдалий приклад роботи мережі Хопфілда


Висновки

В даний час багато вчених займаються дослідженням нейронних мереж, стійкості тих чи інших конфігурацій, проте далеко не всі задачі розпізнавання образів можуть бути вирішені нейронними мережами. А якщо і можуть бути вирішені, то з якими обмеженнями, що підтверджують результати роботи написаної мною програми розпізнавання цифр. Незважаючи на те, що штучний нейрон є моделлю біологічного нейрона, він лише апроксимує його властивості, а не в точності їх повторює. Тому машина як і раніше не в змозі навчатися, як людина. Однак біологи все більше дізнаються про функціонування людського мозку (наприклад, вже винайдений апарат, який здатний розшифровувати сигнали нервової системи, одержувані візуально, тобто в процесі розглядування людиною небудь картинки на екрані, і була написана програма, «вгадувати» на яку з декількох букв на екрані дивиться людина), тому є надія на просування в області моделювання людського мислення.


Ваша оценка этого документа будет первой.
Ваша оценка:

Похожие:

Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconАрхітектура оптичних мереж доступу
127.2kb.   Розвиток мережі Internet, у тому числі поява нових послуг зв'язку, сприяє росту передаваних по мережі потоків даних І примушує операторів...
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconEthernet це найпоширеніший сьогодні стандарт локальних мереж. Загальна кількість мереж, працюючих по протоколу Ethernet нині, оцінюється в декілька мільйонів
168.6kb.   Коли говорять Ethernet, то під цим зазвичай розуміють будь-який з варіантів цієї технології, в яку входять сьогодні також Fast Ethernet,...
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconНаш край на початку ХХ століття (Попільня) Удовенко Т.О. - Наш край на початку ХХ століття та в роки Першої світової війни
85.6kb.   Наш край на початку ХХ століття (Попільня) Удовенко О.М.
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconКурсового проекту «Настільна гра «Шашки»». Програма розроблена згідно технічного завдання на курсове проектування, що затверджено на засіданні кафедри комп’ютерних систем І мереж Чернівецького національного університету імені Юрія Федьковича, протокол №2 від 8 жовтня 2013 року
74.2kb.  
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом icon"Мої канікули" - Було то давно…Років зо 5, чи то з 10 назад… Коротше кажучи, було мені років так є у мене сестриця старша на ймення Олена. Їй тоді було мабуть зо 15. Любила
21.8kb.   Розповідається про веселе проводження часу влітку трьох сестер
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconЖінка року 2015 - Андрієво- іванівська сільська рада започаткувала святкову церемонію Жінка року-2015. Працівниками а-іванівського будинку культури було зроблено соціологічне оп
12.8kb.   Овчаренко К. Б –працівниця будинку одиноких та пристарілих громадян, Самойленко І. І – помічник вихователя дитячого садку, Таранюк...
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconДослідження процесу прийняття рішення про покупку п поведінці споживічів - ”Дослідження процесу прийняття рішення про покупку в поведінці споживачів ”
369kb.   Вступ………………………………………………………………………..3 1.Поведінка покупців на споживчому ринку……………………………4 1.1Дослідження потреб і типологія споживачів…………………..9...
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconМетодика підготовки та проведення дискусії на уроках світової літератури Методика підготовки та проведення підсумкового етапу вивчення художнього твору
24.9kb.   Творча діяльність учнів середніх класів як засіб підвищення ефективності вивчення світової літератури
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом iconРозділ Теоретичне дослідження методів виховання
326.8kb.   Розділ Практичне дослідження екологічного та громадянського виховання в Ружинській гімназії
Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком І Піттсом icon1 Опис предметної області
44.9kb.  
Разместите кнопку на своём сайте:
Рефераты


База данных защищена авторским правом ©CoolReferat 2000-2012
обратиться к администрации | правообладателям | пользователям
Основная база рефератов
Рефераты