فهرست مطالب توپولوژی شبکه های عصبی

Slides:



Advertisements
Similar presentations
Instructor : Saeed Shiry
Advertisements

الگوریتم ژنتیکی. تعریف  الگوریتم ژنتیکی، رویه ای تکراری است که راه حل های انتخابیش را بصورت رشته ای از ژنها که کروموزوم نامیده می شوند، بازنمایی می کند.
Definition. قانون بیز P(b|a) = P(a|b)P(b)/P(a) P(b|a) = P(a|b)P(b)/P(a) این قانون برای استنتاج آماری استفاده می شود. این قانون برای استنتاج آماری استفاده.
Decision Tree.
فایل پردازی در C File based Programming in C. انواع فایل متنی –سرعت بالا –حجم کمتر –امکان دسترسی تصادفی –حفظ امنیت داده ها دودویی (باینری) –امکان باز.
1 Network Address Translation (NAT). 2 Private Network شبکه خصوصی شبکه ای است که بطور مستقیم به اینترنت متصل نیست در یک شبکه خصوصی آدرس های IP به دلخواه.
روش تحقیق جلسه چهارم دانشگاه صنعتی اصفهان دانشکده کشاورزی
به نام خدا برنامه سازی سمت سرور (php)
پیاده سازی کنترلر PC/104. Contents PC/104 پیاده سازی کنترلر HILتست 1.
Power system stability پایداری سیستم های قدرت )) Presenter:mohammad zeinolabedini ( ارائه دهنده : محمد زین العابدینی ) 1.
[c.
Business Process Modeling
تهیه و تنظیم: فاطمه قاسمی دانشگاه صنعتی شریف – پاییز 86
دانشگاه صنعتی امیرکبیر Instructor : Saeed Shiry & Mitchell Ch. 1
دانشکده جغرافیا گروه سنجش از دور و GIS بهینه سازی مسیریابی مبتنی بر خوشه ‌ بندی با تقاضای تصادفی و ظرفیت محدود …. عنوان پیشنهادی رساله: دانشجو:کیوان باقری.
اعتبار طرح های آزمایشی استاد: دکتر بهرام جوکار راضیه هاشمی.
اندازه گيری الکترونيکی
نظریه رفتار برنامه ريزي شده Theory of Planned Behavior
( Project Operation Management )
تمرین هفتم بسم الله الرحمن الرحیم درس یادگیری ماشین محمدعلی کیوان راد
هیدروگراف(Hydrograph) تهیه : دکتر محمد مهدی احمدی
استفاده از ماشین بردار پشتیبان (SVM) برای تشخیص گوینده
بنام خدا زبان برنامه نویسی C (21814( Lecture 2 Chapter 3
بنام خدا زبان برنامه نویسی C (21814( Lecture 12 Selected Topics
ANOVA: Analysis Of Variance
ANOVA: Analysis Of Variance
دانشگاه صنعتی امیرکبیر Instructor : Saeed Shiry & Mitchell Ch. 2
آزمایشگاه پایگاه داده ها قیود در جداول یک پایگاه داده در SQL Server
چگونه بفهمیم آیا ژورنالی ISI است؟ ایمپکت فاکتور دارد یا خیر؟
مدیریت مالی و اقتصاد مدیریت موضوع : نقطه سر به سر زمستان 93
فصل دوم جبر بول.
بررسی قطبش در لیزر های کاواک عمودی گسیل سطحی(vcsel)
Natural language Understanding James Allen
Ali Karimpour Associate Professor Ferdowsi University of Mashhad
SSO Single Sign-on Systems
تبدیل فوریه (Fourier Transform)
آشنایی با پایگاه داده mysql
قسمت اول ترجمه: زهرا سادات آقامیری
Tree Sort.
کوئیز از جلسه قبل) کارخانه ای در حال خرید قطعه‌ای برای یکی از ماشین‌آلات خود می باشد اگر نرخ بهره 10% برای محاسبات فرض شود، دو مدل از قطعه ماشین در دسترس.
مدارهای منطقی فصل سوم - خصوصیات توابع سويیچی
Instructor : Saeed Shiry & Mitchell Ch. 8
Instructor : Saeed Shiry & Mitchell Ch. 6
سميرا قانوني زهرا معدني
دانشگاه صنعتی امیرکبیر Instructor : Saeed Shiry &
اصطکاک Designed By: Soheil Soorghali.
ترکیب دسته بندی کننده ها
هیدرولیک جریان در کانالهای باز
Sparse Coding مهندس فرامرزپور
دینامیک سیستمهای قدرت مدرس: دکتر مهدی بانژاد
به نام خدا.
1.
تهیه و تنظیم: فاطمه قاسمی دانشگاه صنعتی شریف – پاییز 86
فضای نمونه: مجموعه همه برآمدهای ممکن یک آزمایش را فضای نمونه گویند . واقعه (پیشامد) : هر زیر مجموعه از فضای نمونه را پیشامد گویند . پیشامدها با حروف بزرگ.
Bucket sort اكرم منوچهري زهرا منوچهري
کار برد شبکه های عصبی در پردازش سریهای زمانی
نظریه رفتار برنامه ريزي شده Theory of Planned Behavior
بسم الله الرحمن الرحیم هرس درخت تصمیم Dr.vahidipour Zahra bayat
فصل ششم مدارهای ترتیبی.
مدلسازي تجربي – تخمين پارامتر
مثال : فلوچارتي رسم كنيد كه دو عدد از ورودي دريافت كرده بزرگترين عدد
سخت افزارهای امنیتی Hardware Security تهیه و ارایه : یونس جوان.
توزیع میانگین نمونه سعید موسوی.
به نام یکتای دانا فصل اول: متدها و قواعد.
نسبت جرم فرمولی ”جرم اتمی و فرمول تجربی
برنامه ریزی خطی پیشرفته (21715( Advanced Linear Programming Lecture 7
kbkjlj/m/lkiubljj'pl;
مباني كامپيوتر و برنامه سازي Basics of Computer and Programming
مباني كامپيوتر و برنامه سازي Basics of Computer and Programming
تخمين پارامترها - ادامه
Presentation transcript:

فهرست مطالب توپولوژی شبکه های عصبی شبکه های عصبی پس انتشار ( پرسپترون چند لایه با آموزش الگوریتم Back-Propagation: BP) تابع فعال سازی الگوریتم آموزش انتشار خطا به عقب حل تابع XORبا استفاده از شبکه عصبی چند لایه

توپولوژی شبکه وضعیت نسبی سلولها در شبکه (تعداد و گروه بندی و نوع اتصالات آنها) را توپولوژی شبکه گویند. توپولوژی در واقع سیستم اتصال نرونها به یکدیگر است که توام با روش ریاضی جریان اطلاعات و محاسبه ی وزنها، نوع عملکرد شبکه عصبی را تعیین می کند. FeedForward Topology Recurrent Topology

FeedForward Topology

شبکه عصبی بازگشتی ((Recurrent Neural Network این شبکه ها، شبکه های عصبی با یک حلقه برگشتی (پس خور) یا بیشتر هستند . برگشت ها می توانند محلی یا کلی باشند. خاصیت اصلی آنها این است که رفتار آن ها هم به وسیله خودشان و هم به وسیله ورودی های خارجی به شبکه تعیین می گردد .

شبکه های بازگشتی Recurrent Network with hidden neuron: unit delay operator z-1 is used to model a dynamic system z-1 input hidden output

برگشت محلی

شبکه های عصبی پس انتشار Multi-Layer Perceptron (MLP) (پرسپترون چند لایه با آموزش الگوریتم Back-Propagation: BP)

شبکه های عصبی پس انتشار

الگوريتم‌ يادگيري پس انتشار خطا (Back Propagation) اين الگوريتم جزو الگوريتم‌هاي يادگيري با ناظر است که اساساً از دو مسير اصلي تشكيل شده است: مسير رفت (Forward path): كه در آن بردار ورودي به شبكه عصبي اعمال شده و تاثير آن از طريق لايه‌هاي مياني به لايه خروجي انتشار مي‌يابد. در اين مسير براي هر ورودي، مقداري تحت عنوان خروجي توسط شبكه محاسبه مي‌شود. در اين مسير، پارامترهاي شبكه ثابت مي‌مانند. Hidden layer(j) Output layer (k)

الگوريتم‌ يادگيري پس انتشار خطا (Back Propagation) مسير برگشت (Backward path): پس از توليد خروجي در مرحله رفت، اختلاف خروجي مطلوب (مشاهده شده) و خروجي محاسبه شده توسط شبكه تعيين مي‌شود. سيگنال‌هاي خطا در مسير برگشت از لايه خروجي مجدداً در كل شبكه توزيع مي‌شود و پارامترهاي شبكه مجدداً تنظيم مي‌شوند. تذكر: فرآيند دوگانه فوق به دفعات تكرار شده تا خروجي شبكه به خروجي مطلوب نزديك شود. هنگامي كه خطاي بدست آمده از آستانه مجاز كمتر شود فرآيند آموزش متوقف مي‌شود. Hidden layer(j) Output layer (k)

شبکه های عصبی پس انتشار

نمونه ای شبکه های عصبی پس انتشار

شبکه های عصبی پس انتشار

ویژگی های تابع فعال سازی

تابع فعال سازی

خلاصه الگوریتم آموزش

الگوریتم Back-propagation برای یادگیری وزن های یک شبکه چند لایه، از روش Back Propagation استفاده می شود. در این روش با استفاده از gradient descent سعی می شود تا مربع خطای بین خروجی های شبکه و تابع هدف مینیمم شود. خطا بصورت زیر تعریف میشود: outputs خروجیهای مجموعه واحد های لایه خروجی و tkdو okd مقدار هدف و خروجی متناظر با k امین واحد خروجی و مثال آموزشی d است.

الگوریتم Back-propagation فضای فرضیه مورد جستجو در این روش عبارت است از فضای بزرگی که توسط همه مقادیر ممکن برای وزنها تعریف می شود. روش gradient descent سعی میکند تا با مینیمم کردن خطا به فرضیه مناسبی دست پیدا کند. اما تضمینی برای اینکه این الگوریتم به مینیمم مطلق برسد وجود ندارد.

شرط خاتمه الگوریتم BP معمولا الگوریتم BP پیش از خاتمه هزاران بار، با استفاده همان داده های آموزشی تکرار می گردد. شروط مختلفی را میتوان برای خاتمه الگوریتم به کار برد: توقف بعد از تکرار به دفعات معین. توقف وقتی که خطا از یک مقدار تعیین شده کمتر شود. توقف وقتی که خطا در مثالهای مجموعه تائید از قاعده خاصی پیروی نماید.

منحنی یادگیری

قدرت نمایش توابع گرچه قدرت نمایش توابع به توسط یک شبکه feedforward بسته به عمق و گستردگی شبکه دارد، با این وجود موارد زیر را می توان به صورت قوانین کلی بیان نمود: توابع بولی: هر تابع بولی را میتوان توسط یک شبکه دو لایه پیاده سازی نمود. توابع پیوسته: هر تابع پیوسته محدود را میتوان توسط یک شبکه دو لایه تقریب زد. تئوری مربوطه در مورد شبکه هائی که از تابع سیگموئید در لایه پنهان و لایه خطی در شبکه خروجی استفاده میکنند صادق است. توابع دلخواه: هر تابع دلخواه را میتوان با یک شبکه سه لایه تا حد قابل قبولی تفریب زد.

شبکه های عصبی پرسپترون چند لایه (MLP)

ورودیها و خروجی های شبکه برای تابع XOR شبکه های عصبی پرسپترون چند لایه (MLP) ورودیها و خروجی های شبکه برای تابع XOR

محاسبه وزنهای شبکه برای تابع XOR

محاسبات وزنهای شبکه برای تابع XOR

محاسبات وزنها، خروجی و خطا شبکه برای تابع XOR