1. مدلسازی سیستم های بیولو ژیکی توسط شبکه های عصبی بازگشتی
بسم الله الرحمن الرحیم
مدلسازی سیستم های بیولو ژیکی توسط شبکه های عصبی بازگشتی
استاد درس : آقای دکتر توحید خواه
حسین بهبود

2. مقدمه : آشنایی با شبکه های عصبی زیستی
معرفی شبکه های عصبی مصنوعی(ANNها)
مبانی شبکه های عصبی مصنوعی
ایده ی اصلی شبکه های عصبی مصنوعی
مهم ترین تفاوت حافظه ی انسان و حافظه ی کامپیوتر
شبکه های عصبی در مقابل کامپیوترهای معمولی
معایب شبکه های عصبی مصنوعی
کاربردهای شبکه های عصبی مصنوعی
فرآیند یادگیری شبکه
توپولوژی شبکه

3. آشنایی با شبکه های عصبی زیستی
آشنایی با شبکه های عصبی زیستی
این شبکه ها مجموعه ای بسیار عظیم از پردازشگرهایی موازی به نام نورون اند که به صورت هماهنگ برای حل مسئله عمل می کنند و توسط سیناپس هااطلاعات را منتقل می کنند.در این شبکه ها اگر یک سلول آسیب ببیند بقیه ی سلولها می توانند نبود آنرا جبران کرده و نیز در بازسازی آن سهیم باشند.
این شبکه ها قادر به یادگیری اند.مثلا با اعمال سوزش به سلولهای عصبی لامسه، سلولها یاد می گیرند که به طرف جسم داغ نروند و با این الگوریتم سیستم می آموزد که خطای خود را اصلاح کند.
یادگیری در این سیستم ها به صورت تطبیقی صورت می گیرد، یعنی با استفاده ازمثال ها وزن سیناپس ها به گونه ای تغییر می کند که در صورت دادن ورودی های جدید سیستم پاسخ درستی تولید کند.

4. مبانی ANN ها
 شبکه های عصبی به طور کلی سیستمهای ریاضی یادگیر غیر خطی هستند. طرز کار این شبکه ها از روش کار مغز انسان الگو برداری شده است. در واقع شبکه های عصبی طبق تعریف ماشینی است برای ساخت یک مدل که می توان آن را بوسیله سخت افزار یا نرم افزار شبیه سازی کرد و عملکردی شبیه مغز انسان دارند.
یک شبکه عصبی بر خلاف کامپیوترهای رقومی که نیازمند دستورات کاملا صریح و مشخص است٬ به مدل های ریاضی محض نیاز ندارد بلکه مانند انسان قابلیت یادگیری به وسیله تعدادی مٽال مشخص را دارد. هر شبکه عصبی سه مرحله آموزش٬ اعتبار سنجی و اجرا را پشت سر می گذارد. در واقع شبکه های عصبی را می توان در حل مسایلی که روابط دقیق ریاضی بین ورودی ها و خروجی های آن برقرار نیست بکار برد.
آموزش دیدن شبکه های عصبی در واقع چیزی جز تنظیم وزن های ارتباطی این نرون ها به ازائ دریافت مٽال های مختلف نیست تا خروجی شبکه به سمت خروجی مطلوب همگرا شود.

5. معرفی ANN ها(ادامه...) ANN ها در واقع مثلثی هستند با سه ضلع مفهومی :
سیستم تجزیه و تحلیل داده ها
نورون یا سلول عصبی
قانون کار گروهی نورونها (شبکه)
ANN ها دست کم از دو جهت شبیه مغز انسا ن اند:
مرحله ای موسوم به یاد گیری دارند.
وزن های سیناپسی جهت ذخیره ی دانش به کار می روند.
هوش مصنوعی و مدل سا زی شناختی سعی بر این دارند که بعضی خصوصیا ت شبکه های عصبی را شبیه سازی کنند. گرچه این دو روش ها یشان شبیه هم است، اما هدف هوش مصنوعی از این کار حل مسائل شخصی و هدف مدل سا زی شناختی ،ساخت مدلهای ریا ضی سیستم های نورونی زیستی می باشد .

6. مدل ریاضی یک نورون
همان گونه که ذکر شد نرون کوچکترین واحد یک شبکه عصبی مصنوعی است که عملکرد شبکه های عصبی را تشکیل می دهد.
بدنه هر سلول عصبی از دو بخش تشکیل می شود٬ بخش اول را تابع ترکیب می گویند. وظیفه تابع ترکیب این است که تمام ورودی ها را ترکیب و یک عدد تولید می کند. در بخش دوم سلول تابع انتقال قرار دارد که به آن تابع تحریک نیز می گویند. درواقع همان گونه که یک سلول بیولوژیک باید به سطح آستانه تحریک خاصی برسد تا یک سیگنال تولید کند٬ توابع تحریک نیز تا زمانی که ورودی های ترکیب شده و وزن دار شده به یک حد آستانه ای خاص نرسند مقدار خروجی نظیر بسیار کوچکی تولید میکنند.
وقتی ورودی های ترکیب شده به حد آستانه ای خاصی برسند٬ سلول عصبی تحریک شده و سیگنال خروجی تولید می کند. با مقایسه جواب خروجی شبکه با مقدار مطلوب مورد نظر بردار خطا محاسبه شده و این بردار با استفاده از الگوریتم های مختلف از آخر به سمت ابتدای شبکه پخش شده٬ به طوری که درسیکل بعد خطا کاهش یابد. 

7. ایده ی اصلی عملکرد شبکه های عصبی مصنوعی
هر گره دارای دو وضعيت فعال و غيرفعال است(صفر يا يك) و هر يال نيز دارای يك وزن می‌باشد (شكل 2). يال‌های با وزن مثبت بين دو گره تا گره فعال ديگری را تحريك می‌كنند و يال‌های با وزن منفی بين دو گره، گره فعال ديگری را غير فعال می‌سازند.
   نحوه عملكرد شبكه بدين صورت است كه ابتدا يك گره به تصادف انتخاب می‌شود. اگر يك يا بيشتر از همسايه‌های آن گره فعال بودند جمع وزن‌دار يال‌های منتهی به آن گره‌ها حساب می‌شود. اگر اين جمع مثبت بود گره فعال می‌شود و در غير اين صورت گره مذكور غيرفعال باقی خواهد ماند. سپس مجددا يك گره ديگر به تصادف انتخاب شده و همين عمليات آنقدر تكرار می‌شود تا شبكه به يك حالت پايدار برسد.
تز اصلی هاپفيلد : از هر حالت ابتدايی و با هر وزنی از يال‌ها كه شروع كنيم، شبكه در نهايت به حالت پايدار خواهد رسيد.

8. مهم ترین تفاوت حافظه ی انسان و حافظه ی کامپیوتر
يكی از مهم‌ترين تفاوت‌های حافظه انسان با حافظه كامپيوتر در نوع آدرس دهی اين دو نوع حافظه می‌باشد. در حافظه كامپيوتر اساس كار بر پايه آدرس خانه‌های حافظه يا آدرس اطلاعات بر روی حافظه دائم می‌باشد. به عنوان مثال برای دستيابی به يك تصوير يا متن خاص، بايد آدرس حافظه يا فايل مربوط به آن تصوير يا متن را داشته باشيد. اما با داشتن خود تصوير يا متن نمی‌توانيد به سادگی آدرس حافظه مربوطه را بيابيد (البته به اين معنی كه اين كار با يك قدم قابل انجام نيست، وگرنه می‌توانيد تصوير يا متن مورد نظر را با تمام موارد موجود در حافظه مقايسه كرده و در صورت تطبيق آدرس را بيابيد. ناگفته پيداست كه انجام چنين كاری بسيار زمان بر و پر هزينه می‌باشد).
اما به سازوكار همين عمل در ذهن انسان دقت كنيد. با ديدن يك تصوير ناقص اغلب بلافاصله كامل آنرا به خاطر می‌آوريد يا با ديدن تصوير يك شخص سريعا نام او را می‌گوييد، يا با خواندن يك متن سريعا تمامی مطالب مربوط به آن را به ذهن می‌آوريد. در واقع ذهن انسان يك نوع حافظه آدرس‌دهی شده بر اساس محتواست (Content Addressable Memory). همانگونه كه از اين نام مشخص است در اين نوع حافظه، با دادن محتوای يك خانه حافظه، بلافاصله آدرس آن به عنوان خروجی داده می‌شود.

9. شبکه های عصبی در مقابل کامپیوترهای معمولی
از طرف دیگر ، کامپیوتر های معمولی از یک مسیر مشخص برای حل یک مسئله استفاده می کنند . راه حلی که مسئله از آن طریق حل می شود باید از قبل شناخته شود و به صورت دستورات کوتاه و غیر مبهمی شرح داده شود. این دستورات سپس به زبان های برنامه نویسی سطح بالا برگردانده می شود و بعد از آن به کدهایی که کامپیوتر قادر به درک آنها است تبدیل می شود. به طور کلی این ماشین ها قابل پیش گویی هستند و اگر چیزی به خطا انجام شود به یک اشتباه سخت افزاری یا نرم افزاری بر می گردد. شبکه های عصبی و کامپیوتر های معمولی با هم در حال رقابت نیستند بلکه کامل کننده یکدیگرند . وظایفی وجود دارد که بیشتر مناسب روش های الگو ریتمی هستند نظیر عملیات محاسباتی و وظایفی نیز وجود دارد که بیشتر مناسب شبکه های عصبی هستند . حتی فراتر از این ، مسائلی وجود دارد که نیازمند به سیستمی است که از تر کیب هر دو روش بدست می آید (بطور معمول کامپیوتر های معمولی برای نظارت بر شبکه های عصبی به کار گرفته می شوند ) به این قصد که بیشترین کارایی بدست آید. شبکه های عصبی معجزه نمی کنند اما اگر خردمندانه به کار گرفته شوند نتایج شگفت آوری را خلق میکنند.

10. معایب ANN ها
با وجود برتری هایی که شبکه های عصبی نسبت به سیستم های مرسوم دارند، معایبی نیز دارند که پژوهشگران این رشته تلاش دارند که آن ها را به حداقل برسانند، از جمله:
قواعد یا دستورات مشخصی برای طراحی شبكه جهت یك كاربرد اختیاری وجود ندارد.
در مورد مسایل مدل‌سازی، نمی‌توان صرفاً با استفاده از شبكه عصبی به فیزیك مسأله پی برد. به عبارت دیگر مرتبط ساختن پارامترها یا ساختار شبكه به پارامترهای فرآیند معمولاً غیرممكن است.
دقت نتایج بستگی زیادی به اندازه مجموعه آموزش دارد.
آموزش شبكه ممكن است مشكل یا حتی غیرممكن باشد.
پیش‌بینی عملكرد آینده شبكه ( عمومیت یافتن ) آن به سادگی امكان‌پذیر نیست.

11. کاربردهای شبکه های عصبی مصنوعی
امروزه شبكه‌های عصبی در كاربردهای مختلفی نظير مسائل تشخيص الگو(Pattern Recognition) كه خود شامل مسائلی مانند تشخيص خط(Character Recognition) ، شناسايی گفتار(Speech Recognition)، پردازش تصوير(Image Processing) و مسائلی ازاين دست می‌شود و نيز مسائل دسته‌بندي(Classification) مانند دسته‌بندی (Classification Problems)متون و يا تصاوير،به كار می‌روند.دركنترل يا مدل‌سازی سيستم‌هايی كه ساختار داخلی ناشناخته يا بسيار پيچيده‌ای دارند نيز به صورت روز افزون از شبكه‌های عصبی مصنوعی استفاده می‌شود .

12. انواع آموزش شبکه: فرآیند یادگیری شبکه
وظیفه ی شبکه های عصبی یادگیری است.تقریبا چیزی شبیه به یادگیری کودک خردسال.
انواع آموزش شبکه:

13. یادگیری تحت نظارت یا( supervised ) : PIورودی
ti خروجی مطلوبai خروجی بدست آمده وبا مقایسه این دو خطا محاسبه می شود .و جهت تنظیم پارامتر استفاده می شود .
برای بار دوم این دو به هم نزدیک ترند

14. یادگیری بدون نظارت(یا unsupervised ) (خود سازمانده)یادگیری سطح بالاتری است که کاربرد آن امروزه کمتر است.
ورودی ها تنها سیگنال از طرف محیط به شبکه هستند
یادگیری تقویتی(یا reinforcement (off line on line)

15. توپولوژی شبکه FeedForward topology Recurrent topology
وضعیت نسبی سلولها در شبکه(تعداد و گروه بندی و نوع اتصالات آنها)را توپولوژی شبکه گویند.توپولوژی در واقع سیستم اتصال سخت افزار نورونها به یکدیگر است که توام با نرم افزار مربوطه (یعنی روش ریاضی جریان اطلاعات و محاسبه ی وزنها)نوع عملکرد شبکه ی عصبی را تعیین می کند.
در این توپولوژی یک لایه ی ورودی وجود دارد که اطلاعات را دریافت می کند،تعدادی لایه ی مخفی وجود دارد که اطلاعات را از لایه های قبلی می گیرند و در نهایت یک لایه ی خروجی وجود دارد که نتیجه ی محاسبات به آنجا میرود و جوابها در آن قرار میگیرند.
FeedForward topology
Recurrent topology

16. شبکه عصبی بازگشتی: تعریف : انواع : شبکه های انجمنی : شبکه هاپفیلد :
انواع :
شبکه های انجمنی :
شبکه هاپفیلد :
ماشین بولتزمان :
شبکه های لایه ای :
و...

17. شبکه عصبی بازگشتی:
RNN ها ، شبکه های عصبی با یک حلقه برگشتی(پس خور) یا بیشتر هستند . برگشت ها می توانند محلی یا کلی باشند
خاصیت اصلی RNN ها این است که رفتار آن ها هم به وسیله خودشان و هم به وسیله ورودی های خارجی بئ شبکه تععن می گردد .

18. برگشت کلی:

19. برگشت محلی:
پس خور محلی ساده ترین اتصال بازگشتی می با شد . که اتصال از هر لایه پنهان به خودش صورت می گیرد
در پس خورد کلی اتصالات بین هر زوج از واحد پنهان صورت می گیرد .

20. شبکه های انجمنی :
یکی از مهمترین عملکرد های مغز ما ،تعیین و فراخوانی حافظه است . حافظه ما در یک حالت انجمنی یا به صورت محتوای آدرس پذ یر عمل می کند . به بیان دیگر حافظه به صورت جداگانه موجود نیست و در مجموعه خاصی از نورون ها قرار داده نشده است . تمامی حافظه ها از بعضی جهات ،رشتهای از حافظه ها هستند
به عنوان مثال انسان می تواند اشخاص را به طرق مختلف ، از جمله رنگ مو یا چشم ها ، شکل بینی ، قد ، صدا به خا طر بیاوردو این امکان وجود دارد که با یاد آوری یک یا دو ویژگی فرد ، به تمامی حافظه دست پیدا کنیم .
شبکه عصبی انجمن کننده الگو قادر است تا حافظه یا الگو های خاص را در حالتی مشابه مغز ذخیره نماید

21. شبکه های انجمنی : دو نوع شبکه انجمنی وجود دارد : دیگر انجمنی
خود انجمنی

22. شبکه هاپفیلد :

23. ماشین بولتزمان:

24. شبکه های لایه ای : شبکه المان شبکه جردن
شبکه های لایه ای : شبکه المان شبکه جردن

25. الگوريتم‌هاي محاسباتي وچند مدل شبكه‌ عصبي بازگشتی در فرآيند تصميم‌گيري

26. مدل‌هاي ازشبكه‌هاي جمع‌كننده‌ي زماني تصميم‌گيري تشويقي
فهرست مطالب:
مقدمه
تصميم‌گيري ادراكي
مدل‌هاي ازشبكه‌هاي جمع‌كننده‌ي زماني
تصميم‌گيري تشويقي
رفتار تطبيقي و رفتار بهينه

27. مقدمه
جانوران و انسان اغلب در موقعيت‌هايي قرار مي‌گيرند كه بايد براي آينده‌ي دور يا نزديك تصميم مناسبي بگيرند. اين تصميم‌ها اغلب از برهم‌كنش پيوسته و دو سويه‌ي بين محيط پيرامون و فرآيند‌هاي ديناميك و دروني مغز ناشي مي‌شوند.
براي تصميم‌گيري، مغز بايد اطلاعات داده شده از محيط بيرون را با استفاده از تجربه‌هاي گذشته در وضعيت مشابه، پاسخ‌هاي رفتاري ممكن و نتايج حاصل از پاسخ خاص، آناليز كند.
بعضي از ورودي‌هاي حسي از جهان بيرون و بقيه‌ي ورودي‌ها مثل حافظه‌ي حسي و تجربه‌هاي رفتاري، در درون مغز هستند.

28. 2- تصميم‌گيري ادراكي Perceptual decision making
در تصميم‌گيري ادراكي در مقابل تحريك اعمال شده بازه‌ي زماني مشخصي براي درك شرايط و پاسخ صحيح نياز است كه در اين مدت زمان اطلاعات از منابع مختلف جمع مي‌شوند. بنابراين جمع‌بندي زماني، يك فعاليت مغزي پايه‌اي است كه براي دسته‌ي وسيعي از كار‌هاي تصميم‌گيري ضروري است.

29. 3- افتراق حسي Sensory discrimination tasks
هر كدام از اطلاعات جمع آوري شده، يك دليل مثبت و يا منفي براي تفرق تحريك حسي هستند.
اين دليل‌هاي (evidences) تصميم‌گيري به وسيله‌ي نورون‌هاي frontal و parietal كه نقش انتگرال‌گير را دارند- جمع‌ مي‌شوند.

30. آزمايش نمونه : تعيين جهت نقطه‌هاي متحرك
P(e!hl) احتمال شرطي وقوع e
متوسط تلفات در انتخاب جواب چپ
به طور منطقی در صورتی که جواب چپ باشد
احتمال نسبي

31. شبكه‌هاي انتگرال‌گير زماني: تصميم‌گيري به طور قطعي به توانايي سيستم عصبي به جمع‌آوري دليل‌‌هاي ممكن توسط مغز و از انتگرال زماني ورودي‌ها‌ي دروني و يا بيروني وابسته است كه براي رويداد مورد علاقه، حاوي اطلاعات مفيد هستند. مثال: نورون‌های (occulomotor)

32. مدل‌هاي نورون‌ها و شبكه‌هاي انتگرال‌گير زماني
Continuous attractor networks with finely tuned parameters
Robust temporal integration by a tuned network of bistable neurons

33. Continuous attractor networks with finely tuned parameters
شبكه‌هاي بازگشتي از نورون‌ها با اتصالات سيناپسي متقارن مي‌توانند نقاط ثابت جاذبي را ايجاد كنند.
ri = A[Ii + Bi ]+
si = f (ri ) (i = 1, , N)
شبكه‌ي تمام متصل از N نورون
Ii ورودي بازگشتي است و A و Bi مقادير ثابت
s i ، متغير ورودي سيناپس‌ها است
كه توسط نورون iام به نورون‌هاي ديگر اعمال مي‌شود

34. Continuous attractor networks with finely tuned parameters
نقاط ثابت مربوط به ديناميك‌هاي شبكه توسط تقاطع بين منحني و خط نيمساز بدست مي‌آيد (نقاط پر رنگ).
اگر اندازه‌ي شبكه (N) به اندازه‌ي كافي بزرگ باشد، نقاط ثابت تقريبا به طور پيوسته حول خط پخش مي شوند.
هر جاذب حوزه‌ي جذب خودش را بيان مي‌كند و در اين حوزه پايدار است و اگر N محدود باشد، جاذب‌هاي نقطه ثابت تنظيم‌شده روي خط، حاشيه‌ي پايداري خوبي ندارند.

35. Robust temporal integration by a tuned network of bistabl neurons
هيسترزيس و پايداري ارتباط نزديك دارند. با تغيير اندك در مقدار سطح آتش، نورون از مقدار جاذب (مينيمم انرژي) خارج نمي‌شود.
در شكل a يك سيستم bistable است كه فقط قادر به ذخيره دو متغير است. با اضافه كردن تعداد نورون‌ها چندين نقطه جاذب پايدار ايجاد مي‌شود. طبق اين اشكال سطح آتش به گذشته‌ي سيستم وابسته است.

36. Robust temporal integration by a tuned network of bistabl neurons
مدل نورون‌هاي bistable با هيسترزيس، شكل a‌ سطح فعاليت نورون و شكل b خروجي نورون پس از تابع غير خطي است.
همان‌طور كه در شكل مشاهده مي‌شود، پارامتر‌هاي تنظيمي نورون‌هاي مختلف متفاوت است.

37. حاصل جمع وزن‌دار خروجي نورون‌ها (با پارامتر هاي تنيظمي متفاوت)، به صورت زير است. تقاطع اين منحني و خط نيمساز نقاط جاذب شبكه است كه به خاطر وجود هيسترزيس پايداري بيشتري دارند. يعني اطلاعات جمع آوري شده براي فرآيند تصميم‌گيري، با قابليت اطمينان بيشتري در حافظه‌ي كوتاه مدت باقي‌مي‌مانند.

38. 4- تصميم‌گيري تشويقي Reward-driven decision making
تفاوت تصميم‌گيري تشويقي و تصميم‌گيري بر مبناي درك
انتخاب گزينه‌اي (انتخاب از بين پيشنهاد‌هاي موجود)

39. نمودار‌هاي احتمال تشويق
مانند يافتن علوفه
در حيوانات گياه‌خوار
مانند انتخاب شكار
در حيوانات گوشت‌خوار
:VI زمان متغير، احتمال تشويق شدن با گذشت زمان زياد مي‌شود.
VR: نسبت متغير، انتخاب‌ يك گزينه‌ي خاص با نسبت ثابتي تشويق مي‌شود.

40. رفتار بهينه و رفتار تطبيقي
براي كارهايي با نمودار‌هاي VR همواره شخص ماكزيمم تشويق را انتخاب‌ مي‌كند، بنابراين جواب نهايي بهينه است.
براي ماكزيمم شدن پاداش در VI، شخص به صورت تصادفي انتخاب مي‌كند و در اين موارد رفتار انتخابي شخص از قانون تطابق (matching law) تبعيت مي‌كند.
Matching law

41. مراجع:
Computational algorithms and neuronal network models underlying decision processes Yutaka Sakaia,1, Hiroshi Okamotob,2, Tomoki Fukaic, Neural Networks 19 (2006)
پایان نامه دکترای مهندسی پزشکی – بیوالکتریک- محمد ضایزدچی- دانشکده مهندسی پزشکی دانشگاه امیرکبیر تهران
جزوه درسی دکتر سید علی سید صالحی

42. با تشکر از توجه شما سوال؟
با تشکر از توجه شما سوال؟