بحث في موضوع : Neural Network

Slides:



Advertisements
Similar presentations
NEURAL NETWORKS Biological analogy
Advertisements

Memristor in Learning Neural Networks
A Brief Overview of Neural Networks By Rohit Dua, Samuel A. Mulder, Steve E. Watkins, and Donald C. Wunsch.
NEURAL NETWORKS Backpropagation Algorithm
PROTEIN SECONDARY STRUCTURE PREDICTION WITH NEURAL NETWORKS.
1 Part I Artificial Neural Networks Sofia Nikitaki.
S. Mandayam/ ANN/ECE Dept./Rowan University Artificial Neural Networks ECE /ECE Fall 2008 Shreekanth Mandayam ECE Department Rowan University.
Slide 1 EE3J2 Data Mining EE3J2 Data Mining Lecture 15: Introduction to Artificial Neural Networks Martin Russell.
Neural Networks Dr. Peter Phillips. Neural Networks What are Neural Networks Where can neural networks be used Examples Recognition systems (Voice, Signature,
Artificial Neural Networks Artificial Neural Networks are (among other things) another technique for supervised learning k-Nearest Neighbor Decision Tree.
S. Mandayam/ ANN/ECE Dept./Rowan University Artificial Neural Networks / Fall 2004 Shreekanth Mandayam ECE Department Rowan University.
S. Mandayam/ ANN/ECE Dept./Rowan University Artificial Neural Networks ECE /ECE Fall 2010 Shreekanth Mandayam ECE Department Rowan University.
Power Systems Application of Artificial Neural Networks. (ANN)  Introduction  Brief history.  Structure  How they work  Sample Simulations. (EasyNN)
Supervised Hebbian Learning. Hebb’s Postulate “When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing.
S. Mandayam/ ANN/ECE Dept./Rowan University Artificial Neural Networks / Spring 2002 Shreekanth Mandayam Robi Polikar ECE Department.
S. Mandayam/ ANN/ECE Dept./Rowan University Artificial Neural Networks ECE /ECE Fall 2006 Shreekanth Mandayam ECE Department Rowan University.
Neural Networks. Background - Neural Networks can be : Biological - Biological models Artificial - Artificial models - Desire to produce artificial systems.
Neuro-fuzzy Systems Xinbo Gao School of Electronic Engineering Xidian University 2004,10.
Neural Networks.
1 st Neural Network: AND function Threshold(Y) = 2 X1 Y X Y.
Presentation on Neural Networks.. Basics Of Neural Networks Neural networks refers to a connectionist model that simulates the biophysical information.
Multiple-Layer Networks and Backpropagation Algorithms
Artificial Neural Networks
Artificial Neural Nets and AI Connectionism Sub symbolic reasoning.
Explorations in Neural Networks Tianhui Cai Period 3.
Appendix B: An Example of Back-propagation algorithm
Lecture 3 Introduction to Neural Networks and Fuzzy Logic President UniversityErwin SitompulNNFL 3/1 Dr.-Ing. Erwin Sitompul President University
LINEAR CLASSIFICATION. Biological inspirations  Some numbers…  The human brain contains about 10 billion nerve cells ( neurons )  Each neuron is connected.
Artificial Neural Networks An Introduction. What is a Neural Network? A human Brain A porpoise brain The brain in a living creature A computer program.
Artificial Intelligence & Neural Network
Neural Networks and Backpropagation Sebastian Thrun , Fall 2000.
SUPERVISED LEARNING NETWORK
Ten MC Questions taken from the Text, slides and described in class presentation. COSC 4426 AJ Boulay Julia Johnson.
NEURAL NETWORKS LECTURE 1 dr Zoran Ševarac FON, 2015.
Neural Networks 2nd Edition Simon Haykin
Perceptrons Michael J. Watts
Bab 5 Classification: Alternative Techniques Part 4 Artificial Neural Networks Based Classifer.
語音訊號處理之初步實驗 NTU Speech Lab 指導教授: 李琳山 助教: 熊信寬
1 Neural Networks MUMT 611 Philippe Zaborowski April 2005.
Multiple-Layer Networks and Backpropagation Algorithms
Regression.
Regression.
Neural Networks.
The Gradient Descent Algorithm
Example, BP learning function XOR
Neural Networks Toolbox
CSE 473 Introduction to Artificial Intelligence Neural Networks
Derivation of a Learning Rule for Perceptrons
FUNDAMENTAL CONCEPT OF ARTIFICIAL NETWORKS
Dr. Unnikrishnan P.C. Professor, EEE
CSE P573 Applications of Artificial Intelligence Neural Networks
CSE 473 Introduction to Artificial Intelligence Neural Networks
Prof. Carolina Ruiz Department of Computer Science
Biological and Artificial Neuron
Biological and Artificial Neuron
Artificial Neural Network & Backpropagation Algorithm
XOR problem Input 2 Input 1
Biological and Artificial Neuron
CSE 573 Introduction to Artificial Intelligence Neural Networks
network of simple neuron-like computing elements
Neural Networks Geoff Hulten.
Artificial Neural Network
Prepared by: Mahmoud Rafeek Al-Farra
Artificial Neural Networks
Example, BP learning function XOR
ARTIFICIAL NEURAL networks.
CS621: Artificial Intelligence Lecture 22-23: Sigmoid neuron, Backpropagation (Lecture 20 and 21 taken by Anup on Graphical Models) Pushpak Bhattacharyya.
Artificial Neural Networks ECE /ECE Fall 2006
Artificial Neural Networks / Spring 2002
Prof. Carolina Ruiz Department of Computer Science
Presentation transcript:

بحث في موضوع : Neural Network جامعة العلوم والتكنولوجيا كلية الهندسة السنة الدراسية :2005/2006 مادة الذكاء الاصطناعي بحث في موضوع : Neural Network

صور الجهاز العصبي الخلية، أنواع الخلايا، السائل النخاعي، أغشية المخ: 1- جسم الخلية العصبية ومحورها 2- خلية عصبية

3- حركة الإشارة العصبية من الشجيرات إلى محور الخلية 4- أنواع الخلايا العصبية

5- الخلايا المدعمة

شبكات عصبونية أكثر تعقيدا تستخدم في أساليب و معالجات الحوسبة المتوازية.

الشبكة العصبونية شبكة مترابطة من عقد تعمل بأسلوب مشابه لعصبونات الدماغ البشري .

مقدمة في الشبكات العصبية الاصطناعية مكونات الشبكة العصبونية الاصطناعية الوصف الرياضي للعصبون توابع التحويل البنية المعمارية للشبكات العصبونية الشبكة ذات الطبقات المتعددة الأمامية الشبكات ذات التغذية الخلفية طرق تعليم الشبكة العصبونية خوارزميات تعليم الشبكة إنشاء الشبكة Network Creation

الخصائص الأساسية للشبكات العصبية 1- set of simple processing 2- a pattern of connectivity 3-a rule for propagating signal through the network 4-a rule for combining input signal 5- a rule for calculating an output signal 6- learning rule to adapt the weights

Artificial Neural Networks هي تقنيات حسابية مصممة لمحاكاة الطريقة التي يؤدي بها الدماغ البشري مهمة معينة، وذلك عن طريق معالجة ضخمة موزعة على التوازي، ومكونة من وحدات معالجة بسيطة، هذه الوحدات ما هي إلا عناصر حسابية تسمى عصبونات أو عقد (Nodes , Neurons ) والتي لها خاصية عصبية , من حيث أنها تقوم بتخزين المعرفة العملية والمعلومات التجريبية لتجعلها متاحة للمستخدم وذلك عن طريق ضبط الأوزان بدالة.

مكونات الشبكة العصبونية الاصطناعية كما رأينا أن الشبكات العصبونية تتكون من مجموعة من وحدات المعالجة ويسمى أحدها عصبون ، والشكل (1) يبين نموذجا لا خطيا وبسيطا للعصبون الاصطناعي  : كما أن للإنسان وحدات إدخال توصله بالعالم الخارجي وهي حواسه الخمس، فكذلك الشبكات العصبية تحتاج لوحدات إدخال . ووحدات معالجة يتم فيها عمليات حسابية تضبط بها الأوزان و نحصل من خلالها على ردة الفعل المناسبة لكل مدخل من المدخلات للشبكة . فوحدات الإدخال تكوّن طبقة تسمى طبقة المدخلات، و وحدات المعالجة تكوّن طبقة المعالجة وهي التي تخرج نواتج الشبكة. وبين كل طبقة من هذه الطبقات هناك طبقة من الوصلات البينية التي تربط كل طبقة بالطبقة التي تليها والتي يتم فيها ضبط الأوزان الخاصة بكل وصلة بينية، وتحتوي الشبكة على طبقة واحدة فقط من وحدات الإدخال(الاولى) , ولكنها قد تحتوي على أكثر من طبقة من طبقات المعالجة(العصبونات الداخلية).

نلاحظ من الشكل (2) أن العصبون يتألف من: 1 - إشارات الدخل ( Input ) : a1,a2,a2,….an 2- قوى الأوزان (Weights ) : Wj1, Wj2, Wj3,……Wjn حيث يعبر الوزن عن شدة الترابط بين عنصر قبله وعنصر بعده . 3 - عنصر المعالجة J  : (Processing Element ) وهذا العنصر يقسم إلى قسمين : أ - الجامع (Adder ) لجمع الإشارات في الدخل الموزون . ب - تابع النقل أو تابع التفعيل (Activation Function ) : وهذا التابع يحد من خرج العصبون لذا يسمى بتابع التخميد Squashing حيث يجعل الخرج ضمن المجال [0,1] أو ضمن المجال[-1,1] لصنع ترابط بين مخرجات الشبكة. 4 - الخرج (Output) (Xj ) .

الوصف الرياضي للعصبون : الوصف الرياضي للعصبون : حيث : X1,X2------Xm  : اشارات الدخل . Wk1, W k2------Wkm : الأوزان المشبكة للنيرون k. UK  : الخرج الخطي للجامع . bk: الانحياز . تابع التفعيل .

ملاحظة : يمكن اعتبار الانحياز bk على أنه أحد الأوزان W0 ودخلهX0 =1 ويصبح نموذج العصبون كالتالي:

توابع التحويل الهدف الرئيسي توحيد الوحدات بين الشبكات المختلفة كونه يعطي درجة انتماء يحد من خرج العصبون . ويجب أن يمتلك الخواص التالية: أن يكون تابعا مستمرا . * أن يكون قابلا للاشتقاق ومشتقه سهل الحساب . أن يكون انسيابيا غير متناقص. وهناك ثلاثة أنواع لتوابع التفعيل:

1- تابع العتبة أو تابع الخطوة يحد هذا التابع من خرج العصبون بحيث يصبح الخرج مساويا الواحد إذا كان الدخل أكبر أو مساويا الصفر ويصبح الخرج مساويا الصفر إذا كان الدخل أصغر من الصفر. يستخدم في اتخاذ القراراات بحسب النتيجة (تغليبي)

2- التابع الخطوي الخطي أو تابع التطابق يستخدم هذا التابع في العصبونات المستخدمة في المرشحات التلاؤمية الخطية .

3- التابع الأسيّ Sigmoid يأخذ هذا التابع قيم الدخل المحصورة بين ∞ ــ و ∞ + ويجعل الخرج محصورا بين 0 و 1 ... وهو أكثر التوابع استخداما بسبب سهولة اشتقاقه وكثرة أنواعه .

البنية المعمارية للشبكات العصبونية معمارية الشبكة العصبية الاصطناعية, هي الطريقة التي ترتبط بها العصبونات مع بعضها البعض لتشكيل الشبكة , وهذا يرتبط بخوارزمية التدريب . 1-4-3الشبكة ذات الطبقة الواحدة الأمامية : في الشكل (8) ترتبط كل مركبة من مركبات شعاع الدخل P بكل عصبون من خلال مصفوفة الوزن W .

مركبات شعاع الدخل تدخل إلى الشبكة من خلال مصفوفة الأوزان التالية: مؤشرات السطر لعناصر هذه المصفوفة تدل على العصبون الهدف أما مؤشرات العمود على مركبات الدخل المصدر . أي أن المؤشرات في العنصر W1,2 تدل على أن هذا الوزن يتعلق بالعصبون الأول , وأن مركبة الدخل لهذا العصبون هي المركبة الثانية .

الشبكة ذات الطبقات المتعددة الأمامية : الشبكة ذات الطبقات المتعددة الأمامية :

تعتبر كل طبقة في هذه الشبكة كأنها شبكة ذات طبقة وحيدة تعتبر كل طبقة في هذه الشبكة كأنها شبكة ذات طبقة وحيدة .الطبقة التي تعطي الخرج تسمى طبقة الخرج , أما الدخل فلا يعتبر طبقة , وبقية الطبقات تسمى الطبقات الخفية . يمكن أن نرسم الشبكة الثلاثية المبينة في الشكل السابق باستخدام الرسم المختصر التالي :

الشبكات ذات التغذية الخلفية هذا النوع يحوي على الأقل حلقة تغذية خلفية واحدة , ويمكن أن يتألف من طبقة واحدة من النيرونات وكل عصبون يعود خرجه إلى دخل كل العصبونات المتبقية .وقد يكون هناك تغذية خلفية ذاتية أي أن خرج العصبون يعود إلى دخله ولكن هذه الشبكات قليلة الاستخدام في المجال الحيوي لأننا نستطيع تحقيق الأهداف الحيوية من خلال شبكات أمامية .

طرق تعليم الشبكة العصبونية تتعلم الشبكة عن طريق إعطائها مجموعة من الأمثلة، التي يجب أن تكون مختارة بعناية، لأن ذلك سيساهم في سرعة تعلم الشبكة. ومجموعة الأمثلة هذه تسمى فئة التدريب. وتنقسم طرق تعليم شبكة عصبية إلى قسمين حسب فئة التدريب التي تعرض على الشبكة وهما:

تحقيق الشبكة العصبية 1- استخدام معالج مخصص لكل عصبون 2- استخدام معالج وحيد ومحاكاة العصبونات بواسطة جداول البحث بواسطة ألواح متلائمة مع الحاسب 3- تحقيق الشبكة العصبية كليا بالمكونات اللينة وأهم برنامج brain maker

برمجة حواسب الشبكة العصبية لا تبرمج الحواسب الشبكة العصبية بنفس طريقة الحواسب التقليدية فبدلا من برمجتها بمجموعة من القواعد الثابتة بإن هذة الحواسب يتم تعليمها على السلوك المطلوب وقد تكون معالجة التعلم إشرافية او غير إشرافية

الخواص الرئيسية للشبكة العصبية 1- لا تحتاج الى برمجة ويمكن تعليمها 2- يمكن تحسين ت\وير استجابتها عن طريق التعلم 3- لا ينبغي على معطيات الدخل ان تكون دقيقة تماما لأن الشبكة تعمل على مجموع المداخل 4- لا تخزن المعلومات في مواقع ذاكرية محددة كما هو الحال في الحواسيب الرقمية العادية

التعليم المراقب (بواسطة معلم) Supervised Learning of ANN’s التعليم غير المراقب ( بدون معلم ) Unsupervised learning

خوارزميات تعليم الشبكة 1- مرحلة الانتشار الأمامي Feed forward Back Propagation 2- مرحلة الانتشار العكسي Back Propagation

مرحلة الانتشار العكسي Back Propagation وهي مرحلة ضبط أوزان الشبكة . إن خوارزمية الانتشار العكسي القياسية هي خوارزمية الانحدار التدريجي gradient descent algorithm هناك طريقتان لحساب الانحدار التدريجي : أولاً -النظام التزايدي Incremental mode ثانياً - نظام الدفعة الواحدة Batch mode

إنشاء الشبكة Network Creation إن أول خطوة في تدريب الشبكة هو إنشاء الشبكة وذلك باستخدام عدة توابع . وبما أننا نريد إنشاء شبكة أمامية فسوف نستعمل التابع newff الذي يحتاج إلى أربعة محددات دخل وهي : 1- مصفوفة تحتوي على القيم الصغرى والعظمى لكل عنصر من عناصر شعاع الدخل ويمكن أن يستعاض عنها بـminmax(p) الذي يقوم بتحديد أصغر وأكبر قيمة في مجال الدخل. 2- مصفوفة تحتوي على عدد العصبونات في كل طبقة من طبقات الشبكة . 3- مصفوفة تحتوي على أسماء توابع التفعيل لكل طبقة . 4- اسم تابع التدريب المستخدم .

مثال : (network1=newff( [0 5],[10,6,2],{tansig,logsig,purlin}, traingd إن هذه التعليمة تقوم بإنشاء شبكة أمامية ذات الإنتشار العكسي ، حيث يقع مجال الدخل بين القيمتين 0 و 5 ، وتتألف هذه الشبكة من طبقتين خفيتين وطبقة خرج ، الطبقة الخفية الأولى تحوي عشرة عصبونات بينما الطبقة الخفية الثانية تحوي ستة عصبونات ، أما طبقة الخرج فتتألف من عصبوني خرج , وتوابع التفعيل لهذه الطبقات هي tansig للطبقة الخفية الأولى ، و logsig للثانية ، و purlin لطبقة الخرج ، أما تابع التدريب المستخدم في هذه الشبكة هو traingd .

تابع التدريب traingd وبارامتراته التابع هو تابع تدريب تدريجي من النمط Batch mode الذي تكلمنا عنه قبل قليل.هناك عدة بارامترات للتابع traingd وهذه البارامترات يمكن تعديلها، وهي: 1- معدل التعلم tr : يعمل على تحديد سرعة تغير الميل والانحيازات . Show - 2 : أمر لإظهار حالة التدريب . Epoch - 3 : بارامتر لإيقاف عملية التدريب ، حيث تتوقف الشبكة عن التدريب إذا بلغ عدد التكرارات عدد ال epochs المحدد. Goal - 4 : لتحديد قيمة الخطأ الأصغري . min_grad : الميل الأصغري الذي يقف عنده التدريب .

قيم الأوزان الابتدائية Initializing weights قبل تدريب الشبكة يجب أن توضع قيماً ابتدائية للأوزان والانحيازات. إن التعليمة السابقة newff تضع قيما ابتدائية للأوزان والانحيازات بشكل آلي ، ولكن في بعض الأحيان نحتاج إلى إعادة تغيير هذه القيم نحصل على هذا التغيير عن طريق التعليمة init حيث تأخذ هذه التعليمة الشبكة كدخل وتعيدها كخرج كما يلي : (Network1=init ( Network1

التدريب : training بعد تحديد القيم الابتدائية للأوزان والانحيازات تصبح الشبكة جاهزة للتدريب ، وخلال التدريب تتغير هذه الأوزان والانحيازات بشكل تكراري لغاية الوصول إلى القيمة الصغرى لتابع الكلفة أو ما يسمى تابع الأداء performance function. إن تابع الأداء الافتراضي لشبكات التغذية الأمامية هو متوسط مربع الخطأ (mse).

محاكاة الشبكة :Simulation هناك تعليمة تمكننا من محاكاة الشبكة حيث تأخذ هذه التعليمة دخلين ، الأول يمثل الشبكة والثاني يمثل دخل الشبكة p أو مجموعة الاختبارT ، ويعطي خرج الشبكة A كما في المثال التالي : (A=sim(network1, T

مراجع : مقدمة في الشبكات العصبية الاصطناعية - ويكيبوكس - قسم الذكاء الصناعي.

بإشراف الدكتور : عبدالعزيز الذبحاني عمل الطلاب : سالم صالح بن منيف محمود عبدالله عبدالرحمن نضال كمال عبدالمنعم كولك بإشراف الدكتور : عبدالعزيز الذبحاني