1. -Artificial Neural Network- Chapter 4 朝陽科技大學 資訊管理系 李麗華 教授

2. 朝陽科技大學 李麗華 教授 2 Outline ADALINE-------------------------------------------------- 2 MADALINE------------------------------------------------ 6 Least-Square Learning Rule ------------------------- 7 The proof of Least-Square Learning Rule ------- 13

3. 朝陽科技大學 李麗華 教授 3 ADALINE ADALINE(Adaptive Linear Neuron) is a network model proposed by Bernard Widrow in1959. single processing element ．．．．．． PE X1X1 X2X2 X3X3

4. 朝陽科技大學 李麗華 教授 4 Method Method :  The value in each unit must +1 or –1 net = This is different from perception's transfer function.

5. 朝陽科技大學 李麗華 教授 5 Method

6. 朝陽科技大學 李麗華 教授 6 MADALINE MADALINE ： It is composed of many ADALINE （ Multilayer Adaline. ） ．．．．．．．．．．．．．．．．．． YjYj No W ij net j W ij After the second layer, the majority vote is used. if more than half of net j ≥ 0,then output ＋ 1,otherwise, output － 1

7. 朝陽科技大學 李麗華 教授 7 Least-Square Learning Rule (1/2) Least-Square Learning Rule ：

8. 朝陽科技大學 李麗華 教授 8 Least-Square Learning Rule (2/2) By applying the least-square learning rule the weights is ： or

9. 朝陽科技大學 李麗華 教授 9 Exercise: Use Adaline (1/4) X1X1 X2X2 X3X3 TjTj X1X1 1101 X2X2 1011 X3X3 111

10. Sol. First calculate R

12. Verify the net: 代入（ 1,1,0 ） net=3X 1 -2X 2 -2X 3 =1 Y=1 ok 代入（ 1,0,1 ） net=3X 1 -2X 2 -2X 3 =1 Y=1 ok 代入（ 1,1,1 ） net=3X 1 -2X 2 -2X 3 =-1 Y=-1 ok 3 ADALINE -2 X1X1 X2X2 X3X3 Y 請同學們回家自己去找可以直接計算反矩陣的方法

13. 朝陽科技大學 李麗華 教授 13 Proof of Least Square Learning Rule(1/3) Let us use Least Mean Square Error to ensure the minimum total error. As long as the total error approaches zero, the best solution is found. Therefore, we are looking for the minimum of 〈 〉。 Proof: mean of

14. 朝陽科技大學 李麗華 教授 14 Proof of Least Square Learning Rule(2/3) 承上頁承上頁

15. 朝陽科技大學 李麗華 教授 15 承上頁承上頁 Proof of Least Square Learning Rule(3/3)