-Artificial Neural Network- Chapter 4 朝陽科技大學 資訊管理系 李麗華 教授

朝陽科技大學 李麗華 教授 2 Outline ADALINE MADALINE Least-Square Learning Rule The proof of Least-Square Learning Rule

朝陽科技大學 李麗華 教授 3 ADALINE ADALINE(Adaptive Linear Neuron) is a network model proposed by Bernard Widrow in1959. single processing element ．．．．．． PE X1X1 X2X2 X3X3

朝陽科技大學 李麗華 教授 4 Method Method :  The value in each unit must +1 or –1 net = This is different from perception's transfer function.

朝陽科技大學 李麗華 教授 5 Method

朝陽科技大學 李麗華 教授 6 MADALINE MADALINE ： It is composed of many ADALINE （ Multilayer Adaline. ） ．．．．．．．．．．．．．．．．．． YjYj No W ij net j W ij After the second layer, the majority vote is used. if more than half of net j ≥ 0,then output ＋ 1,otherwise, output － 1

朝陽科技大學 李麗華 教授 7 Least-Square Learning Rule (1/2) Least-Square Learning Rule ：

朝陽科技大學 李麗華 教授 8 Least-Square Learning Rule (2/2) By applying the least-square learning rule the weights is ： or

朝陽科技大學 李麗華 教授 9 Exercise: Use Adaline (1/4) X1X1 X2X2 X3X3 TjTj X1X X2X X3X3 111

Sol. First calculate R

Verify the net: 代入（ 1,1,0 ） net=3X 1 -2X 2 -2X 3 =1 Y=1 ok 代入（ 1,0,1 ） net=3X 1 -2X 2 -2X 3 =1 Y=1 ok 代入（ 1,1,1 ） net=3X 1 -2X 2 -2X 3 =-1 Y=-1 ok 3 ADALINE -2 X1X1 X2X2 X3X3 Y 請同學們回家自己去找可以直接計算反矩陣的方法

朝陽科技大學 李麗華 教授 13 Proof of Least Square Learning Rule(1/3) Let us use Least Mean Square Error to ensure the minimum total error. As long as the total error approaches zero, the best solution is found. Therefore, we are looking for the minimum of 〈 〉。 Proof: mean of

朝陽科技大學 李麗華 教授 14 Proof of Least Square Learning Rule(2/3) 承上頁承上頁

朝陽科技大學 李麗華 教授 15 承上頁承上頁 Proof of Least Square Learning Rule(3/3)