1. connect 4
michael yura

2. what's this all about? create connect 4
create a dynamic ai for connect 4
use reinforcement learning
training against other ai's
test different “aggressiveness” of learning

3. ai outline
keeps track of the moves it does for each board it is presented with
examines if it has won or lost the game
changes the way it places pieces in the future depending on the game's outcome (reinforcement learning)
if won, will do what it did more often
if lost, will do what it did less often

4. table data
[0,0;1][0,1;0][0,2;0][0,3;0][0,4;0][0,5;0][1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0][2,0;0][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0][3,0;0][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0][4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0][5,0;0][5,1;0][5,2;0][5,3;0][5,4;0][5,5;0][6,0;0][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0] [10.0,10.0,10.0,10.0,10.0,10.0,10.0,]
[0,0;1][0,1;1][0,2;0][0,3;0][0,4;0][0,5;0][1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0][2,0;0][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0][3,0;2][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0][4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0][5,0;0][5,1;0][5,2;0][5,3;0][5,4;0][5,5;0][6,0;0][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0] [10.0,10.0,10.0,10.0,10.0,10.0,10.0,]
[0,0;0][0,1;0][0,2;0][0,3;0][0,4;0][0,5;0][1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0][2,0;0][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0][3,0;0][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0][4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0][5,0;1][5,1;0][5,2;0][5,3;0][5,4;0][5,5;0][6,0;0][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0] [10.0,10.0,10.0,10.0,10.0,10.0,10.0,]
[0,0;0][0,1;0][0,2;0][0,3;0][0,4;0][0,5;0][1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0][2,0;0][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0][3,0;1][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0][4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0][5,0;1][5,1;2][5,2;0][5,3;0][5,4;0][5,5;0][6,0;0][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0] [10.0,10.0,10.0,10.0,10.0,10.0,10.0,]
[0,0;1][0,1;1][0,2;1][0,3;0][0,4;0][0,5;0][1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0][2,0;2][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0][3,0;2][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0][4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0][5,0;0][5,1;0][5,2;0][5,3;0][5,4;0][5,5;0][6,0;0][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0] [10.0,10.0,10.0,10.0,10.0,10.0,10.0,]
[0,0;0][0,1;0][0,2;0][0,3;0][0,4;0][0,5;0][1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0][2,0;0][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0][3,0;1][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0][4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0][5,0;1][5,1;2][5,2;2][5,3;0][5,4;0][5,5;0][6,0;1][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0] [10.0,10.0,10.0,10.0,10.0,10.0,10.0,]

5. table data
[0,0;1][0,1;1][0,2;0][0,3;0][0,4;0][0,5;0][1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0][2,0;0][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0][3,0;2][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0][4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0][5,0;0][5,1;0][5,2;0][5,3;0][5,4;0][5,5;0][6,0;0][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0] [10.0,10.0,10.0,10.0,10.0,10.0,10.0,]

6. table data [0,0;1][0,1;1][0,2;0][0,3;0][0,4;0][0,5;0]
[1,0;0][1,1;0][1,2;0][1,3;0][1,4;0][1,5;0]
[2,0;0][2,1;0][2,2;0][2,3;0][2,4;0][2,5;0]
[3,0;2][3,1;0][3,2;0][3,3;0][3,4;0][3,5;0]
[4,0;0][4,1;0][4,2;0][4,3;0][4,4;0][4,5;0]
[5,0;0][5,1;0][5,2;0][5,3;0][5,4;0][5,5;0]
[6,0;0][6,1;0][6,2;0][6,3;0][6,4;0][6,5;0]
[10.0,10.0,10.0,10.0,10.0,10.0,10.0,]

7. looking ahead to 2nd quarter
program ai to change its %'s depending on whether it wins or loses
does an ai that is more “aggressive” (changes its %'s to a greater degree each time) learn to play better?
Can an ai train itself?