Москва, 14 декабря 2011 Российская Академия образования Методологические проблемы разработки инструментария для оценки качества образования в начальной школе и интерпретации результатов Ковалева Г.С. Семинар «Методологические основы оценки качества образования»

Москва, 14 декабря 2011 Российская Академия образования Содержание 1.Основные подходы к оценке качества начального образования в соответствии с ФГОС 2.Проблемы разработки инструментария для оценки качества начального образования 3.Проблемы интерпретации результатов оценочных процедур 4.Направления дальнейших разработок 5.Вопросы для обсуждения 2

Москва, 14 декабря 2011 Российская Академия образования Участники проекта Институты РАО: Институт стратегических исследований в образовании; Институт содержания и методов обучения; Институт управления образованием Федеральный институт развития образования Московский центр качества образования Центр измерений в образовании издательства «Просвещения» Системы образования 16 субъектов РФ (Иркутская обл., Калининградская обл., Краснодарский край, Красноярский край, Ленинградская обл., г. Москва, Московская обл., Новосибирская обл., Омская обл., Республика Саха, Самарская обл., Тамбовская обл., Томская обл., Хабаровский край,, Челябинская обл., Ярославская обл.) Студенты магистратуры «Измерения в психологии и образовании» НИУ ВШЭ Отдельные специалисты-эксперты

Москва, 14 декабря 2011 Российская Академия образования Основные подходы к оценке качества начального образования в соответствии с ФГОС 4

Москва, 14 декабря 2011 Российская Академия образования Актуальные направления оценки качества начального образования в РФ 1. Проведение внешней (независимой) оценки качества начального образования в образовательном учреждении с целью получения достоверной информации об индивидуальных достижениях выпускников начальной школы образовательного учреждения для широкого круга задач (аккредитации ОУ, аттестации педагогических кадров, получения информации об обеспечении гарантий граждан по обеспечению равного доступа всех обучающихся в данном образовательном учреждении к качественному образованию и др.). 2. Проведение внешней (независимой) оценки качества начального образования на различных уровнях (муниципальном, региональном, национальном) с целью получения достоверной информации о состоянии системы начального образования и тенденциях ее изменения, а также факторах, влияющих на качество начального образования для управления качеством образования (мониторинговые исследования). 5

Москва, 14 декабря 2011 Российская Академия образования Внутренняя оценка: учитель, ученик, ОУ и родители Внешняя оценка: государственные службы аккредитация ОУ аттестация кадров мониторинг системы образования чтение, УУД русский математика три итоговые работы итоговая оценка + накопленная оценка Выборочное обследование работ учащихся Необходимые дополнительные данные/исслед. Система оценки качества образования в начальной школе в соответствии с ФГОС 6

Москва, 14 декабря 2011 Российская Академия образования Задачи, реализуемые в ходе процедур оценки качества образования по двум направлениям - Разработка стандартизированных измерительных и инструктивно-методических материалов для оценки индивидуальных достижений обучающихся в соответствии с требованиями ФГОС (2 комплекта) - Организационное и технологическое обеспечение проведения процедур ОКО; - Проведение обследований в образовательных учреждениях; - Обеспечение достоверности получаемой информации об индивидуальных достижениях выпускников начальной школы; - Подготовка специалистов для проведения процедур ОКО; - Обработка и анализ результатов ОКО; -Формирование базы данных результатов ОКО; - Информационное обеспечение процедур ОКО; -Представление результатов ОКО для возможного их использования различными пользователями; - Организация обсуждений результатов ОКО с представителями различных групп пользователей. 7

Москва, 14 декабря 2011 Российская Академия образования Требования ФГОС овладение системой учебных действий с изучаемым материалом личностных: самоопределение смыслообразование морально-этическая ориентация метапредметных: регулятивные коммуникативные познавательные предметных: освоение, преобразование и применение знаний на основе имеющихся знаний и познавательных учебных действий

Москва, 14 декабря 2011 Российская Академия образования Оценка индивидуальных достижений обучающихся планируемые результаты освоения образовательной программы начального образования (раздел «Выпускник научится»). Оценка состояния системы начального образования планируемые результаты освоения образовательной программы начального образования (разделы «Выпускник научится» «Выпускник получит возможность научиться»), а также требования ФГОС к условиях реализации основной образовательной программы начального образования. Содержательная и критериальная основа оценки качества начального образования 9

Москва, 14 декабря 2011 Российская Академия образования Выпускник, педагог, ОУ; Чему учить система образования: система образования, ОУ Ради чего учить и научить Планируемые результаты и оценка их достижения: сферы ответственности

Москва, 14 декабря 2011 Российская Академия образования ЧАСТЬ 1 Особенности системы оценки достижения планируемых результатов Измерительные материалы для итоговой оценки Общие подходы Русский язык Математика Итоговые комплексные работы на межпредметной основе Литературное чтение Технология Физическая культура ЧАСТЬ 2 Иностранный язык (английский) Окружающий мир Изобразительное искусство Музыка ЧАСТЬ 3 Оценка достижения планируемых результатов

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования Группа 1: распределение обучающихся по уровням освоения основной образовательной программы начального общего образования по математике, русскому языку, окружающему миру, личностным и метапредметным результатам (для всех обучающихся и отдельных групп); Группа 2: распределение обучающихся по качеству (структуре) освоения основной образовательной программы начального общего образования (профили обучающихся по выделенным планируемым результатам, элементам содержания, способам действий или компетенциям для всех обучающихся и отдельных групп); 12

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования Группа 3: распределение обучающихся по уровням сформированности учебной мотивации по отдельным предметам (для всех обучающихся и отдельных групп); Группа 4: распределение обучающихся по уровням готовности к обучению в основной школе (для всех обучающихся и отдельных групп). 13

Москва, 14 декабря 2011 Российская Академия образования Оценка индивидуальных достижений обучающихся (все выпускники ОУ) 1. КИМ для оценки предметных результатов (математика, русский язык, окружающий мир) 2. КИМ для оценки метапредметных результатов (учебные компетенции: работа с информацией, регулятивные и коммуникативные умения) 3. Инструктивно-методические материалы (Регламенты, Положения, Методические рекомендации по использованию результатов и др.) Оценка состояния системы начального образования (выборочная совокупность) 1. КИМ для оценки предметных результатов (математика, русский язык, окружающий мир) 2. КИМ для оценки метапредметных результатов (учебные компетенции: работа с информацией, регулятивные и коммуникативные умения) 3. КИМ для оценки личностных результатов (самоидентификация, смыслообразование, этические и моральные нормы) 4. Инструктивно-методические материалы (Регламенты, Положения, Методические рекомендации по использованию результатов и др.) 5. Инструментарий для сбора контекстной информации (анкеты для учащихся, учителей, родителей, администрации ОУ) Состав инструментария оценки качества начального образования 14

Москва, 14 декабря 2011 Российская Академия образования В ходе проекта ФЦПРО ( годы) «ДОРАБОТКА, АПРОБАЦИЯ И ВНЕДРЕНИЕ ИНСТРУМЕНТАРИЯ И ПРОЦЕДУР ОЦЕНКИ КАЧЕСТВА НАЧАЛЬНОГО ОБЩЕГО ОБРАЗОВАНИЯ В СООТВЕТСТВИИ С ФЕДЕРАЛЬНЫМИ ГОСУДАРСТВЕННЫМИ ОБРАЗОВАТЕЛЬНЫМИ СТАНДАРТАМИ» разрабатываются: - Регламенты проведения оценки качества начального образования на различных уровнях (муниципальных, региональных, национальном, на уровне ОУ). - Положения о проведении оценки качества начального образования на различных уровнях (муниципальных, региональных, национальном, на уровне ОУ). - Комплекты измерительных материалов для оценки качества начального образования в обозначенных выше областях с инструктивно-методическими материалами. - Система обработки и анализа данных. - Рекомендации по интерпретации и использованию результатов оценки качества начального образования на различных уровнях (муниципальных, региональных, национальном, на уровне ОУ). 15

Москва, 14 декабря 2011 Российская Академия образования Проблемы разработки инструментария для оценки качества начального образования 16

Москва, 14 декабря 2011 Российская Академия образования Общий алгоритм разработки инструментария Требования ФГОС Планируемые результаты Кодификатор Спецификация Демоверсии Процедуры

Москва, 14 декабря 2011 Российская Академия образования Оценка индивидуальных достижений обучающихся 1.Время выполнения: 45 мин. 2.Структура: псевдо- параллельная (за заданиями базового уровня следуют задания повышенного уровня) 3.Варианты независимые или связанные якорными заданиями 4.Теория измерения: классическая теория тестов (+IRT) 5.Преобладает критериально- ориентированная оценка 6.Возможность выделения уровней достижения планируемых результатов Оценка состояния системы начального образования 1.Время выполнения: 90 мин. 2.Структура: блочная (нет строгого правила расположения заданий базового и повышенного уровней ) 3.Варианты связаны повторяющимися блоками (возможность построения единой шкалы и выявления тенденций) 4.Теория измерения: классическая теория тестов и IRT 5.Преобладает нормативно- ориентированная оценка 6.Возможность выделения уровней достижения планируемых результатов, построения профилей овладения планируемыми результатами (по содержанию и видам деятельности) Особенности измерительных материалов (на примере оценки предметных результатов) 18

Москва, 14 декабря 2011 Российская Академия образования Окружающий мир. Кодификаторы Перечень умений, характеризующий достижение планируемых результатов Оценка индивидуальных достижений: ПР по разделам курса, (блок «Выпускник научится») Оценка состояния системы. Структура:  Овладение основными понятиями курса  Познавательные действия (общелогические приемы познания)  Методологические умения  Информационно-коммуникационными умениями Блоки «Выпускник научится», «Выпускник получит возможность научиться», УУД, Чтение, работа с текстом Перечень элементов содержания. Основание – примерная программа по курсу «Окружающий мир» Разделы: «Человек и природа», «Человек и общество», «Правила безопасной жизни» Различия – кодификатор для оценки состояния системы НО включает дидактические единицы, выделенные курсивом

Москва, 14 декабря 2011 Российская Академия образования Окружающий мир: Оценка индивидуальных достижений. Конструирование группы вариантов 1. Все варианты должны быть равноценны по сложности для обеспечения равных возможностей при получении учащимися индивидуальной оценки. 2. Каждый из вариантов должен удовлетворять требованиям к построению итоговой работы для выпускников начальной школы по предмету «Окружающий мир». 3. Вся серия вариантов должна обеспечивать проверку всех планируемых результатов, представленных в разделе 1 кодификатора. 4. Серия вариантов должна обеспечить проверку каждого планируемого результата как на базовом, так и на повышенном уровнях сложности. 5. Серия вариантов должна обеспечить проверку всех тем, представленных в разделе 2 кодификатора.

Москва, 14 декабря 2011 Российская Академия образования Окружающий мир. Оценка индивидуальных достижений. Распределение по ПР и уровням сложности Код проверяемых планируемых результатов Число заданий в серии вариантов Число заданий в одном варианте Итого6416 Уровни сложности Число заданий Макс. балл %от макс. балла Базовый111260% Повышенный5840% Итого: % Анализ по двум направлениям: Индивидуальная оценка уровня достижения выпускником планируемых результатов обучения по предмету «Окружающий мир». Анализ достижения группой тестируемых всего спектра планируемых результатов по предмету «Окружающий мир».

Москва, 14 декабря 2011 Российская Академия образования Выбор измерительного прибора Тимур увидел в московском магазине термометр, изображенных на рисунке. С какой целью можно использовать этот термометр? 1)Измерить температуру кипящей воды в чайнике. 2)Следить за температурой внутри квартиры. 3)Изучить, как измеряли температуру в Древнем Египте во времена фараонов. 4)Повесить за окно и в течение года измерять температуру воздуха на улице. Окружающий мир. Типология заданий. Методологические умения Показания прибора Утром Катя посмотрела на термометр, висящий за окном. Какому из советов должна последовать Катя на основании показаний термометра? 1)На улице тепло, 22 градусов выше нуля. Можно собираться на речку купаться. 2)На улице холодно больше 20 градусов мороза. Нужно одеться в зимнюю куртку и не забыть варежки. 3)Погода солнечная, но прохладно. Температура чуть выше нуля. 4)Термометр предупреждает, что погода в течение дня может испортиться и сильно похолодает.

Москва, 14 декабря 2011 Российская Академия образования Масса водыТемпература воды Количество чайных ложек соли Время, за которое весь соль растворялся в воде 200 г10°1370 сек 200 г40°1305 сек 200 г50°1230 сек 200 г70°1170 сек Определение гипотезы Сережа проводил опыт с поваренной солью и водой. Он бросал в стакан с водой по 1 чайной ложке соли и следил за временем до ее полного растворения. В таблице представлены результаты его опыта. Какое предположение проверял Сережа в своем опыте? 1.Сколько соли растворяется в воде при разной температуре 2.Чем выше температура воды, тем больше соли в ней растворяется. 3.Как зависит время растворения соли от температуры воды 4.Как зависит масса растворенной соли от температуры воды Окружающий мир. Типология заданий. Методологические умения Вывод Ксюша налила в стакан воды и бросила в воду комочек почвы. В воде от комочка вверх стали подниматься пузырьки. Какой вывод должна сделать Ксюша на основании своего опыта? 1)Почва вскоре полностью раствориться в воде. 2)В почве есть воздух, выделение которого и наблюдается в опыте. 3)Песчинки, содержащиеся в почве, поднимаются вверх по мере нагревания воды. 4)В почве есть вода перегной, который разлагается в воде.

Москва, 14 декабря 2011 Российская Академия образования Окружающий мир. Типология заданий. Методологические умения Ход опыта. Для того чтобы продемонстрировать, что воздух при нагревании расширяется, учитель провел опыт, изображенный на рисунке. Воздух в колбе нагревали горелкой. Пузырьки воздуха выходила из трубочки в воду. Как нужно изменить этот опыт, чтобы показать, что при охлаждении воздух сжимается? Ответ: _________________________________________________ Каким образом в твоем опыте можно будет увидеть, что воздух сжимается? Ответ: ________________________________________________________ __ Ошибка в проведении опыта Маша проделала опыт, изучая условия прорастания семян. Она взяла два семечка подсолнуха. Одно семечко она положила во влажную салфетку на окно. Другое семечко в такой же влажной салфетке – в темный шкаф. На окне семечко не проросло, а в шкафу проросло. Маша сделала вывод, что семена подсолнуха прорастают только в темноте. Какую ошибку допустила Маша при проведении своего опыта? Ответ: ________________________________________________________

Москва, 14 декабря 2011 Российская Академия образования Участники апробации 7 федеральных округов 16 субъектов РФ 628 школ( 364 городских, 264 сельских) учащихся

Москва, 14 декабря 2011 Российская Академия образования Общее количество школ

Москва, 14 декабря 2011 Российская Академия образования Процентное соотношение школ по регионам

Москва, 14 декабря 2011 Российская Академия образования Процентное соотношение сельских и городских школ

Москва, 14 декабря 2011 Российская Академия образования Общее количество школ по региону в разрезе сельских и городских

Москва, 14 декабря 2011 Российская Академия образования Процентное соотношение общего количества учащихся по регионам

Москва, 14 декабря 2011 Российская Академия образования Первые итоги апробации: состав участников апробации № Предмет Число регионовшколклассовучащихся 1 Математика (1) Математика (2) Русский язык (1) Русский язык (2) Окружающий мир (1) Окружающий мир (2)

Москва, 14 декабря 2011 Российская Академия образования Некоторые характеристики измерительных материалов (1) Предмет Число учащихся % выпол- нения Макс. балл Средний балл Число заданий Надежность Ср. число заданий, к которым приступили учащиеся (45/90 мин.) МА (1)633855,52413,3200,818 МА (2) ,94022/38 РУ (1)643844,636/4217,1240,8619 РУ (2) ,73416/30 ОМ (1) ,4160,6515 ОМ (2) ,84021/38

Москва, 14 декабря 2011 Российская Академия образования Особенности отбора содержания по окружающему миру Различные соотношения объемов учебного времени для разделов «Человек и природа» и «Человек и общество» в разных вариантах планирования курса. Объем понятийного аппарата сильно зависит от используемого учебно- методического комплекта. Влияние территориальных особенностей, включая особенности растительного и животного мира региона, особенности истории и жизни людей в регионе на выбор конкретных объектов для конструирования заданий

Москва, 14 декабря 2011 Российская Академия образования Некоторые характеристики измерительных материалов (2) Математика 34

Москва, 14 декабря 2011 Российская Академия образования Некоторые характеристики измерительных материалов (3) Русский язык 35

Москва, 14 декабря 2011 Российская Академия образования Некоторые характеристики измерительных материалов (4) Окружающий мир 36

Москва, 14 декабря 2011 Российская Академия образования Некоторые характеристики измерительных материалов (5) МА1 РУ1 ОМ1 37

Москва, 14 декабря 2011 Российская Академия образования Некоторые замечания. Основания для их высказывания. «… Детям не хватает времени для неспешного выполнения заданий…» « … Исключить задания, требующие логического мышления (оно не развито у детей начальной школы) …» « … Не включать задания с текстами, на наблюдения, проведение исследований (трудно) …» « … Уменьшить число разных форм заданий (трудно переключаться) …» « … Ввести строку «Отмена ответов» …» 38

Москва, 14 декабря 2011 Российская Академия образования Планируемыерезультаты. Кодификатор МЕТАПРЕДМЕТНЫЕ ДЕЙСТВИЯ регулятивныекоммуникативныепознавательные целеполагание речевые средства работа с инфор- мацией: поиск, запись, восприятие планирование способ действия контроль коррекция коммуникация при взаимодействии использование моделей, знаков и символов,схем логические опе- рации: анализ, синтез, сравнение, сериация, класси- фикация, обобще- ние, подведение под понятие, ана- логия, суждение чтение поиск инфор- мации преобра- зование, интерпре- тация инфор- мации оценка инфор- мации Оценка по результатам выполнения Оценка в процессе выполнения

Москва, 14 декабря 2011 Российская Академия образования Проект спецификации и инструментария Комплексные работы на межпредметной основе: работа с текстом решение задач с использованием логических операций, моделей, знаково- символических средств, схем Комплексные работы на межпредметной основе: работа с текстом решение задач с использованием логических операций, моделей, знаково- символических средств, схем 1 урок Работа в группе лист наблюдений лист продвижения по заданию презентация видеозапись листы самооценки материалы наблюдений работы учащихся

Москва, 14 декабря 2011 Российская Академия образования Оценка метапредметных результатов: инструментарий для внутришкольного мониторинга качества образования (1)

Москва, 14 декабря 2011 Российская Академия образования Оценка метапредметных результатов: инструментарий для внутришкольного мониторинга качества образования (2)

Москва, 14 декабря 2011 Российская Академия образования Планируемые резуль- таты. Кодификатор ЛИЧНОСТНЫЕ ДЕЙСТВИЯ само- определение смысло- образование морально- этическая ориентация внутренняя позиция школьника: 1)отношение к школе 2)отношение к учебной деятельности 3)образец “ хорошего ” ученика основы гражданской идентичности: 1)Я – гражданин России 2)Я и общее благополучие 3)Я и другие (этнос) мотивационная основа и интересы: 1)широта, выраженность, устойчивость мотивов 2)устойчивость интереса к новому материалу и способам решения Знание норм Самооценка и рефлексия: 1)ориентация на самооценку 2)способность к самооценке Моральное сознание: 1)дифференциация моральных и конвенциональных норм 2)нравственная ориентация 3)этические чувства 4)эмпатия (сопереживание) Ценностные установки: 1)здоровый образ жизни 2)охрана природы 3)чувство прекрасного 4)ценность труда Я – школьник Я и другие Моральное сознание и нормы Ценностные установки Рефлексия

Москва, 14 декабря 2011 Российская Академия образования Проект спецификации и инструментария здоровье, отношения, мотивы, интересы, поведение, прилежание, условия … БУКЛЕТ Я – школьник отношения, мотивы интересы ориентация на образец «хоро- шего» ученика Я – школьник отношения, мотивы интересы ориентация на образец «хоро- шего» ученика Моральное сознание и нормы нормы и нравственная ориентация эмпатия Моральное сознание и нормы нормы и нравственная ориентация эмпатия Ценности здоровый образ жизни охрана природы чувство прекрасного ценность труда Ценности здоровый образ жизни охрана природы чувство прекрасного ценность труда АНКЕТЫ Ученик, учитель, родители АНКЕТЫ Ученик, учитель, родители Лист самооценки Итоговые работы Я и другие: личностная самооценка Я – гражданин России Я и другие Я и общее благополучие Я и другие: личностная самооценка Я – гражданин России Я и другие Я и общее благополучие 1 урок ≈15-20 мин после итоговой работы ≈30-45 мин

Москва, 14 декабря 2011 Российская Академия образования Примерные типы заданий Личностная самооценка Методика Дембо- Рубинштейна

Москва, 14 декабря 2011 Российская Академия образования Примерные типы заданий Отношения, мотивы, интересы Методика «Настроение»

Москва, 14 декабря 2011 Российская Академия образования Примерные типы заданий Обоснование или Выбор и обоснование ценностного суждения М.Нестеров. Видение отроку Варфоломею З.Серебрякова. За завтраком К.Сомов. Арлекин и дама А.Пластов. Сенокос Д.Жилинский. У моря. Семья В.Попков. Шинель отца Б.Кустодиев. Купчиха за чаем В.Васнецов. Гусляры Ценностные установки, Я – хороший ученик Задание. Рассмотри предложенные тебе восемь незнакомых репродукций. Выбери из них три, которые, по твоему мнению, в большей степени отражают важные для любого человека вещи. Напиши, почему ты так думаешь.

Москва, 14 декабря 2011 Российская Академия образования Проблемы представления и интерпретации результатов 48

Москва, 14 декабря 2011 Российская Академия образования Основные пользователи результатов оценки качества начального образования - Обучающиеся и их родители (законные представители); - Органы законодательной и исполнительной власти; - Ведомства (федерального и регионального подчинения), осуществляющие контрольные функции; - Муниципальные органы управления образованием; - Учредители образовательных учреждений; - Образовательные и научные учреждения; - Работодатели и их объединения; -Общественные организации, заинтересованные в оценке качества образования; -Средства массовой информации; - Иные лица, заинтересованные в оценке качества образования. 49

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования (группа 1) 50

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования (группа 1) 51

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования (группа 1) 52

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования (группа 1) 53

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования (группа 1) 54

Москва, 14 декабря 2011 Российская Академия образования Распределение учащихся 5 класса по уровням математической подготовки в соответствии с ФГОС начальной школы 55

Москва, 14 декабря 2011 Российская Академия образования Показатели качества начального образования (группа 2, структура овладения планируемыми результатами ) 56

Москва, 14 декабря 2011 Российская Академия образования Направления дальнейших разработок 1. Создание глоссария по оценке качества образования 2. Разработка инструментария для оценки личностных и метапредметных результатов для апробации в 20 регионах 3. Валидизация инструментария для оценки образовательных достижений (параллельное использование инструментария для оценки образовательных достижений, разработанных другими коллективами, например, SAM) начальной школы 4. Разработка инструментария для сбора контекстной информации

Москва, 14 декабря 2011 Российская Академия образования Направления дальнейших разработок 5. Разработка механизмов обеспечения достоверности полученных результатов 6. Разработка инструментария для оценки педагогической компетентности учителей 7. Проведение НИР в рамках магистерских программ ВШЭ (Исследование эффективных форм заданий для оценки индивидуальных достижений, Валидизация и интерпретация уровней индивидуальных достижений по различным предметным областям)

Москва, 14 декабря 2011 Российская Академия образования Проблемы для обсуждения в профессиональном сообществе 1.Введение единых норм определения уровней индивидуальных достижений по различным предметным областям 2Обеспечение оптимального соотношения между валидностью и надежностью измерения (форматы инструментария, технологичность проведения и обработки результатов)

Москва, 14 декабря 2011 Российская Академия образования Проблемы для обсуждения в профессиональном сообществе 3. Расширение возможности федерального инструментария оценивать качество образования в ОУ со значительными различиями в образовательных достижениях? 4. Эффективные модели мониторинга качества образования (комплексный или ?, на выборочной или генеральной совокупности?) 5. Оценка качества начального образования в школах с нерусским языком обучения

Москва, 14 декабря 2011 Российская Академия образования Спасибо за внимание! Ковалева Галина Сергеевна, руководитель отдела оценки качества образования Института содержания и методов обучения РАО Тел./факс: (499) сайты: 61

Москва, 14 декабря 2011 Российская Академия образования Общее количество учащихся