Технология интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы



страница1/8
Дата11.02.2016
Размер1.91 Mb.
  1   2   3   4   5   6   7   8

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Московский государственный гуманитарный университет

им. М.А. Шолохова»

На правах рукописи



Полихрониди Александр Христофорович


Технология интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы
Специальность: 13.00.08 - Теория и методика профессионального образования

Диссертация

на соискание ученой степени

кандидата педагогических наук


Научный руководитель –

кандидат педагогических наук,

доцент Переверзев В.Ю.

Москва – 2014

Содержание




Введение


3

Глава 1 Теоретические основы интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы

18

1.1 Современное состояние проблемы мониторинга качества освоения обучающимися образовательной программы


18

1.2 Интерактивный мониторинг качества освоения обучающимися образовательной программы


36

1.3 Инновационные формы контроля для проведения интерактивного мониторинга


53

Выводы по первой главе


75

Глава 2 Технология компьютерного адаптивного тестового контроля для проведения интерактивного мониторинга


79

2.1 Развитие систем компьютерного тестового контроля для проведения интерактивного мониторинга

79

2.2. Разработка интерактивных тестовых заданий


99

2.3. Опытно-экспериментальная работа по проверке эффективности интерактивного мониторинга качества подготовки студентов колледжа (на примере специальности Страховое дело)


126

Выводы по второй главе


155

Заключение

158

Список литературы

165





















Введение
Актуальность. Одной из главных задач модернизации российского профессионального образования является повышение качества подготовки специалистов. С этих позиций в современных педагогических исследованиях рассматриваются все основные компоненты педагогического процесса, анализируется их потенциал, а также создаются новые технологии обучения и контроля. Мониторинг качества освоения студентами колледжа основной профессиональной образовательной программы является неотъемлемым компонентом педагогического процесса, а в свете современных тенденций модернизации образования он приобретает особую значимость. Для формирования адекватных моделей мониторинга необходимы систематический сбор и анализ объективных данных о результатах обучения студентов, применение новых контрольно-оценочных технологий в условиях образовательного учреждения.

В Российской Федерации за последние несколько лет вышел целый ряд основополагающих нормативных документов, касающихся мониторинга качества образования и независимой оценки качества образовательных услуг. Все эти документы - Федеральный Закон «Об образовании в РФ» принятый в декабре 2012; Государственная программа Российской Федерации "Развитие образования" на 2013 - 2020 годы (в новой редакции), Постановление Правительства Российской Федерации от 5 августа 2013 г. N 662 "Об осуществлении мониторинга системы образования"; Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от 14 июня 2013 г. N 462 "Об утверждении Порядка проведения самообследования образовательной организацией" и, наконец, Приказ Министерства образования и науки Российской Федерации от 15 января 2014 г. № 14 (утвердил показатели мониторинга для всей системы отечественного образования) - отвечают современным тенденциям модернизации образования, направленным на развитие мониторинга качества и эффективности работы образовательных организаций и системы образования в целом.

Таким образом, в настоящее время в отечественной системе профессионального образования, заметно возросла потребность в педагогическом мониторинге как важнейшем факторе обеспечения качества и эффективности процесса обучения. Тем не менее, вопреки принимаемым по отношению к мониторинговой деятельности мерам, проблема его формирования и адекватного функционирования в организациях профессионального образования остается нерешенной. Более того, реализация основной профессиональной образовательной программы на базе ФГОС СПО, структурно ориентированной на компетентностный подход, во многом сдерживается неэффективностью существующей системы мониторинга выполнения его требований.

Профессиональные компетенции, как результат обучения в колледже, выражают способность и готовность выпускников применять знания, умения, практический опыт при решении профессиональных задач. Компетентность, как комплексное, многогранное и интегрированное качество личности выпускника, чрезвычайно трудно поддается оценке. Однако отдельные её составляющие могут быть подвержены инструментальным измерениям. В качестве эффективного средства измерения уровня сформированности отдельных «знаниевых», теоретических составляющих профессиональных компетенций выступает компьютерное тестирование.

В настоящее время мониторинг качества освоения образовательной программы представляет собой один из наиболее трудоемких и ответственных этапов процесса обучения. Анализ литературы по данной проблеме и исследование практики организации мониторинга в колледжах выявляют ряд недостатков в осуществлении контролирующей деятельности:

- чрезмерное влияние субъективного фактора на процедуру оценивания педагогом достижений обучающегося;

- результатом мониторинга является, как правило, количественная оценка, которая не всегда учитывает многомерную качественно-количественную характеристику сформированности компетенций студента;

- процедуры мониторинга и оценивания знаний и умений студентов в первую очередь носят констатирующий характер, и не в полной мере используется такие характеристики как обратная связь, интерактивность, а также обучающий, развивающий и воспитывающий потенциал мониторинга;

- реализуемые на практике системы мониторинга и оценивания не формируют у студентов в достаточной степени устойчивых навыков взаимо- и самоконтроля, в основном из-за отсутствия элементов интерактивности.

Поэтому в качестве одного из направлений совершенствования оценочных технологий в современном образовании выступает повышение уровня интерактивности мониторинга учебных достижений. При этом на сегодняшний день наиболее технологичным способом педагогического контроля является компьютерное тестирование, которое получает все большее распространение благодаря внедрению в образование информационных и коммуникационных технологий, а также повсеместному развитию систем дистанционного образования. Одно из направлений модернизации оценочных средств связано с увеличением масштабов педагогического тестирования и улучшением его качественных характеристик, всемерным развитием его компьютерных интерактивных модификаций.

Следует отметить особую значимость интерактивного мониторинга, позволяющего постоянно и систематически диагностировать качество освоения образовательной программы и при этом максимально реализовать единство контролирующей и обучающей, воспитывающей и развивающей функций педагогического контроля. Следовательно, именно интерактивный мониторинг обладает большим потенциалом в повышении качества профессионального образования.

Одним из методов повышающих качество контроля и позволяющих объективно и достоверно оценить достижения студента, является компьютерное интерактивное тестирование, осуществляющее диагностическую, контролирующую, аналитическую и обучающую функции.

Несмотря на наличие многочисленных научных работ по проблемам педагогического контроля и диагностики качества обучения, именно исследований, посвященных проблемам интерактивного мониторинга с применением информационных технологий явно недостаточно. Более того, в современных научных трудах не освещаются аспекты влияния интерактивности контроля на повышение качества обучения, а также не рассматриваются современные технологии мониторинга и средства оценивания знаний, умений и практического опыта студентов, позволяющие внедрить элемент обратной связи и рефлексии в процесс мониторинга.

Остаются неразработанными вопросы методики конструирования, содержания и организации компьютерных интерактивных тестов для диагностики важных составляющих профессиональных компетенций студентов. А лучший отечественный и мировой опыт доказывает, что высококачественные компьютерные адаптивные тесты могут обеспечить оперативную, достоверную и надежную диагностику уровня знаний, практических навыков и умений, компетенций обучаемых, внести необходимые коррективы в содержание, организацию и методику преподавания учебных дисциплин и модулей, повысить объективность и сопоставимость оценки учебных достижений обучающихся.

Введение ФГОС в практику современного российского образования детерминировало требования к результатам освоения основной профессиональной образовательной программы. Однако, без эффективной технологии диагностики и контроля, в том числе и различных интерактивных компьютерных модификаций контроля, выполнения требований ФГОС СПО, а также адекватное функционирование образовательного стандарта практически невозможно. Существующие методы диагностики и контроля уровня профессиональной подготовки во многом субъективны и нуждаются в совершенствовании. Объективным средством определения параметров качества и результативности образовательного процесса может выступать тестовый контроль как один из элементов педагогического контроля. Тесты позволяют обеспечить своевременное выявление уровня знаний, практических навыков и умений, компетенций обучаемых в соответствии с образовательными стандартами.

В теоретическом плане актуальность проблемы исследования обосновывается недостаточной научной разработанностью теоретико-методологических основ интерактивного мониторинга качества освоения студентами колледжа профессиональной образовательной программы и технологий реализации компьютерных диагностических и адаптивных систем критериально-ориентированного тестирования.

Явно недостаточно представлены теоретические исследования по проблемам автоматизации педагогического тестирования в нашей стране, где лишь в последнем десятилетии XX века и в начале ХХI века появились публикации педагогов - исследователей, затрагивающие важные вопросы создания и применения в педагогическом контроле компьютерных тестов. К их числу относятся работы В. С. Аванесова, Н.Ф. Ефремова, В.И. Звонникова, А.Н. Майорова, Е.А. Михайлычева, В. И. Нардюжева, В.Ю. Переверзева, И.В. Роберт, В.П. Тихомирова, М.Б. Челышковой, А, Г. Шмелева и др.

Однако, следует отметить, что при всей теоретической и практической значимости проведенных исследований в области педагогического тестирования и несомненной важности в разрешении образовательных задач, связанных с измерением и оценкой учебных достижений обучающихся, все еще ощущается недостаточная полнота сформированных концепций, необходимая для проведения интерактивного анализа сущностных характеристик процесса контроля, не вскрыт механизм его становления, не разработаны методы создания адекватных тестовых заданий и моделирования процесса компьютерного педагогического тестирования и интерпретации его результатов.

Таким образом, актуальность исследования проблематики создания и применения интерактивного мониторинга качества освоения образовательной программы в профессиональном образовании, задаваемая требованиями современного этапа социально-экономического развития российского общества, обуславливается:

- активизацией внедрения в практику деятельности учебных заведений эффективных систем управления качеством обучения и необходимостью оптимизации управления учебным процессом;

- неразработанностью теоретико-методологических основ в области автоматизированного педагогического диагностирования и образовательной квалиметрии, нечетким обозначением требований и стандартов, предъявляемых к образовательному мониторингу, недостаточным методическим и технологическим обеспечением процесса реализации систем контроля;

- недостаточной квалификацией преподавательского состава в области информатизации контроля и диагностики, несогласованностью специалистов в работе по созданию тестовых материалов, слабым владением авторами-предметниками методами и средствами анализа результатов тестирования, недооценкой и недоверием к возможностям использования компьютерного тестирования в педагогической практике;

- необходимостью формирования комплексного научно-методического обеспечения процесса компьютерного тестирования, создания адекватных математических моделей проведения интерактивных и адаптивных процедур компьютерного тестового контроля, экспериментально обоснованных тестовых технологий оценки профессиональной подготовки.

В процессе исследования выявлены следующие противоречия:

1) между необходимостью достижения результативности выполнения требований ФГОС СПО и эффективной системой мониторинга и оценки качества освоения образовательных программ, адекватной современным требованиям к результатам образовательного процесса;

2) между потребностью в интерактивном мониторинге результатов обучения будущих специалистов, и неразработанностью методик объективного адаптивного оценивания с применением современных информационных технологий;

3) между потенциальными возможностями современных тестовых технологий контроля и неразработанностью их методических, содержательных и технологических аспектов.

Таким образом, проблема диссертационного исследования сводится к необходимости разрешения противоречий, вызванных возросшей потребностью педагогической теории и практики в методологических основах организации интерактивного мониторинга в контексте обеспечения качества подготовки конкурентоспособных специалистов, что предопределило тему диссертационного исследования «Технология интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы».



Объект исследования – оценка качества освоения студентами колледжа основной профессиональной образовательной программы.

Предмет исследования – интерактивный мониторинг, как технология оценки качества освоения студентами колледжа основной профессиональной образовательной программы.

Цель исследования: разработать, теоретически обосновать и экспериментально апробировать модель интерактивного мониторинга качества освоения основной профессиональной образовательной программы студентами колледжа.

Гипотеза исследования: технология интерактивного мониторинга освоения студентами колледжа основной профессиональной образовательной программы станет эффективным инструментарием повышения качества обучения, если:

- цели, задачи и модели мониторинга формируются в соответствии с требованиями ФГОС СПО, а также отвечают потребностям всех субъектов системы профессионального образования;

- интерактивный мониторинг основывается на принципах взаимодействия, активности обучаемых, опоре на групповой опыт, на взаимной оценке, самоконтроле и эффективной обратной связи;

- интерактивный мониторинг реализуется в комплексе способов и форм контроля: компьютерных адаптивных тестов, технологии виртуальных учебных фирм; решения интерактивных практических заданий; постоянного и систематического наблюдения за динамикой изменения в профессиональном и личностном развитии студентов колледжа;

- адаптивные компьютерные тесты ориентированы на диагностику уровня сформированности важнейших компонентов профессиональных компетенций, за счет использования инновационных компьютерных форм тестовых заданий, реализации адекватных методов и алгоритмов их проведения;

- при конструировании адаптивных тестов учитываются требования к качеству тестовых заданий, к адекватным показателям уровня трудности, дискриминативности, надежности, содержательной и критериальной валидности.

В соответствии с объектом, предметом, целью и гипотезой были определены следующие задачи исследования:

- концептуально определить теоретическое и практическое значение интерактивных мониторинговых технологий для диагностики качества подготовки студентов;

- разработать модель интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы, включающую в себя целеполагание, разработку инструментария, процедуры проведения и анализа результатов, формирование обратной связи и корректирующих мероприятий;

- разработать современную модель адаптивного компьютерного тестирования, ориентированную на интерактивный мониторинг качества освоения студентами колледжа основной профессиональной образовательной программы за счет использования инновационных форм тестовых заданий; методов повышения надежности, содержательной и критериальной валидности тестирования;

- провести экспериментальную проверку эффективности технологии интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы на примере специальности Страховое дело.



Методологическую основу исследования составляют идеи:

- философии образования и методологии психолого-педагогических наук (С.И. Архангельский, Ю. К. Бабанский, М.К. Бахтин, В.П. Беспалько, Л.С. Выготский, П.Я. Гальперин, А.Т. Глазунов, В.И. Загвязинский, В.В.Краевский, В.С.Леднев, А.Н. Леонтьев, И.Я. Лернер, Ж. Пиаже, С.Л. Рубинштейн, В.В. Рубцов, М.Н. Скаткин и др.);

- информатизации профессионального образования (А.А. Андреев, А.С. Бешенков, Я.А. Ваграменко, О.А. Козлов, А.А. Кузнецов, Ю.И. Лобанов, Л.П. Мартиросян, В.Л. Матросов, В.А. Поляков, И.В. Роберт, Н.В. Софронова и др.).

- теорий профессионального образования (С.Я. Батышев, А.Н. Беляева, А.Т. Глазунов, Э.Ф. Зеер, Е.А. Климов, П.Ф. Кубрушко, В.С. Леднев, А.М. Новиков, И.П. Смирнов, Е.В. Ткаченко, В.А. Федоров, Ю.В. Шаронин и др.);

- исследования в области педагогических технологий (В.П. Беспалько, В. В. Гузеев, О.В. Долженко, З.Д. Жуковская, А.С. Казаринов, М. В. Кларин, Ю.Н. Семин, Т.В. Машарова, Н.Ф. Талызина, Ю.К. Чернова и др.);

- оценки качества образования (А.А. Аветисов, Ю.К. Бабанский, И.В. Блауберг, В.С. Белозеров, Н.Б. Вернигор, А.Т. Глазунов, Н.Ф. Ефремова, В.И. Звонников, В.В. Краевский, В.С. Леднев, Ю.И. Лобанов, А.Н. Майоров, Д.Ш. Матрос, В.Ю. Переверзев, М.М. Поташник, Ю.Г. Татур, П.И. Третьяков, С.А. Сафонцев, А.А. Скамницкий, А.И. Субетто, Н.Ф.Талызина, В.С.Черепанов, Ю.В. Шаронин и др.);

- применения современных образовательных технологий в педагогическом процессе (С.И. Архангельский, В.П. Беспалько, Б.С. Гершунский, И.К. Колесникова, А.П. Панфилова, Л.Г. Семушина, А.И. Субетто, Ю.В. Шаронин и др.);

- педагогической диагностики (В.С. Аванесов, А.Анастази, К. Ингенкамп, Е.А. Михайлычев, Дж. Равен, В.С.Черепанов и др.);

- исследований в области таксономии целей образования (Б.И. Ананьев, А.С. Белкин, Б.С. Блум, А.Т. Глазунов, В.В. Гузеев, М.В. Кларин, В.В. Рубцов, Л.Я. Зорина, В.А. Якунин и др.);

- исследований в области педагогической тестологии (В.С. Аванесов, А.Анастази, В.П. Беспалько, Н.Ф. Ефремова, В.И. Звонников, К. Ингемкамп, Г.С. Ковалева, И.И. Легостаев, А.Н. Майоров, Е.А. Михайлычев, В.И. Нардюжев, Ю.М. Нейман, В.Ю. Переверзев, А.О. Татур, В.А. Хлебников, Р. Хэмбелтон, М.Б. Челышкова, А.Г. Шмелев);

- квалиметрии в образовании (А.А. Аветисов, Ю.К. Бабанский, А.Г. Бермус, В.И. Звонников, М.В. Кларин, Н.И.Максимов, Н.А. Селезнева, А.И. Субетто, Н.Ф. Талызина, Ю.Г. Татур , М.Б. Челышкова, В.С. Черепанов и др);

- принципов реформирования и стандартизации общего и профессионального образования (Ю.И. Дик, А.Т. Глазунов, А.Н. Лейбович, Г.Л. Луканкин, Г.В. Мухаметзянова, A.M. Новиков, В.Д. Поляков, Г.М. Романцев, М.В. Рыжаков, И.П. Смирнов, Е.В. Ткаченко и др.);

- личностно-ориентированного и развивающего образования (М.К. Акимова, Н.А. Алексеев, Е.В.Бондаревская, И.П. Волков, Л.С. Выготский, В.В. Давыдов, Л.В. Занков, Е.Н. Ильина, А.Н. Леонтьев, В.В.Сериков, В.Т.Фоменко, Д.Б. Эльконин, И.С. Якиманская, Е.А. Ямбург);

- компетентностного подхода (В.И. Байденко, С.Я. Батышев, А.С. Белкин, А.П. Беляева, А.А. Вербицкий, О.Н. Голубева, А.Т. Глазунов, И.А. Зимняя, Н.В. Кузьмина, Н.Н. Нечаев; М.В. Рыжаков, Н.А. Селезнёва, И.П. Смирнов, А.Д. Суханов, А.И.Субетто, Н.Ф. Талызина, Ю.Г. Татур, Е.В. Ткаченко, А.В. Хуторский , В.Д. Шадриков, Ю.В. Шаронин).

Для решения поставленных задач и проверки гипотезы применялись следующие методы исследования:

- теоретические – изучение и анализ педагогической, научно-методи-ческой и специальной литературы по проблеме исследования, диссертационных исследований, анализ государственных образовательных стандартов, программ и методических материалов; обобщение, систематизация, синтез, моделирование, классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование, математико-статистические методы, включавшие определение основных параметров распределения эмпирических результатов тестирования, байесовскую процедуру и метод максимального правдоподобия, проектирование структуры и содержания банка интерактивных компьютерных тестовых заданий;

- эмпирические – методы педагогической диагностики: опрос, тестирование, анкетирование, метод групповых экспертных оценок; педагогический эксперимент; изучение опыта преподавателей, педагогическое наблюдение; методы математической статистики при обработке результатов эксперимента и их анализе.

Исследование выполнялось поэтапно:

- первый этап (2009-2010 гг.) - поисково-аналитический: изучение нормативно-правовой документации; теоретическое обоснование актуальности проблемы диссертационного исследования, изучение философской, психологической, педагогической и иной литературы, проведение теоретико - практического проблемно-ориентированного анализа состояния объекта и предмета исследования, формирование фактологической базы исследования; разработка понятийного аппарата и детализированной программы проведения научно - исследовательских работ, формирование рабочей гипотезы, определение научно-концептуального аппарата исследования, формулирование задач исследования;

- второй этап (2011-2012 гг.) - опытно-экспериментальный: проверка и уточнение гипотезы исследования, выявление условий, форм и методов, обеспечивающих разработку и реализацию концептуальных положений, создание концепции интерактивного мониторинга, формулирование принципов, регламентирующих научную организацию адаптивного компьютерного тестирования, определение функций и задач тестирования в образовании, разработка методики отбора содержания диагностического теста; публикация статей, раскрывающих содержание диссертационного исследования;

- третий этап (2013-2014 гг.) - заключительный: разработка интерактивного тестового инструментария; статистическая обработка данных, систематизация и обобщение результатов, сверка и корректировка аналитического материала с целью, задачами, гипотезой исследования; формирование рекомендаций и окончательных выводов по проблематике исследования; апробирование и внедрение результатов и выводов диссертационного исследования в педагогическую практику; литературное оформление диссертационной работы.

Экспериментальная база исследования. В апробации результатов исследования и проведении серии педагогических экспериментов по созданию и внедрению интерактивного мониторинга на основе адаптивных компьютерных тестов в учебный процесс были задействованы 232 студента ГБОУ СПО «Колледжа индустрии гостеприимства и менеджмента № 23» г. Москвы.

Научная новизна исследования состоит в том, что:

1. Сформирована и описана концепция интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы.

2. Разработана модель интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы, включающая в себя такие структурные элементы как целеполагание, разработку инструментария, процедуры проведения и анализа результатов, формирование обратной связи и корректирующих мероприятий.

3. Представлена современная классификация тестовых заданий и их многочисленных модификаций, применяющихся в компьютерных интерактивных тестах. Описаны инновационные формы тестовых заданий для компьютерного тестирования, обладающие элементами интерактивности.

4. Предложена теоретически обоснованная модель конструирования и применения компьютерных интерактивных систем тестовой диагностики в учреждениях профессионального образования, направленных на эффективное формирование содержания тестов и достижение высоких показателей качества тестирования - валидности и надежности.

Теоретическая значимость диссертационной работы обеспечивается решением ряда задач общенаучного и специального характера и состоит в том, что:

- теоретически обоснованно понятие интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы, уточнены его сущность, целеполагание, задачи, функции, структурные элементы и принципы, возможные инструменты реализации;

-предложена совокупность общеметодологических и педагогических принципов создания адаптивных компьютерных тестов для мониторинга качества освоения образовательной программы;

- представлена уточненная классификация и описание тестовых заданий и их многочисленных модификаций, применяющихся в современных адаптивных компьютерных тестах;

- спроектированы технология и модель реализации процесса адаптивного компьютерного тестирования, основанного на применении современных достижений тестовой теории, обеспечивающем максимально полное использование возможностей информатизации образования.

Практическая значимость исследования состоит в том, что:

1) разработанная технология проведения интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы может быть внедрена в учебный процесс образовательных организаций СПО;

2) разработан и апробирован диагностический инструментарий (адаптивные компьютерные тесты, банк интерактивных компьютерных тестовых заданий по специальности «Страховое дело», методика работы виртуальной учебной фирмы, интерактивные практические задания), обеспечивающий реализацию технологии интерактивного мониторинга;

3) подготовлен по результатам исследования банк тестовых заданий по специальности «Страховое дело», который способствует внедрению технологии интерактивного компьютерного тестирования в учреждениях СПО;

Достоверность и обоснованность полученных в исследовании результатов обеспечиваются методологической аргументированностью исходных теоретических положений, выбором методов исследования, проведением научных исследований в единстве с практической деятельностью; опытно-экспериментальной проверкой, показавшей эффективность предлагаемой методики конструирования интерактивных компьютерных тестов для диагностики профессиональной подготовки обучающихся по специальности «Страховое дело».

На защиту выносятся следующие положения:

1. Концепция интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы.

2. Технология интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы, включающую в себя целеполагание, разработку инструментария, процедур проведения и анализа результатов, формирование обратной связи и корректирующих мероприятий.

3. Модель реализации процесса адаптивного компьютерного тестирования для мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы.



Структура и содержание диссертации. Диссертация состоит из введения, двух глав, заключения, библиографии и приложений.
  1   2   3   4   5   6   7   8


База данных защищена авторским правом ©psihdocs.ru 2016
обратиться к администрации

    Главная страница