Лабораторная работа №10: Прохорова Софья

Материал из IrkutskWiki
(Различия между версиями)
Перейти к: навигация, поиск
 
 
Строка 1: Строка 1:
 
[[Экспертно-аналитические методы оценки программных средств образовательного назначения ]]
 
[[Экспертно-аналитические методы оценки программных средств образовательного назначения ]]
 +
 +
Международные стандарты, такие как стандарты серии ISO 9000, не учитывают специфику современного программного обеспечения для системы образования и мало пригодны для практического использования. ПС ОН не входят в перечень товаров и услуг, подлежащих обязательной сертификации. Сертификацию ПС ОН осуществляют несколько испытательных лабораторий «Системы добровольной сертификации средств и систем в сфере информатизации (РОСИНФОСЕРТ)», но ее нормативная база не является совершенной, поскольку не регламентирует состав и значения основных характеристик качества ПС ОН и методы их оценки, не отражает технологию проведения экспертизы. Технология оценки качества является той основой, на которой строится вся экспертиза системы сертификации ПС ОН. В настоящее время сдерживание темпов развития экспертизы и сертификации ПС ОН происходит именно из-за отсутствия теории оценки качества ПС ОН.
 +
Над вопросами теории и технологии оценки качества ПС ОН работают: Отраслевой фонд алгоритмов и программ (ОФАП) Государственного координационного центра информационных технологий, Институт информатизации образования (ИНИНФО), Институт информатизации образования Российской академии образования, СЦНИТ МГТУ «Станкин», Всероссийский НИИ проблем вычислительной техники и информатики Министерства связи России. Эта тема тесно переплетается с необходимостью разработки стандартов, отвечающих современным требованиям санитарно-гигиенических норм, как средств вычислительной техники, так и ПС ОН.
 +
Программы информатизации образования России включали такие направления исследований, как разработка теоретических основ оценки качества программных средств, создание органов по их сертификации, развитие системы сертификации программного обеспечения для системы образования. Тема оценки качества ПС ОН являлась предметом обсужде-
 +
ния круглых стслов в Комитете при Президенте по информационной политике и Госкомсвязи России, на Втором международном конгрессе ЮНЕСКО, и различных научных конференциях.
 +
Новые государственные образовательные стандарты для педагогических вузов содержат темы оценки качества ПС ОН. Так в курсе «Теория и методика обучения информатике» (специальность 030100 «Информатика») стандарт предписывает учить студентов проводить анализ учебных и методических пособий, программного обеспечения по курсу информатики, организовывать проверку и оценку результатов обучения. В курсе «Информационные и коммуникационные технологии в образовании» (специальность 030100 «Информатика») стандарт включает следующие темы: дидактические основы создания и использования средств информационных и коммуникационных технологий образовательного назначения (ИКТ ОН), педагогико-эргономические требования к созданию и использованию электронных средств учебного назначения, оценка их качества, педагогико-эргономические условия эффективного и безотказного использования средств вычислительной техники. Однако учебные заведения испытывают трудности с разработкой этих курсов из-за недостаточного методического обеспечения в вопросах оценки качества ПС ОН.
 +
В педагогической науке существуют методы, пригодные для оценки качества ПС ОН: экспериментальная оценка, экспертная оценка, комплексная оценка, получившая в ряде работ название экспертно-аналитической оценки качества ПС ОН. Так экспериментальная оценка качества ПС ОН осуществляется методами педагогического эксперимента. Для постановки и организации экспериментальной оценки качества ПС ОН можно использовать работы по теории и практике проведения педагогического эксперимента Архангельского СИ., Бабанского Ю.К., Беляевой А.П., Геркулова А.Г., Грабаря М.И., Ильиной Т.А., Краснянской К.А.,
 +
Пискунов А.И. и др. Правильно поставленный сравнительный педагогический эксперимент позволяет в настоящее время обеспечить наибольшую достоверность оценки качества ПС ОН.
 +
Большинство ПС ОН, поступающих на рынок программных средств, в той или иной мере проходят апробацию в реальных условиях обучения. На практике часто оказывается так, что разрабатывают методику эксперимента, организуют и проводят педагогический эксперимент те же специалисты, которые участвуют в создании программного средства. Они часто идут по пути упрощения педагогического эксперимента. Поэтому допускаются методические погрешности и искажения результатов эксперимента, в том числе и в рекламных целях, поскольку за достоверность его результатов разработчики никакой ответственности не несут.
 +
В последнее десятилетие в педагогической науке большое внимание уделяется экспертным методам оценки педагогических исследований и разработок, в том числе и ПС ОН. Разработаны методологические основы использования экспертных методов в педагогических исследованиях, ориентированные на использование программных средств (Марченко Е.К., Михеев В.И., Полонский В.М., Черепанов B.C.), определены основные методические цели, которые наиболее эффективно реализуются с использованием ПС ОН. Разработана типология программных средств по функциональному и методическому назначению, дидактические требования к ПС ОН, сформулированы основные положения экспертно-аналитической деятельности по оценке качества ПС ОН и анализа их педагогической целесообразности (Роберт И.В., Кузнецов А.А., Сергеева Т.А. и др.). Сформированы теоретические основы разработки технологии применения программно-методических средств в учебном процессе общеобразовательной школы (Софронова Н.В., Зайнутдинова Л.Х.). Разработаны также психологические основы организации диалога учащегося с ИКТ (Горелов И.Н., Машбиц Е.И., Тихомиров O.K.). Успешно развивается Система добровольной сертификации средств и систем в сфере информатизации РОСИНФОСЕРТ, разработаны организационно-методические документы этой системы (Позднеев Б.М., Шахин В.П.). Вопросы практического использования экспертных методов для проведения сертификационных испытаний ПС ОН отражены в работах Ваграменко Я.А., Галкиной А.И., Роберт И.В.
 +
Вместе с тем, в настоящее время отсутствуют работы, ориентированные на комплексный подход решения проблемы оценки качества ПС ОН и на создание технологии их оценки. Недостаточно разработаны основные вопросы теории оценки качества. Такие вопросы, как критерии оценки и характеристики качества до недавнего времени были мало исследованы и достаточно спорны. Это является причиной сложностей при организации и проведении экспертизы ПС ОН, вынесении экспертных заключений, особенно в пограничных областях оценок.
 +
Резюмируя вышеизложенное, можно выделить группу противоречий в подходах к оценке качества, разработки и использования ПС ОН в системе образования России:
 +
1. Качество используемых ПС ОН в подавляющем большинстве не соответствует дидактическим возможностями средств ИКТ ОН (не реализованы основные дидактические, психологические, эргономические, программно-технические требования к ПС ОН); методика традиционного обучения не адаптирована к возможностям средств ИКТ ОН, обеспечивающих интерактивность, компьютерную визуализацию изучаемых процессов, незамедлительную обратную связь; разработчики ПС ОН в основном слабо учитывают специфику предмета и его понятийного аппарата, возрастные особенности учащихся, санитарные нормы и требования к работе с вычислительной техникой.
 +
2. Недостаточная разработанность основных теоретических вопросов в области отбора критериев качества, их характеристик, граничных и ориентировочных параметров характеристик оценки качества, создания технологии экспертизы является причиной несовершенства сертификации средств и систем в сфере информатизации образования, что в свою очередь ведет к несовершенству экспертизы ПС ОН и недостаточной обоснованности экспертных заключений, особенно в пограничных областях оценок.
 +
3. Образовательные стандарты нового поколения для педагогических вузов предписывают учить студентов анализировать качество ПС ОН. Вместе с тем, отсутствие теории оценки качества ПС ОН и методических разработок по оценке качества, ориентированных на учителя, являются причиной слабой предметной подготовки учителей в области оценки качества ПС ОН. Таким образом, подготовка учителя нового поколения не обеспечивает ему возможности ориентироваться в огромном разнообразии программных средств, предлагаемых рынком.
 +
Выявленная группа противоречий определяет проблему исследования.
 +
Таким образом, актуальность исследования определяется необходимостью: разработки критериев, характеристик качества ПС ОН и параметров); создания рациональной и обоснованной технологии экспертизы ПС ОН; ориентации разработчиков на создание качественных ПС ОН; повышения уровня подготовки учителей в области оценки качества ПС ОН, что в конечном итоге повысит эффективность учебного процесса с использованием ПС ОН.
 +
Объект исследования — теоретические основы оценки качества программных средств образовательного назначения.
 +
Предмет исследования - процесс экспертизы ПС ОН, обеспечивающий объективную оценку качества и позволяющий свести до минимума субъективный фактор в оценке эксперта.
 +
Цель исследования - разработка основных теоретических положений оценки качества ПС ОН (критериев и характеристик оценки качества) и создание на их основе технологии оценки психолого-педагогических и эргономических характеристик качества.
 +
В основу исследования положена гипотеза о том, что метод последовательного приближения решения задачи оценки качества ПС ОН, основанный на использовании:
 +
- модели учебного процесса с использованием средств ИКТ ОН, ориентированной на исследование информационных процессов в обучении и выявление факторов, влияющих на усвоение учебной информации, учитывающей основные дидактические требования, предъявляемые к ПС ОН, психолого-физиологические характеристики обучаемого, возрастные и индивидуальные особенности учащихся, эргономические характеристики программного средства и позволяющую определить критерии и характеристики качества ПС ОН;
 +
- требований к системе оценки качества ПС ОН, разработанных на основе теории экспертных суждений и принятия решений экспертом, и требований к организации экспертизы и порядку ее проведения, разработанных на основе нормативных документов, регламентирующих деятельность государственных учреждений, занимающихся экспертизой и сертификацией ПС ОН,
 +
обеспечивает выбор критериев и групп характеристик оценки качества ПС ОН, определяющих реализацию технологии экспертизы.
 +
Исследование выполнялось в рамках использования концепции пригодности. Задача сравнительной оценки с целью выявления среди не-
 +
скольких однотипных ПС ОН наилучшего в данной работе не рассматривалась.
 +
Для достижения поставленной цели исследования были решены следующие задачи:
 +
1. Провести целевой анализ научной литературы по педагогике, психологии, психофизиологии, инженерной психологии, теории информации, квалиметрии, эргономике и специальной литературы, связанной с проблемой исследования, провести анализ практики проведения экспертизы и сертификации ПС ОН, определить проблему исследования, обосновать ее актуальность, определить пути разрешения проблемы исследования.
 +
2. Разработать комплексную модель учебного процесса с использованием средств ИКТ ОН, предназначенную для исследования информационных процессов в обучении с использованием средств ИКТ ОН, позволяющую учесть основные дидактические требования к ПС ОН, исследовать процессы восприятия учебной информации, описываемые эргономическими характеристиками ПС ОН, выявить основные критерии оценки и характеристики качества.
 +
3. Разработать требования к системе оценки качества ПС ОН (на основе теории экспертных суждений и принятия решений экспертом), требования к организации экспертизы ПС ОН и общему порядку ее проведения (на основе нормативных документов, регламентирующих деятельность государственных учреждений, занимающихся экспертизой и сертификацией ПС ОН), позволяющие создать технологию экспертизы психолого-педагогических и эргономических характеристик ПС ОН.
 +
4. Сформировать группы характеристик оценки качества ПС ОН, определить их граничные параметры (для характеристик, подлежащих изме-
 +
рению) и ориентировочные параметры (для характеристик, оцениваемых с помощью экспертных методов).
 +
5. Разработать методические материалы для экспертизы и сертификации ПС ОН, в том числе проекты стандартов психолого-педагогических и эргономических характеристик качества и методов их оценки, протоколы испытаний, а также методические руководства и технологические инструкции к ним.
 +
6. Экспериментально апробировать технологию оценки качества ПС ОН в организациях, занимающихся экспертизой и сертификацией ПС ОН, уточнить группы характеристик оценки, их граничные и ориентировочные параметры.
 +
7. Разработать алгоритмическое предписание оценки качества ПС ОН, позволяющее учителю оперативно оценить его педагогическую целесообразность и необходимость приобретения.
 +
Методологическими основами настоящего исследования, проводившегося на стыке наук и имеющего междисциплинарный характер явились работы: в области педагогики и педагогической психологии (Беспаль-ко В.П., Гальперин П.Я., Давыдов В.В., Лернер И.Я., Скаткин М.Н., Талызина Н.Ф., др.); в области теории и практики проведения педагогического эксперимента (Архангельский СИ., Бабанский Ю.К., Беляева А.П., Блинов В.М., Воробьева Г.В., Геркулов А.Г., Ильина Т.А., Павлов Ю.В., Пискунов А.И. и др.); квалиметрии (Азгальдов Г.Г., Бешелев С.Д., Ганцов Ш.К., Гли-чев А.В., Гурвич Ф.Г., Дружинин Г.В., Китаев Н.Н., Лисицин Г.Ф., Рай-хман Э.П., Солод Г.И. и др.); теории исследования операций (Венцель Е.С., Попов И.С, Морз Ф., Кимбелл Дж. ), использования экспертных методов в педагогических исследованиях (Марченко Е.К., Михеев В.И., Полонский В.М., Роберт И.В., Черепанов B.C. и др.); в области психологии, психофизиологии (Аткинсон Р., Акофф Р., Вудвортс Р., Гибсон Д.Д, Забродин
 +
Ю.М., Клацки Р., Лебедев А.Н., Линдсей П., Ляудис В.Я., Миллер Д., Миронова Л.Н., Норман Д., Роу К., Сергин В., Тростников В.Н., Филин В.А., Хьюбелл Д., Черри К., Шапиро СИ., Шахнович А.Г., Шеридан Т.Е., Шмидт Р., Штейнбух К., Эмери Р., Эндрю A.M., и др.); в области инженерной психологии и эргономики (Алферов А.В., Антипов И., Аткинсон Р., Бауэр Г., Вудсон У., Середа Г.К., Коновер Д., Коток М., Кумпфмюллер К., Ломов Б.Ф., Меньшов А.И., Мунипов В.М., Присняков В.Ф., Рубахин В.Ф., Эбингауз Г. и др.); в области теории информации и прикладной теории информации (Коган В.З., Моль А., Урсул А.Д., Хартли Р., Шеннон К.Э. и др.); в области программированного обучения (Архангельский СИ., Берг А.И., Ланда Л.Н., Талызина Н.Ф. и др.); в области теоретических основ и практики использования экспертных методов для проведения сертификационных испытаний программных средств образовательного назначения (Ваграменко Я.А., Галкина А.И., Позднеев Б.М., Роберт И.В., Шахин В.П.), в области информатизации образования (Андреев А.А., Бубнов В.А., Ваграменко Я.А., Зайнутдинова Л.Х., Козлов О.А., Колин К.К., Кузнецов А.А., Кузнецов Э.И., Лапчик М.П., Могилев А.В., Пак Н.Э., Панюкова СВ., Роберт И.В., Румянцев И.А., Софронова Н.В.).
 +
Методы исследования. Для решения поставленных задач использовались методы теоретического уровня: теоретический анализ положений психолого-педагогической науки по вопросам теории познания и процесса усвоения знаний; анализ научной литературы по оценке качества учебных пособий и программного обеспечения для системы образования, теории и практики проведения педагогического эксперимента; экспертным методам оценки в педагогических исследованиях, квалиметрии, психологии, психофизиологии, теории информации, эргономики, экспертно-аналитической деятельности по оценке качества ПС ОН и их сертификации.
 +
В процессе исследования была построена комплексная модель учебного процесса с использованием средств ИКТ ОН, позволяющая учесть основные дидактические требования к ПС ОН, исследовать процессы восприятия учебной информации, описываемые эргономическими характеристиками ПС ОН, выявить основные критерии оценки и характеристики качества.
 +
В качестве базового метода исследования использовался итерационный метод, получивший название метода последовательного приближения решения задачи оценки качества ПС ОН.
 +
В теории информации хорошо известны подобные методы для решения технических задач. Суть его состоит в следующем. На первом этапе отбирается и детально анализируется большой объем теоретической информации на пригодность для решения проблемы исследования. На основании этой информации формируется базовая модель оценки и направления дальнейшего углубления модели. Это первое приближение решения задачи. На следующем этапе осуществляется виток последовательного приближения решения задачи. Идет наращивание модели оценки, устанавливаются и уточняются критерии оценки, уточняются основные направления решения поставленной задачи.
 +
На последующих этапах идет разбиение критериев оценки качества ПС ОН на характеристики качества, формирование системы оценки качества ПС ОН, уточнение групп характеристик качества и их параметров.
 +
На последнем этапе осуществляется окончательная адаптация системы оценки качества к конкретным условиям работы, отработка технологии экспертизы качества ПС ОН и уточнение характеристик оценки, их граничных и ориентировочных параметров применительно к рационализации технологии экспертизы.
 +
Научная новизна определяется предложенным в исследовании системном подходе к решению проблемы оценки качества ПС ОН, реализованным в разработке:
 +
метода исследования, основанного на методе итераций и базовой модели - информационно-кибернетической модели учебного процесса с использованием средств ИКТ ОН, отличающейся от известных моделей тем, что она обеспечивает исследование информационных процессов в обучении и выявление факторов, влияющих на усвоение учебной информации с позиций таких наук, как педагогика, психология, психофизиология, инженерная психология, теория информации, квалиметрия, эргономика;
 +
комплексной модели учебного процесса с использованием средств ИКТ ОН, отличающейся от ранее известных тем, что она включает в себя информационно-кибернетическую модель учебного процесса (обеспечивающую исследование информационных процессов в обучении и факторов, влияющих на усвоение учебной информации), учитывает основные дидактические требования к ПС ОН, психолого-физиологические и возрастные особенности восприятия информации, санитарно-гигиенические требования и нормы работы с вычислительной техникой, эргономические характеристики ПС ОН и позволяет выделить основные критерии и характеристики оценки качества ПС ОН; требований к системе оценки качества ПС ОН, разработанных на основе теории экспертных суждений и принятия решений экспертом, и требований к организации экспертизы и порядку ее проведения, разработанных на основе нормативных документов, регламентирующих деятельность государственных учреждений, занимающихся экспертизой и сертификацией ПС ОН, позволивших сформировать группы характеристик оценки качества, их граничные и ориентировочные параметры.

Текущая версия на 04:40, 30 сентября 2010

Экспертно-аналитические методы оценки программных средств образовательного назначения

Международные стандарты, такие как стандарты серии ISO 9000, не учитывают специфику современного программного обеспечения для системы образования и мало пригодны для практического использования. ПС ОН не входят в перечень товаров и услуг, подлежащих обязательной сертификации. Сертификацию ПС ОН осуществляют несколько испытательных лабораторий «Системы добровольной сертификации средств и систем в сфере информатизации (РОСИНФОСЕРТ)», но ее нормативная база не является совершенной, поскольку не регламентирует состав и значения основных характеристик качества ПС ОН и методы их оценки, не отражает технологию проведения экспертизы. Технология оценки качества является той основой, на которой строится вся экспертиза системы сертификации ПС ОН. В настоящее время сдерживание темпов развития экспертизы и сертификации ПС ОН происходит именно из-за отсутствия теории оценки качества ПС ОН. Над вопросами теории и технологии оценки качества ПС ОН работают: Отраслевой фонд алгоритмов и программ (ОФАП) Государственного координационного центра информационных технологий, Институт информатизации образования (ИНИНФО), Институт информатизации образования Российской академии образования, СЦНИТ МГТУ «Станкин», Всероссийский НИИ проблем вычислительной техники и информатики Министерства связи России. Эта тема тесно переплетается с необходимостью разработки стандартов, отвечающих современным требованиям санитарно-гигиенических норм, как средств вычислительной техники, так и ПС ОН. Программы информатизации образования России включали такие направления исследований, как разработка теоретических основ оценки качества программных средств, создание органов по их сертификации, развитие системы сертификации программного обеспечения для системы образования. Тема оценки качества ПС ОН являлась предметом обсужде- ния круглых стслов в Комитете при Президенте по информационной политике и Госкомсвязи России, на Втором международном конгрессе ЮНЕСКО, и различных научных конференциях. Новые государственные образовательные стандарты для педагогических вузов содержат темы оценки качества ПС ОН. Так в курсе «Теория и методика обучения информатике» (специальность 030100 «Информатика») стандарт предписывает учить студентов проводить анализ учебных и методических пособий, программного обеспечения по курсу информатики, организовывать проверку и оценку результатов обучения. В курсе «Информационные и коммуникационные технологии в образовании» (специальность 030100 «Информатика») стандарт включает следующие темы: дидактические основы создания и использования средств информационных и коммуникационных технологий образовательного назначения (ИКТ ОН), педагогико-эргономические требования к созданию и использованию электронных средств учебного назначения, оценка их качества, педагогико-эргономические условия эффективного и безотказного использования средств вычислительной техники. Однако учебные заведения испытывают трудности с разработкой этих курсов из-за недостаточного методического обеспечения в вопросах оценки качества ПС ОН. В педагогической науке существуют методы, пригодные для оценки качества ПС ОН: экспериментальная оценка, экспертная оценка, комплексная оценка, получившая в ряде работ название экспертно-аналитической оценки качества ПС ОН. Так экспериментальная оценка качества ПС ОН осуществляется методами педагогического эксперимента. Для постановки и организации экспериментальной оценки качества ПС ОН можно использовать работы по теории и практике проведения педагогического эксперимента Архангельского СИ., Бабанского Ю.К., Беляевой А.П., Геркулова А.Г., Грабаря М.И., Ильиной Т.А., Краснянской К.А., Пискунов А.И. и др. Правильно поставленный сравнительный педагогический эксперимент позволяет в настоящее время обеспечить наибольшую достоверность оценки качества ПС ОН. Большинство ПС ОН, поступающих на рынок программных средств, в той или иной мере проходят апробацию в реальных условиях обучения. На практике часто оказывается так, что разрабатывают методику эксперимента, организуют и проводят педагогический эксперимент те же специалисты, которые участвуют в создании программного средства. Они часто идут по пути упрощения педагогического эксперимента. Поэтому допускаются методические погрешности и искажения результатов эксперимента, в том числе и в рекламных целях, поскольку за достоверность его результатов разработчики никакой ответственности не несут. В последнее десятилетие в педагогической науке большое внимание уделяется экспертным методам оценки педагогических исследований и разработок, в том числе и ПС ОН. Разработаны методологические основы использования экспертных методов в педагогических исследованиях, ориентированные на использование программных средств (Марченко Е.К., Михеев В.И., Полонский В.М., Черепанов B.C.), определены основные методические цели, которые наиболее эффективно реализуются с использованием ПС ОН. Разработана типология программных средств по функциональному и методическому назначению, дидактические требования к ПС ОН, сформулированы основные положения экспертно-аналитической деятельности по оценке качества ПС ОН и анализа их педагогической целесообразности (Роберт И.В., Кузнецов А.А., Сергеева Т.А. и др.). Сформированы теоретические основы разработки технологии применения программно-методических средств в учебном процессе общеобразовательной школы (Софронова Н.В., Зайнутдинова Л.Х.). Разработаны также психологические основы организации диалога учащегося с ИКТ (Горелов И.Н., Машбиц Е.И., Тихомиров O.K.). Успешно развивается Система добровольной сертификации средств и систем в сфере информатизации РОСИНФОСЕРТ, разработаны организационно-методические документы этой системы (Позднеев Б.М., Шахин В.П.). Вопросы практического использования экспертных методов для проведения сертификационных испытаний ПС ОН отражены в работах Ваграменко Я.А., Галкиной А.И., Роберт И.В. Вместе с тем, в настоящее время отсутствуют работы, ориентированные на комплексный подход решения проблемы оценки качества ПС ОН и на создание технологии их оценки. Недостаточно разработаны основные вопросы теории оценки качества. Такие вопросы, как критерии оценки и характеристики качества до недавнего времени были мало исследованы и достаточно спорны. Это является причиной сложностей при организации и проведении экспертизы ПС ОН, вынесении экспертных заключений, особенно в пограничных областях оценок. Резюмируя вышеизложенное, можно выделить группу противоречий в подходах к оценке качества, разработки и использования ПС ОН в системе образования России: 1. Качество используемых ПС ОН в подавляющем большинстве не соответствует дидактическим возможностями средств ИКТ ОН (не реализованы основные дидактические, психологические, эргономические, программно-технические требования к ПС ОН); методика традиционного обучения не адаптирована к возможностям средств ИКТ ОН, обеспечивающих интерактивность, компьютерную визуализацию изучаемых процессов, незамедлительную обратную связь; разработчики ПС ОН в основном слабо учитывают специфику предмета и его понятийного аппарата, возрастные особенности учащихся, санитарные нормы и требования к работе с вычислительной техникой. 2. Недостаточная разработанность основных теоретических вопросов в области отбора критериев качества, их характеристик, граничных и ориентировочных параметров характеристик оценки качества, создания технологии экспертизы является причиной несовершенства сертификации средств и систем в сфере информатизации образования, что в свою очередь ведет к несовершенству экспертизы ПС ОН и недостаточной обоснованности экспертных заключений, особенно в пограничных областях оценок. 3. Образовательные стандарты нового поколения для педагогических вузов предписывают учить студентов анализировать качество ПС ОН. Вместе с тем, отсутствие теории оценки качества ПС ОН и методических разработок по оценке качества, ориентированных на учителя, являются причиной слабой предметной подготовки учителей в области оценки качества ПС ОН. Таким образом, подготовка учителя нового поколения не обеспечивает ему возможности ориентироваться в огромном разнообразии программных средств, предлагаемых рынком. Выявленная группа противоречий определяет проблему исследования. Таким образом, актуальность исследования определяется необходимостью: разработки критериев, характеристик качества ПС ОН и параметров); создания рациональной и обоснованной технологии экспертизы ПС ОН; ориентации разработчиков на создание качественных ПС ОН; повышения уровня подготовки учителей в области оценки качества ПС ОН, что в конечном итоге повысит эффективность учебного процесса с использованием ПС ОН. Объект исследования — теоретические основы оценки качества программных средств образовательного назначения. Предмет исследования - процесс экспертизы ПС ОН, обеспечивающий объективную оценку качества и позволяющий свести до минимума субъективный фактор в оценке эксперта. Цель исследования - разработка основных теоретических положений оценки качества ПС ОН (критериев и характеристик оценки качества) и создание на их основе технологии оценки психолого-педагогических и эргономических характеристик качества. В основу исследования положена гипотеза о том, что метод последовательного приближения решения задачи оценки качества ПС ОН, основанный на использовании: - модели учебного процесса с использованием средств ИКТ ОН, ориентированной на исследование информационных процессов в обучении и выявление факторов, влияющих на усвоение учебной информации, учитывающей основные дидактические требования, предъявляемые к ПС ОН, психолого-физиологические характеристики обучаемого, возрастные и индивидуальные особенности учащихся, эргономические характеристики программного средства и позволяющую определить критерии и характеристики качества ПС ОН; - требований к системе оценки качества ПС ОН, разработанных на основе теории экспертных суждений и принятия решений экспертом, и требований к организации экспертизы и порядку ее проведения, разработанных на основе нормативных документов, регламентирующих деятельность государственных учреждений, занимающихся экспертизой и сертификацией ПС ОН, обеспечивает выбор критериев и групп характеристик оценки качества ПС ОН, определяющих реализацию технологии экспертизы. Исследование выполнялось в рамках использования концепции пригодности. Задача сравнительной оценки с целью выявления среди не- скольких однотипных ПС ОН наилучшего в данной работе не рассматривалась. Для достижения поставленной цели исследования были решены следующие задачи: 1. Провести целевой анализ научной литературы по педагогике, психологии, психофизиологии, инженерной психологии, теории информации, квалиметрии, эргономике и специальной литературы, связанной с проблемой исследования, провести анализ практики проведения экспертизы и сертификации ПС ОН, определить проблему исследования, обосновать ее актуальность, определить пути разрешения проблемы исследования. 2. Разработать комплексную модель учебного процесса с использованием средств ИКТ ОН, предназначенную для исследования информационных процессов в обучении с использованием средств ИКТ ОН, позволяющую учесть основные дидактические требования к ПС ОН, исследовать процессы восприятия учебной информации, описываемые эргономическими характеристиками ПС ОН, выявить основные критерии оценки и характеристики качества. 3. Разработать требования к системе оценки качества ПС ОН (на основе теории экспертных суждений и принятия решений экспертом), требования к организации экспертизы ПС ОН и общему порядку ее проведения (на основе нормативных документов, регламентирующих деятельность государственных учреждений, занимающихся экспертизой и сертификацией ПС ОН), позволяющие создать технологию экспертизы психолого-педагогических и эргономических характеристик ПС ОН. 4. Сформировать группы характеристик оценки качества ПС ОН, определить их граничные параметры (для характеристик, подлежащих изме- рению) и ориентировочные параметры (для характеристик, оцениваемых с помощью экспертных методов). 5. Разработать методические материалы для экспертизы и сертификации ПС ОН, в том числе проекты стандартов психолого-педагогических и эргономических характеристик качества и методов их оценки, протоколы испытаний, а также методические руководства и технологические инструкции к ним. 6. Экспериментально апробировать технологию оценки качества ПС ОН в организациях, занимающихся экспертизой и сертификацией ПС ОН, уточнить группы характеристик оценки, их граничные и ориентировочные параметры. 7. Разработать алгоритмическое предписание оценки качества ПС ОН, позволяющее учителю оперативно оценить его педагогическую целесообразность и необходимость приобретения. Методологическими основами настоящего исследования, проводившегося на стыке наук и имеющего междисциплинарный характер явились работы: в области педагогики и педагогической психологии (Беспаль-ко В.П., Гальперин П.Я., Давыдов В.В., Лернер И.Я., Скаткин М.Н., Талызина Н.Ф., др.); в области теории и практики проведения педагогического эксперимента (Архангельский СИ., Бабанский Ю.К., Беляева А.П., Блинов В.М., Воробьева Г.В., Геркулов А.Г., Ильина Т.А., Павлов Ю.В., Пискунов А.И. и др.); квалиметрии (Азгальдов Г.Г., Бешелев С.Д., Ганцов Ш.К., Гли-чев А.В., Гурвич Ф.Г., Дружинин Г.В., Китаев Н.Н., Лисицин Г.Ф., Рай-хман Э.П., Солод Г.И. и др.); теории исследования операций (Венцель Е.С., Попов И.С, Морз Ф., Кимбелл Дж. ), использования экспертных методов в педагогических исследованиях (Марченко Е.К., Михеев В.И., Полонский В.М., Роберт И.В., Черепанов B.C. и др.); в области психологии, психофизиологии (Аткинсон Р., Акофф Р., Вудвортс Р., Гибсон Д.Д, Забродин Ю.М., Клацки Р., Лебедев А.Н., Линдсей П., Ляудис В.Я., Миллер Д., Миронова Л.Н., Норман Д., Роу К., Сергин В., Тростников В.Н., Филин В.А., Хьюбелл Д., Черри К., Шапиро СИ., Шахнович А.Г., Шеридан Т.Е., Шмидт Р., Штейнбух К., Эмери Р., Эндрю A.M., и др.); в области инженерной психологии и эргономики (Алферов А.В., Антипов И., Аткинсон Р., Бауэр Г., Вудсон У., Середа Г.К., Коновер Д., Коток М., Кумпфмюллер К., Ломов Б.Ф., Меньшов А.И., Мунипов В.М., Присняков В.Ф., Рубахин В.Ф., Эбингауз Г. и др.); в области теории информации и прикладной теории информации (Коган В.З., Моль А., Урсул А.Д., Хартли Р., Шеннон К.Э. и др.); в области программированного обучения (Архангельский СИ., Берг А.И., Ланда Л.Н., Талызина Н.Ф. и др.); в области теоретических основ и практики использования экспертных методов для проведения сертификационных испытаний программных средств образовательного назначения (Ваграменко Я.А., Галкина А.И., Позднеев Б.М., Роберт И.В., Шахин В.П.), в области информатизации образования (Андреев А.А., Бубнов В.А., Ваграменко Я.А., Зайнутдинова Л.Х., Козлов О.А., Колин К.К., Кузнецов А.А., Кузнецов Э.И., Лапчик М.П., Могилев А.В., Пак Н.Э., Панюкова СВ., Роберт И.В., Румянцев И.А., Софронова Н.В.). Методы исследования. Для решения поставленных задач использовались методы теоретического уровня: теоретический анализ положений психолого-педагогической науки по вопросам теории познания и процесса усвоения знаний; анализ научной литературы по оценке качества учебных пособий и программного обеспечения для системы образования, теории и практики проведения педагогического эксперимента; экспертным методам оценки в педагогических исследованиях, квалиметрии, психологии, психофизиологии, теории информации, эргономики, экспертно-аналитической деятельности по оценке качества ПС ОН и их сертификации. В процессе исследования была построена комплексная модель учебного процесса с использованием средств ИКТ ОН, позволяющая учесть основные дидактические требования к ПС ОН, исследовать процессы восприятия учебной информации, описываемые эргономическими характеристиками ПС ОН, выявить основные критерии оценки и характеристики качества. В качестве базового метода исследования использовался итерационный метод, получивший название метода последовательного приближения решения задачи оценки качества ПС ОН. В теории информации хорошо известны подобные методы для решения технических задач. Суть его состоит в следующем. На первом этапе отбирается и детально анализируется большой объем теоретической информации на пригодность для решения проблемы исследования. На основании этой информации формируется базовая модель оценки и направления дальнейшего углубления модели. Это первое приближение решения задачи. На следующем этапе осуществляется виток последовательного приближения решения задачи. Идет наращивание модели оценки, устанавливаются и уточняются критерии оценки, уточняются основные направления решения поставленной задачи. На последующих этапах идет разбиение критериев оценки качества ПС ОН на характеристики качества, формирование системы оценки качества ПС ОН, уточнение групп характеристик качества и их параметров. На последнем этапе осуществляется окончательная адаптация системы оценки качества к конкретным условиям работы, отработка технологии экспертизы качества ПС ОН и уточнение характеристик оценки, их граничных и ориентировочных параметров применительно к рационализации технологии экспертизы. Научная новизна определяется предложенным в исследовании системном подходе к решению проблемы оценки качества ПС ОН, реализованным в разработке: метода исследования, основанного на методе итераций и базовой модели - информационно-кибернетической модели учебного процесса с использованием средств ИКТ ОН, отличающейся от известных моделей тем, что она обеспечивает исследование информационных процессов в обучении и выявление факторов, влияющих на усвоение учебной информации с позиций таких наук, как педагогика, психология, психофизиология, инженерная психология, теория информации, квалиметрия, эргономика; комплексной модели учебного процесса с использованием средств ИКТ ОН, отличающейся от ранее известных тем, что она включает в себя информационно-кибернетическую модель учебного процесса (обеспечивающую исследование информационных процессов в обучении и факторов, влияющих на усвоение учебной информации), учитывает основные дидактические требования к ПС ОН, психолого-физиологические и возрастные особенности восприятия информации, санитарно-гигиенические требования и нормы работы с вычислительной техникой, эргономические характеристики ПС ОН и позволяет выделить основные критерии и характеристики оценки качества ПС ОН; требований к системе оценки качества ПС ОН, разработанных на основе теории экспертных суждений и принятия решений экспертом, и требований к организации экспертизы и порядку ее проведения, разработанных на основе нормативных документов, регламентирующих деятельность государственных учреждений, занимающихся экспертизой и сертификацией ПС ОН, позволивших сформировать группы характеристик оценки качества, их граничные и ориентировочные параметры.