Реферат: В. С. Соболев, С. А. Степанов, А. Ю. Щербаков, В. В

В.С. Соболев, С.А. Степанов, А.Ю. Щербаков, В.В. Азарьева

РЕЗУЛЬТАТЫ ПИЛОТНОЙ АПРОБАЦИИ МЕТОДИКИ САМООЦЕНКИ ВУЗА НА БАЗЕ НОВОЙ МОДЕЛИ СМК

1. Введение

   В настоящее время в России разворачиваются следующие тесно взаимосвязанные между собой процессы:
   1) Переход к комплексной оценке деятельности вузов, совмещающей процедуры лицензирования, аттестации и государственной аккредитации на базе утвержденного перечня показателей деятельности вузов, включающего, в частности, и показатели наличия и эффективности внутривузовских систем контроля качества образования.
   2) Усиление конкуренции между вузами на рынке образовательных услуг и рынке трудовых ресурсов.
   3) Интернационализация образования и вступление России в общее Европейское образовательное пространство после подписания Болонской декларации, которая требует унификации процессов контроля, обеспечения и гарантии качества предоставляемых образовательных услуг.
   4) Широкое распространение в вузах страны работ по созданию, внедрению и сертификации внутривузовских систем управления качеством в соответствии с требованиями и рекомендациями международных стандартов по менеджменту качества серии ISO 9000:2000 (ГОСТ Р ИСО 9000-2001) и других моделей менеджмента качества.
   5) Регулярное проведение с 2000 г. конкурса Минобразования России «Внутривузовские системы обеспечения качества подготовки специалистов» и других региональных конкурсов по качеству.

   Указанные обстоятельства делают актуальной задачу разработки единой концепции, базовой модели и методики самооценки (оценки) систем менеджмента качества (СМК) Российских вузов, согласованных с отечественной и общемировой практикой построения систем обеспечения качества образовательных учреждений.

   Такая модель и методика ее самооценки (оценки) могла бы, с одной стороны, использоваться вузами с целью постоянного совершенствования внутренних процессов управления и повышения качества образовательного процесса, а, с другой стороны, служила бы основой для проведения внешней экспертизы наличия и эффективности системы менеджмента качества вуза при проведения аттестационной экспертизы и государственной аккредитации вузов.

   При этом в данном докладе под моделью СМК понимается определенная совокупность критериев, подкритериев и их составляющих, характеризующих основные компоненты деятельности вуза с позиций принципов менеджмента качества, а также описание уровней совершенства всех составляющих, которые в совокупности определяют все процессы деятельности организации, направленные на достижение требуемых результатов по качеству.

   Необходимо отметить, что в настоящее время в России действует система государственного контроля качества ВПО, поддерживаемая процедурой комплексной оценки деятельности вузов, совмещающей процедуры лицензирования, аттестации и государственной аккредитации. Эта система базируется на упомянутом выше перечне показателей деятельности вузов, используемом при аттестационной экспертизе и государственной аккредитации, который, в частности включает показатель 1.2.4, отражающий наличие и эффективность внутривузовской системы контроля качества образования. Тем не менее, сами критерии наличия и эффективности СМК качества вуза в настоящее время не определены, что существенно затрудняет проведение внешней экспертизы при аттестации и государственной аккредитации вузов.

   Кроме того, внедрение принципов и методов менеджмента качества в Российских вузах в настоящее время существенно осложняют следующие факторы:
   - глубокие традиции, устоявшиеся системы управления, инерция и противодействие попыткам внедрения современных методов менеджмента качества, как со стороны руководства, так и со стороны профессорско-преподавательского состава;
   - отсутствие квалифицированных менеджеров на среднем уровне управления в образовательных учреждениях;
   - отсутствие необходимых методических пособий и рекомендаций по внедрению принципов менеджмента качества в вузах;
   - утрата связи с предприятиями промышленности и, как результат, ведение обучения в отрыве от потребностей сегодняшнего дня;
   - несоответствие систем управления на разных уровнях системы образования России.

В процессе выполнения проекта по Научно-методической программе Министерства образования РФ в 2003 г. в СПбГЭТУ «ЛЭТИ» разработана новая модель СМК вуза. С этой целью был проведен анализа отечественного и зарубежного опыта в этой области, включая Россию, страны Европы, США и Австралию, а также сравнительное исследование около 10 различных моделей СМК, используемых в высшем образовании.

Решением координационного Совета по управлению качеством Высшего профессионального образования при Министерстве образования и науки России разработанная модель СМК вуза принята в качестве базовой для оценки наличия и эффективности СМК при проведении аттестационной экспертизы и государственной аккредитации вузов, а также принято решение провести пилотную апробацию этой модели для вузов России.

В настоящем докладе приводится описание разработанной новой модели СМК вуза, методология проведения самооценки с использованием Internet-технологий, а также анализ результатов, полученных при пилотной апробации методики самооценки СМК вуза на основе разработанной модели для вузов России.

^ 2. Анализ показателей государственной системы контроля качества ВПО и моделей СМК вузов

    В целях разработки концепции, модели и критериев эффективности внутривузовской системы менеджмента качества был проведен анализ отечественного и зарубежного опыта в этой области, включая Россию, страны Европы, США и Австралию [1]. В частности, был проведен анализ показателей аттестационной экспертизы и государственной аккредитации [2] и сравнительное исследование около 10 различных моделей систем менеджмента качества вузов, включая следующие модели:
    1) Модель системы менеджмента качества в соответствии с требованиями и рекомендация ми международных стандартов серии ISO 9001:2000 (ГОСТ Р ИСО 9001-2001) [3-5, 6];
    2) Модель Европейского фонда по менеджменту качества (EFQM) и ее модификации для высшего образования [7-9];
    3) Модель премии Правительства РФ в области качества;
    4) Модель премии конкурса Министерства образования РФ «Внутривузовские системы обеспечения качества подготовки специалистов» 2003 г. [8]
    5) Модель Центра исследований политики в области высшего образования (CHEPS) университета Твенте (Нидерланды) [10].
    6) Модель Ассоциации университетов Нидерландов (VSNU) [11].
    7) Бельгийско-нидерландская модель (HBO Expert Group) [9].
    8) Модель национальной американской премии по качеству «Baldrige National Quality Award» в области образования [12].
    9) Модель эталонного тестирования для Австралийских университетов [13] и др.

В основе всех этих моделей лежит процессно-ориентированный подход, все они имеют большую степень совпадения, взаимно дополняют друг друга и отличаются только полнотой и глубиной охвата всех рабочих процессов организации и степенью перекрытия СМК с общей системой менеджмента вуза.
Проведенное исследование позволило сделать следующие выводы:

^ 2.1. Показателей государственной аккредитации

    Государственная система контроля качества ВПО, обеспечиваемая процедурой комплексной оценки деятельности вузов на базе утвержденного перечня показателей, государственной аккредитации (Приложение 1 к Приказу МО РФ от 29.06.2000 № 1965 «Об утверждении Перечня показателей государственной аккредитации и критериальных значений показателей, используемых при установлении вида высшего учебного заведения»), имеет ряд существенных недостатков с точки зрения современных принципов менеджмента качества:

    Показатели государственной аккредитации, описывающие общие возможности вуза и его позиционирование на рынке образовательных и научно-исследовательских услуг, такие как:
    1.1 – «Содержание подготовки»,
    2.1 – «Спектр реализуемых основных образовательных программ».
    2.2 – «Возможность продолжения образования по программам послевузовского и дополнительного профессионального образования»,
    2.3 – «Научные исследования. Спектр наук, в рамках которых выполняются научные исследования» и др.
имеют констатирующий характер и не позволяют судить о том, насколько современны учебные планы и рабочие программы преподаваемых дисциплин, насколько совершенна имеющаяся в вузе структура подготовки кадров по основным образовательным программам, структура научных исследований вуза или его бюджет.

    С другой стороны, например, Показатель 1.3 – «Информационно-методическое обеспечение образовательного процесса» не дает ответ на вопрос: «Какова степень удовлетворенности студентов и преподавателей качеством информационно-методического обеспечения образовательного процесса?».

    Показатель 1.4 – «Информатизация вуза» не дает ответ на вопрос: «Насколько эффективно и удобно для студентов и преподавателей используются компьютерные ресурсы вуза?».

    Показатель 1.6 – «Социальная поддержка студентов» не дает ответы на вопросы: «Насколько студенты удовлетворены внеучебная работой?», «Общежития есть, но насколько они удобны?», «Пункты общественного питания имеются, но какие там цены, качество питания и очереди?».

    Показатель 1.5 – «Материально-техническая база» не дает ответ на вопрос: «Учебно-лабораторная база достаточная, но насколько оборудованы аудитории средствами, поддерживающими современные технологии обучения и, вообще, не замерзают ли студенты в них зимой?» и т.д.

^ 2.2. Показатели самообследования вуза, предшествующего аттестационной экспертизе, существенно дополняют и расширяют области и глубину оценки, охватываемой показателями государственной аттестации и аккредитации, и непосредственно связаны с базовыми принципами менеджмента качества. Они:
    - четко отражают ориентацию на потребителя: студентов, выпускников и работодателей, и механизмы «измерения» их удовлетворенности (в том числе анкетирование);
   - в большей степени ориентированы на процессы вуза, а не только на его потенциальные возможности и результаты, т.е. они в определенной степени отвечают на вопросы «как организован сам процесс (обучения, научно-исследовательской деятельности и т.д.)»;
    - позволяют проследить динамику развития вуза по основным показателям;
    - показатель 1.10 «Анализ соответствия содержания образования потребностям рынка труда» отражает ориентированность содержания образования на его непосредственных потребителей;
    - включают оценку международной деятельности вуза, что соответствует международной практике оценки деятельности вузов и в современных условиях является весьма актуальным.

^ 2.3. Общие недостатки показателей аккредитации и самообследования

    Тем не менее, как показатели государственной аттестации и аккредитации, так и частично показатели самообследования не отражают ряд существенных моментов в деятельности вуза, которые в соответствии с базовыми принципами менеджмента качества влияют на качество подготовки специалистов:
    • лидирующая роль руководства вуза в вопросах качества;
    • формулировка миссии, видения, основных ценностей политики и стратегии вуза, планирование и следование поставленным целям;
    • механизмы регулярного сбора и анализа информации;
    • механизмы «измерения» удовлетворенности основных потребителей работы вуза (студентов, предприятий-работодателей, государства и др.);
    • оценка качества содержания образовательных программ;
    • оценка динамики развития вуза по всем показателям;
    • вопросы общего менеджмента в вузе, включая управление персоналом, инфраструктурой, материальными и информационными ресурсами, технологиями и т.п.;
    • финансово-экономическая деятельность вуза;
    • влияние вуза на общество, в то числе международная деятельность вуза и др.

^ 2.4. Базовые модели СМК в высшем образовании

    Все исследованные модели в определенной степени перекрываются по своим критериям и подкритериям и коррелированны между собой. Наиболее полно специфика качества в высшем образовании на настоящий момент отражена в Бельгийско-нидерландской модели улучшения качества высшего образования [9], которая основана на модели Европейского фонда по менеджменту качества (EFQM). Эта модель в свою очередь во многом совпадает с моделью конкурса МО России «Внутривузовские системы обеспечения качества подготовки специалистов» [8]. Таким образом, базовые критерии этих моделей могут служить прототипом для построения модели систем менеджмента качества в Российских вузах с учетом положительных сторон других исследованных моделей.

^ 2.5. Недостатки моделей типа EFQM

    Модель EFQM, как и другие модели, построенные на ее основе и адаптированные для высшего образования, не содержат в явном виде ряд критериев и требований, без которых невозможно адекватно оценить наличие и степень совершенства СМК, но которые явно содержатся в требованиях стандарта ISO 9001:2000 (ГОСТ Р ИСО 9001-2001) [4], в том числе:
    • внедрение процессного подхода;
    • управление документацией;
    • построение организационной структуры СМК;
    • построение, поддержание и развитие системы измерений и мониторинга;
    • планирование рабочих процессов вуза;
    • внутренние аудиты, самооценка вуза и его структурных подразделений;
    • постоянное улучшение, корректирующие и предупреждающие действия.

^ 2.6. Современные тенденции в обеспечении качества образования

    В настоящее время основной тенденцией в области обеспечения качества высшего образования становится перенос центра тяжести с процедур внешнего контроля качества образовательного процесса и его результатов на базе национальных систем аттестации и аккредитации в сторону внутренней самооценки (самообследования) вузов на основе тех или иных моделей менеджмента качества. Это обеспечивает перенос ответственности за качество и оценку качества туда, где она должна быть – в высшее учебное заведение, и приводит к существенной экономии материальных и временных ресурсов, выделяемых на проведение внешней экспертизы.

^ 3. Структура и критерии новой модели СМК вуза

   С учетом проведенного анализа исследованных моделей СМК вуза была разработана новая модель, критерии, подкритерии и составляющие которой представлены в Таблице 1.

    В основу модели, как упоминалось выше, положены Бельгийско-нидерландская модель улучшения качества высшего образования [9], основанная на модели Европейского фонда по менеджменту качества (EFQM), и модель конкурса Минобразования России «Внутривузовские системы обеспечения качества подготовки специалистов» [8], которые существенно дополнены требованиями и рекомендациями стандартов серии ISO 9000:2000 [3-5].
   Девять критериев рассматриваемой модели, как и в моделях, взятых за основу, сформированы в две группы: критерии группы «Возможности» и критерии группы «Результаты».

Таблица 1

Критерии

Подкритерии

^ 1. Лидирующая роль руководства

1.1 Личное участие руководства вуза в формировании и развитии миссии, видения, основных ценностей, политики, основных целей и задач в области качества

1.2 Личное участие руководства в обеспечении разработки, внедрения и постоянного совершенствования системы менеджмента качества (СМК) вуза

1.3 Личное участие руководства вуза в работе с внешними заинтересованными сторонами (потребителями, поставщиками, партнерами, представителями общественности и др.)

1.4 Личное участие руководства вуза в обеспечении обратной связи с персоналом для улучшения своей деятельности

^ 2. Политика и стратегия

2.1 Разработка и совершенствование политики и стратегии и степень участия в этих процессах заинтересованных сторон (студентов, персонала вуза, потребителей, поставщиков, партнеров, представителей общественности и др.)

2.2 Механизмы сбора и анализа разносторонней информации о результативности и эффективности функционирования вуза при формировании его политики и стратегии

2.3 Механизмы проекции внедрения политики и стратегии на все уровни управления, структурные подразделения и ключевые процессы вуза

2.4 Механизмы информирования персонала вуза и студентов о проводимой политике и стратегии

^ 3. Менеджмент персонала

3.1 Кадровая политика и принципы управления развитием персонала

3.2 Механизмы определения квалификационных требований к персоналу, его подготовке и повышению квалификации

3.3 Механизмы мотивации, вовлечения и поощрения персонала за деятельность по улучшению качества функционирования вуза

3.4 Обеспечение обратной связи и диалога между персоналом, студентами и руководством вуза

3.5 Повышение качества рабочей среды, обеспечение социальной защиты и повышение благосостояния персонала

^ 4. Ресурсы и партнеры

4.1 Управление финансовыми ресурсами вуза

4.2 Управление материальными ресурсами

4.3 Управление эффективностью технологий обучения и контроля знаний

4.4 Управление информационными ресурсами

4.5 Взаимодействие с внешними партнерами (работодателями, школами и лицеями, средними специальными учебными заведениями, другими вузами)

^ 5. Менеджмент процессов

5.1 Процессы системы менеджмента качества вуза

5.1.1 Внедрение процессного подхода

5.1.2 Управление документацией

5.1.3 Управление записями

5.1.4 Планирование и построение организационной структуры системы менеджмента качества, распределение ответственности и полномочий

5.1.5 Построение, поддержание и развитие системы измерений и мониторинга процессов вуза

5.1.6 Планирование рабочих процессов вуза

5.1.7 Внутренние аудиты (проверки) и самооценка вуза и его структурных подразделений.

5.1.8 Процессы, связанные с постоянным улучшением, корректирующие и предупреждающие действия

5.2. Основные рабочие процессы вуза

5.2.1 Маркетинговые исследования (Определение видения образования, требований потребителей к квалификационной характеристике, образовательному профилю вуза и учебным планам образовательных программ)

5.2.2 Формирование текущего содержания образовательной деятельности вуза по основным образовательным программам (учебных планов и рабочих программ дисциплин)

5.2.3 Разработка учебно-методических комплексов по дисциплинам учебных планов (УМК)

5.2.4 Отбор абитуриентов и прием студентов в вуз.

5.2.5 Процесс обучения.

5.2.6 Контроль и оценка качества образовательного процесса.

5.2.7 Контроль полученных знаний и навыков (зачеты, экзамены, итоговая аттестация и др.)

5.2.8 Консультации и помощь при выборе траекторий обучения, профессиональной адаптации и трудоустройстве

5.2.9 Деятельность вуза по реализации программ дополнительного профессионального образования

5.2.10 Научно-исследовательская деятельность

5.3 Вспомогательные рабочие процессы вуза

5.3.1 Процесс обеспечения учебного процесса учебно-методической литературой и библиотечное обслуживание

5.3.2 Формирование образовательной среды

5.3.3 Закупки и взаимодействие с поставщиками материальных ресурсов

5.3.4 Взаимодействие со школами, лицеями и будущими абитуриентами, довузовская подготовка

5.3.5 Воспитательная и внеучебная работа со студентами

5.3.6 Социальная поддержка студентов

^ 6. Удовлетворенность потребителей

6.1 Удовлетворенность студентов и выпускников

6.1.1 Механизмы сбора и анализа информации об удовлетворенности студентов и выпускников

6.1.2 Уровень удовлетворенности студентов и выпускников

6.2. Удовлетворенность работодателей

6.2.1 Механизмы сбора и анализа информации об удовлетворенности работодателей

6.2.2 Уровень удовлетворенности работодателей

^ 7. Удовлетворенность персонала

7.1. Механизмы сбора и анализа информации об удовлетворенности персонала

7.2. Уровень удовлетворенности персонала

^ 8. Влияние вуза на общество

8.1. Механизмы сбора информации о влиянии вуза на общество

8.2. Уровень восприятия вуза обществом

^ 9. Результаты деятельности вуза

9.1. Механизмы сбора и анализа информации о результатах деятельности вуза

9.2. Финансовые результаты деятельности вуза

9.3. Другие нефинансовые результаты деятельности вуза






   Как видно из описания наиболее существенная переработка в новой модели по сравнению с базовыми моделями сводилась к следующему:
   1) Несколько переупорядочены подкритерии первых четырех критериев.
   2) Выделены три основные группы процессов вуза:
   • процессы системы менеджмента качества, требуемые стандартом ISO 9001:2000 [4].
   • основные рабочие процессы вуза.
   • вспомогательные рабочие процессы вуза.
   Каждая из этих групп конкретизирована с учетом специфика работы вуза, причем предполагается, что оценка уровня совершенства каждого из выделенных процессов производится отдельно.
  3) Для критерия 6 «Удовлетворенность потребителей» выделены основные группы потребителей работы вуза:
   • студенты и выпускники;
   • предприятия-работодатели;
   • государственные органы (Министерство образования и науки, органы лицензирования, аттестации, аккредитации и др.).
  4) При формировании критериев группы «Результаты» были использованы следующие принципы:
    • подкритерии группы «Результаты» должны отражать два основных момента: используемые механизмы сбора и анализа информации относительно удовлетворенности потребителей, персонала и общества и собственно степень этой удовлетворенности различными аспектами работы вуза (на основании анкетирования и косвенных свидетельств);
   • степень удовлетворенности потребителей, персонала и общества должна оцениваться относительно всех аспектов работы вуза, которые определяются критериями, подкритериями и составляющими группы «Результаты» и относятся к рассматриваемой группе потребителей. Это позволяет реализовать для каждого критерия цикл Э. Деминга (PDCA) [1, 7], т.е. процесс постоянного совершенствования деятельности вуза по всем направлениям;
   • в процессе построения модели были определены и детализированы конкретные показатели и индикаторы, относительно которых оценивается степень удовлетворенности заинтересованных сторон. Эти показатели и индикаторы могут быть использованы в качестве основы при построении соответствующих анкет.

^ 4. Оценка уровней совершенства подкритериев и составляющих модели

   Для оценки всех подкритериев и составляющих группы модели были разработаны специальные квалиметрические шкалы, которые вербально описывают, пять упорядоченных «уровней совершенства» или стадий развития подкритериев и составляющих. Этим пяти уровням совершенства поставлена в соответствие 10-ти бальная числовая шкала (от 1 до 10 баллов). Это позволяет перейти от качественной оценки соответствующих подкритериев и составляющих (видов деятельности, работ) к их количественной оценке.

   В основу оценки уровней совершенства различных составляющих модели положены следующие шесть «измерений», соответствующих базовым принципам TQM:
   1) Степень ориентированности на потребителей и другие заинтересованные стороны (от минимального удовлетворения требованиям ГОС ВПО и до полного учета интересов всех заинтересованных сторон).
   2) Степень системности применяемого подхода (от краткосрочных эпизодических мер к планированию долговременной политики и стратегии).
   3) Степень распространенности в вузе применяемого подхода по уровням управления, различным подразделениям и процессам.
   4) Степень вовлеченности персонала вуза в соответствующие процессы.
   5) Степень документированности процедур процессов (от неформального исполнения к полностью документированным процессам).
   6) Степень ориентированности на предотвращение несоответствий и постоянное улучшение, а не на исправление возникающих проблем.
   В Таблице 2 приведен пример квалиметрической шкалы оценки для одного из основных рабочих процессов вуза.

^ 5. Условия проведения пилотной апробации методики самооценки вуза

   Пилотная апробация методики самооценки системы менеджмента качества (СМК) вуза проводилась в период с 17 марта по 20 мая 2004 года с использованием Internet-технологий на закрытой зоне Web-сайте СПбГЭТУ «ЛЭТИ» www.tqm.spb.ru/smk (имя пользователя: smk-member/пароль: tqm2004smk).

   Основной принцип проведения самооценки – ее конфиденциальность, при которой сведения по самооценке в процессе пилотной апробации не доступны другим вузам и Министерству образования и науки и используются только для вывода среднестатистических показателей по критериям модели.

В процессе проведения пилотной апробации:
   • информационные материалы с описанием модели СМК и методики самооценки вуза с сайта были скачаны более 120 вузами;
   • прошли официальную регистрацию на Web-сайте только 37 вузов;
   • полностью представили результаты самооценки 25 вузов.

Таблица 2.

№
п/п

Критерии, подкритерии и составляющие модели

Шкала оценки

5.2.6

Контроль и оценка качества образовательного процесса

№
уровня

^ Описание уровней совершенства составляющих модели

1

Оцениваются только компоненты учебно-методического обеспечения дисциплины на этапе их рассмотрения и утверждения. Каждый преподаватель самостоятельно определяет методологию оценки содержания и методов обучения, которые он реализует в своей деятельности.

1

2

2

Содержание и критерии оценки качества преподавания определяются группой преподавателей совместно по их собственной инициативе, например, в рамках кафедры. Сформулированы и задокументированы внутренние положения кафедры, определяющие содержание и критерии оценки качества преподавания. Разрабатывается единая политика оценки качества образовательного процесса вуза.

3

4

3

В вузе разработана и принята единая система оценки качества образовательного процесса со стороны администрации вуза, студентов, их родителей, потребителей и выпускников. Процедура контроля регламентирована внутренними нормативными документами. Определена периодичность проведения контроля и оценки. К разработке единой политики оценки качества образовательного процесса вуза привлекаются внешние эксперты, представители предприятий и организаций.

5

6

4

В вузе разработана и принята единая система оценки качества образовательного процесса со стороны администрации вуза, студентов, их родителей, потребителей и выпускников. Процедура контроля регламентирована внутренними нормативными документами. Определена периодичность проведения контроля и оценки. К процедурам проведения оценки привлекаются преподаватели вуза, студенты, предприятия и школы. На основе мнений и рекомендаций заинтересованных сторон процедура проведения оценки сравнивается с процедурами конкурирующих вузов и улучшается.

7

8

5

В вузе разработана и принята единая система оценки качества образовательного процесса со стороны администрации вуза, студентов, их родителей, потребителей и выпускников. Определена периодичность проведения контроля и оценки. На основе мнений и рекомендаций заинтересованных сторон процедура проведения оценки сравнивается с процедурами ведущих вузов страны и за рубежом и непрерывно улучшается. Имеются наглядные свидетельства того, что качество процедуры и ее результатов непрерывно улучшается в течение нескольких лет.

9

10



   При проведении самооценки с использованием Internet-технологий на web-сайте www.tqm.spb.ru для вузов, желающих принять участие в самооценке были представлены следующие опросные формы:
   1. Опросная форма относительно предпочтительной для вуза модели системы менеджмента качества (СМК).
   2. Опросная форма по самооценке уровней совершенства подкритериев и составляющих предлагаемой модели СМК вуза.
   3. Опросная форма по экспертной оценке весовых коэффициентов критериев, подкритериев и составляющих предлагаемой модели СМК вуза.

   На web-сайте были представлены краткое описание модели СМК вуза и инструкция по заполнению опросных форм и вводу результатов на информационный web-сервер.

   После ввода данных по самооценке каждый вуз имел возможность получить в режиме он-лайн ее графическое представление в виде «лепестковой» диаграммы по всем критериям модели (см. п. 6).

^ 6. Результаты проведения пилотной апробации методики самооценки вуза

   Статистические данные, собранные в процессе самооценки вузов с использованием Internet-технологий были представлены в виде матрицы результатов самооценки критериев и составляющих модели и матрицы результатов экспертной оценки весов критериев, подкритериев и составляющих модели.

   Первичная статистическая обработка полученных результатов предполагала оценку средних значений (математических ожиданий), среднеквадратических отклонений (СКО), минимальных и максимальных значений, а также построение гистограмм распределений для критериев, подкритериев и составляющих модели и весовых коэффициентов.

   Алгоритмы дальнейшей статистической обработки результатов самооценки вузов предусматривали:
   1. Проверку гипотез о равенстве дисперсий (СКО) распределений различных критериев модели.
   2. Проверку гипотез о равенстве математических ожиданий распределений критериев модели.
   3. Оценку коэффициентов парной корреляции между критериями модели.
   4. Выделение подгрупп критериев, средние значения которых различаются незначительно.
   Статистическая обработка результатов самооценки проводилась с использованием стандартных статистических функций Microsoft Excel и пакета статистической обработки данных STATGRAPHICS Plus 5.1.

   На Рис.1 представлена диаграмма предпочтительных моделей внутривузовской системы менеджмента качества, полученная по результатам анкетирования вузов, которая позволяет сделать вывод о том, что большинство вузов предпочитают использовать модель СМК в сооответствиисо стандартами серии ГОСТ Р ИСО 9000-2001.

   Значительно меньшее число вузов использует модель конкурса Минобразования РФ «Внутривузовские системы обеспечения качества подготовки специалистов» - 5 вузов. Такое распределение приоритетов по моделям СМК говорит о большем «доверии» вузов к требования и рекомендациям стандартов серии ГОСТ Р ИСО 9000-2001, чем к содержанию критериев модели конкурса Минобразования РФ «Внутривузовские системы обеспечения качества подготовки специалистов».

   В процессе статистической обработки результатов самооценки СМК вузов были рассчитаны средние значения, среднеквадратические отклонения оценок критериев модели и доверительные интервалы для них, которые представлены в Таблице 3.



Рис.1



^ Таблица 3.

Средние значения критериев модели и их 95% доверительные интервалы.

№
п/п

Среднее значение

Стандартная
ошибка

Нижний предел доверительного интервала

^ Верхний предел доверительного интервала

Критерий 1

5,39

0,34

4,68

6,09

Критерий 2

4,80

0,24

4,30

5,29

Критерий 3

4,88

0,25

4,34

5,43

Критерий 4

5,48

0,23

5,00

5,97

Критерий 5

5,46

0,22

4,99

5,92

Критерий 6

5,17

0,34

4,46

5,88

Критерий 7

4,32

0,37

3,53

5,10

Критерий 8

4,82

0,41

3,97

5,67

Критерий 9

5,82

0,29

5,21

6,43

   

На Рис. 2 доверительные интервалы для средних значений критериев модели представлены в графическом виде, что дает представление об их реальном разбросе.
   Стандартный F – тест проверки гипотезы о равенстве всех математических ожиданий оценок критериев модели обнаружил их значимое различие (значение F–статистики равно 2,21 при числе с