Виды и организация мониторинга

• СОДЕРЖАНИЕ
• ВВЕДЕНИЕ
• 1. Сферы применения мониторинга
• 2. Виды мониторинга
• 2.1 Виды мониторинга по целям
• 2.2 Виды мониторинга по основаниям экспертизы
• 3. Организация мониторинга
• 3.1 Принципы
• 3.2 Факторы и условия
• СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

Обеспечение должного качества производственного процесса достигается благодаря объективной информации о функционировании и развитии всех элементов производственной системы, получаемой в мониторинговом режиме.

В разных видах человеческой деятельности издавна применяется наблюдение, как особый способ познания, основанный на относительно длительном, целенаправленном и планомерном восприятии предметов и явлений окружающей действительности. Блестящие образцы организации наблюдений за природной средой были даны еще в первом веке нашей эры. Тридцать семь томов "Естественной истории" Гая Секунда Плиния (старшего) содержат сведения по астрономии, физике, географии, зоологии, ботанике, сельскому хозяйству, медицине, истории. Они стали наиболее полной энциклопедией вплоть до эпохи средневековья. Много позднее, в XX веке, в науке возник термин мониторинг для обозначения повторных целенаправленных наблюдений за одним или несколькими элементами окружающей среды в пространстве и времени.

Это понятие не имеет точного, однозначного толкования, поскольку применяется в разных сферах научно-практической деятельности. «Мониторинг» - это и форма исследования, и способ обеспечения сферы управления своевременной и качественной информацией. В данной публикации мониторинг рассматривается как система сбора, обработки, хранения и распространения информации об образовательной системе или отдельных ее элементах, ориентированная на информационное обеспечение управления, которая позволяет судить о состоянии объекта в любой момент времени и может обеспечить прогноз его развития.

Выделяют несколько оснований для классификации систем мониторинга:

1. По областям применения (в экологии и биологии, медицине, экономике и бизнесе, в промышленности и образовании).

2. По средствам проведения (бывает мониторинг педагогический, психологический, социологический, медицинский, демографический).

3. По способам сбора информации:

o первая группа включает те его виды, при которых возможно непосредственное описание объектов без каких-либо измерений;

o вторая группа - виды, требующие непосредственного физического измерения параметров объектов;

o третья группа - виды мониторинга, в ходе которого измерение параметров объекта проводится с использованием системы хорошо разработанных и общепринятых критериев или индикаторов;

o четвертая группа включает виды, при которых измерение проводится опосредованно, с привлечением технологий научного исследования, использованием особо оговоренных систем критериев и показателей.

Другими источниками для классификаций могут стать данные о потенциальных пользователях, способах распространения информации, времени реализации, широте охвата.

Информационный предполагает структуризацию, накопление, распространение информации и не предусматривает специально организованного обследования на этапе сбора информации.

Базовый выявляет новые проблемы и опасности до того, как они будут осознаны в сфере управления.

Проблемный позволяет исследовать закономерности процессов, степени опасностей, типологию проблем, известных и насущных в плане управления. Этот вид мониторинга может быть разбит на две составляющих в зависимости от задач:

· проблемный функционирования представляет собой базовый мониторинг локального характера, посвященный одной задаче или проблеме; его применение не ограничено временными рамками;

· проблемный развития завершается после решения задачи, хотя количество параллельно существующих проблем может быть достаточно большим; его основная особенность - динамичность, когда вопросы качества, инструментария и всей его системы должны решаться в узких временных рамках.

Управленческий имеет целью отслеживание и оценку эффективности, последствий и вторичных эффектов принятых решений. Для системы образования этот вид мониторинга может быть расширен путем исследования эффекта влияния, когда задачей становится построение систем оценок для определения динамики, качества влияния внешних или внутренних факторов.

Динамический: основанием для экспертизы служат данные о динамике развития того или иного объекта, явления или показателя.

Конкурентный: выбираются результаты идентичного обследования других образовательных систем.

Сравнительный: в качестве основания выступают результаты идентичного обследования одной или двух систем более высокого уровня.

Комплексный: используется несколько оснований для экспертизы.

Безосновной: предметом анализа являются результаты, полученные в одном исследовании. Такой способ не может быть корректным, но существует, порождая массу ошибок и недоразумений.

Первый - объективность информации; сам процесс должен опираться на объективные данные, получаемые в ходе информационного обмена между учебными элементами, непосредственно участвующими в производственном процессе и органами управления им. Запрашиваемые данные должны быть максимально формализованы и легко проверены. Информация, предоставляемая в обратном направлении, также должна быть конкретной и полезной.

Второй - сравнимость данных. Это требование обусловлено тем, что отслеживание результатов функционирования системы предполагает не только констатацию ее состояния, но и изучение изменений, которые в ней происходят. Возможность сравнения появляется только тогда, когда изучается один и тот же объект, на основе одинаковых эмпирических показателей.

Третий - адекватность; он предполагает изучение системы с учетом изменяющихся внешних условий (на соответствие им). Реализация этого принципа предполагает оценку влияния различных внешних факторов на осуществление производственного процесса. Такая оценка может быть осуществлена только на основе специально проведенных исследований.

Четвертый - прогностичность; имеется в виду получение данных, позволяющих прогнозировать будущее системы, возможные изменения в путях достижения поставленных целей. Этот принцип предполагает оценку возможных тенденций.

Можно добавить пятый принцип - целевого назначения, который предполагает получение необходимой и достаточной информации, исходя из обозначенной цели осуществляемой деятельности.

При проведении измерений в системах результаты часто оказываются смещенными, искаженными, неверно или неточно отражающими реальное состояние дел. Ниже приведен перечень факторов, знание которых необходимо при организации мониторинга и анализе его результатов.

Они могут быть условно разбиты на четыре группы (по Г.П. Щедровицкому):

· контролируемые при проведении измерения;

· контролируемые при определенных условиях;

· неконтролируемые, но учитываемые;

· неконтролируемые и неучитываемые.

1. Качество инструментария - контролируемый при проведении эксперимента фактор. Общеметодологическими требованиями к инструменту остаются валидность, надежность, удобство использования, соответствие целям обследования, корректность статистических процедур, стандартизированность, апробированность и др.

2. Профессионализм и подготовленность специалистов. Это фактор, контролируемый при проведении обследования. Процесс измерения разбивается, как правило, на несколько этапов: создание инструментария, проведение измерения, интерпретация результатов, подготовка рекомендаций, которые могут быть реализованы разными специалистами.

3. Изменение экспертов в процессе измерения. Данный фактор относится к контролируемым при определенных условиях. Причина этих изменений - научение, появление опыта, согласование позиций, когда мнение одного более авторитетного эксперта начинает смещать оценки других.

4. Статистическая регрессия: вариант искажения результатов в процессе проведения обследования подробно описан Кэмпбеллом.

5. Цикличность. Социальные процессы носят ярко выраженный цикличный характер, поэтому, занимаясь социальными измерениями, необходимо учитывать и эти факторы.

6. Отбор испытуемых. Варианты отбора и формирование экспериментальных групп - несомненно, один из центральных факторов, контроль за которым позволяет не только выровнять оценки, но и решить проблему распространения результатов обследования на более широкую популяцию.

7. Значимость индикатора и его смещение. В том случае, если существует индикатор, значимый для испытуемых (и он им известен), указанный индикатор испытывает неосознанное или осознаваемое воздействие со стороны испытуемых и начинает смещаться.

8. Нарушение в информационных потоках. Проводя измерения в социальных системах, мы априори предполагаем, что объект измерения обладает какой то значимой информацией, специальное знакомство с которой при измерении не предполагается. Но может быть так, что часть этой информации отсутствует или владение ею недостаточно.

9. Различные мотивации участников в естественных условиях. При изучении социальных систем достаточно привлекательной выглядит возможность получения информации в естественных условиях. Однако часто оказывается, что одни и те же действия, реализуемые в ситуациях управления, осуществляются с неодинаковыми целями.

10. Эффект повторного измерения. Если какое-либо задание уже выполнялось, это скажется при его повторении. Вопрос том, при каких условиях мы можем считать такие влияния достаточно малыми с точки зрения их воздействия на конечный результат измерения.

11. Изменения группы под влиянием отношений окружающих, вызванных экспериментальным воздействием. Попадая в те или иные экспериментальные условия, люди начинают оценивать свое положение относительно тех, кто в такие условия не попал. Если эти оценки активно поддерживаются окружением и референтными окружающими, то у представителей этой группы начинает вырабатываться иная система оценивания.

12. Групповая фальсификация результатов. Методологии классического эксперимента знает ситуацию, когда респонденты договариваются, какие оценки будут давать. Эта достаточно редкая ситуация возникает, когда нет непосредственного личного взаимодействия между "объектом" измерения и тем, кто его проводит.

13. Изменение группы в процессе проведения эксперимента. Эти изменения могут носить как случайный, так и систематический характер. Они могут быть естественными и спровоцированными.

14. Естественное развитие. В процессе эксперимента происходит естественное развитие как всей группы, так и ее отдельных членов. Причем чем меньше дети, тем динамика их развития больше.

15. Разные события для разных групп. Экспериментальные или сравнительные группы, отобранные для измерения, проживают собственную жизнь, наполненную событиями, определяющими процесс групповой динамики, и протекающую вне временной и территориальной зон эксперимента. Существует опасность, что различные воздействия в межэксперментальный период вызовут различные смещения оценок.

16. Различия во внутренней жизни групп. Кроме внешних событий, которые могут оказать существенное влияние на результаты, существует и объективные закономерности жизни группы, связанные с ее морфологией и определяющие качественные изменения, различные в каждом конкретном случае.

17. Различия в скорости протекания внутригрупповых процессов. Экспериментальное или управленческое воздействия на ту или иную группу могут дать одинаковый эффект. В одних группах он может проявиться быстро, и, соответственно, его можно зафиксировать. Другие группы преодолевают достаточно длительный период адаптации, прежде чем появится эффект, на который рассчитывали инициаторы воздействия. Существует реальная опасность зафиксировать отсутствие эффекта, хотя он еще просто не проявился.

18. Условия, вызывающие реакцию на эксперимент. Реальные изменения, наблюдаемые в условиях и вне эксперимента, могут оказаться неэквивалентными.

19. Интерференция воздействий возникает, когда один и тот же испытуемый подвергается различным воздействиям, разнесенным по времени.

20. Синергизм. В случае совместного проявления некоторых воздействий, одно из которых может носить естественный, а другое экспериментальный (отслеживаемый) характер, эффект может значительно превзойти предполагаемые и вероятные эффекты каждого из них. При этом существует опасность восприятия эксперимента как неудавшегося, поиск ошибок или третьего воздействия.

21. Компенсаторность. Один эффект может компенсировать другой: два или несколько воздействий, проявляясь одновременно, могут скомпенсировать эффект, который вызывается иными событиями. Примером повышение субъективных оценок уровня удовлетворенности заработной платой при наличии дополнительных возможностей для творчества.

1. Монография А.Н. Майорова "Мониторинг в образовании" (СПб., 2002) (Разделы I, II, III, IV, V, VII);

2. М.И. Иродова, Т.А. Степановой, О.Ф. Рожковой, В.В. Юдина "Использование системы мониторинга для управления НПО в условиях рынка" (Ярославль, 2004 г.) (Разделы V, VI);