С целью определения эффективности разработанной тренинговой модели и получения качественно-количественной характеристики актуального уровня развития психолого-акмеологической компетентности обучающихся как субъектов оценки и отбора персонала, нами были разработаны диагностические процедуры, которые помимо достижения цели диагностики, они одновременно реализуют задачи развития и актуализации способностей, умений и навыков, составляющих основу психолого-акмеологической компетентности субъектов оценки и отбора персонала. Ими являются: “Формулирование вопросов собеседования”, “Выявление критериев оценки и отбора персонала”, “Взаимооценка способности устанавливать оптимальный психологический контакт с кандидатом”, “Взаимооценка личностно-деловых качеств”, “Опросник по выявлению уровня психолого-акмеологической компетентности субъекта оценки и отбора персонала”.

            Методика “Формулирование вопросов собеседования”  была разработана на основании анализа работ Л.Я. Аверьянова [1987], С.А. Белановского [1993], А.А. Деркача и А.К. Марковой [1997], Г.А. Погосяна [1985], А.Л. Свенцицкого [1966, 1968], В.А. Ядова [1987] и др.

            Процедура оценивания заключалась в следующем. В середине первого и последнего дня занятий участникам тренинга предлагалось составить список вопросов  собеседования. “Бланк для работы с вопросами собеседования” приведен в приложении 8. В качестве предполагаемого “объекта” оценки и отбора был обозначен кандидат на должность заместителя руководителя организационным отделом администрации. В первый день, в качестве отправной информации, необходимой для составления перечня вопросов, послужили знакомство участников тренинга с положением об организационном отделе и должностными инструкциями заместителя руководителя организационным отделом администрации (этой информацией участники тренинга пользовались при выполнение последующих заданий), а так же их личное субъективное представление о особенностях деятельности в данной должности.

            Работа по составлению списка вопросов в последний день занятий была опосредована полученными в ходе обучения знаниями и умениями в сфере: анализа конкретной деятельности и вычленения критериев оценки и отбора, формулирования вопросов собеседования и порядка их предъявления с учетом целей и задач оценки и отбора.

            В итоге было получено 20 списков вопросов собеседования, составленных участниками тренинга в первый день занятий и столько же в последний. Контент-анализ полученных данных был направлен на выявление следующих аспектов: последовательность предъявления вопросов собеседования с учетом возможной трудности дать ответ (приложение 9); частота использования определенного типа вопроса (фактологический - мотивационный, закрытый - открытый, прямой - косвенный) (приложение 10); направленность содержания вопросов собеседования с учетом выделенных критериев оценки и отбора в процедуре “Выявление критериев оценки и отбора персонала” (приложение 11). Дальнейшая обработка данных проводилась с использованием t-критерия Стьюдента для связанных выборок, непараметрических критериев и методом кластерного анализа.

            Анализ  предполагаемой последовательности предъявления вопросов собеседования с учетом их значимости показал,  что в начале тренинга  для всей группы обучаемых характерен формальный подход. То есть  последовательное предъявление сформулированных ими вопросов без учета возможной трудности кандидата дать ответ. В конце тренинга тактика предъявления вопросов становится более оптимальной. Она заключается в установлении контакта с собеседником и выходом из него (рис. 4).

            Рис. 4. Предполагаемая последовательность вопросов с учетом возможной трудности кандидата дать ответ.

            Для более детального выделения использованных тактик предъявления вопросов собеседования вся выборка  (без выделения этапов тренинга) методом автоматической классификации была разделена на три подгруппы (рис. 5). Для лиц, вошедших в класс 1 (19 наблюдений),  характерен формальный подход, в класс 2  (11 наблюдений) - оптимальный алгоритм собеседования с установлением контакта и выходом из него, в класс 3 - алгоритм случайного перемешивания вопросов собеседования.

            Рис. 5. Тактика предъявления вопросов собеседования в первый день тренинга.

            Проведение тренинга  существенно изменило выбор тактики проведения собеседования (рис. 6).

            Рис. 6. Тактика предъявления вопросов собеседования в последний день тренинга.

            Так, если на начальном этапе тренинга формальный подход к собеседованию использовали 63%  обучаемых, то в конце тренинга их число снизилось до 37%, а число использующих алгоритм случайного перемешивания вопросов уменьшилось с 70% до 30%. Соответственно с 27% до 73%  увеличилось число обучаемых с оптимальной тактикой собеседования.

            Анализ использования  различных типов вопросов на начальном и заключительном этапах тренинга показал (рис. 7), что  если в начале тренинга  существенных различий в выборе того или иного типа вопроса не было, то в его конце стали преобладать мотивационные, открытые и косвенные вопросы.

            Причем эти различия (оцениваемые по t-критерию Стьюдента для связанных выборок) оказались статистически значимыми. Об этом свидетельствуют величины уровня доверительной вероятности (Р), приведенные в приложении 12.

            Рис. 7. Использование различных типов вопросов на начальном и конечном этапе тренинга.

            Сравнительный анализ степени отражения в вопросах собеседования выделенных критериев оценки и отбора показал на разных этапах тренинга, что сумма рангов (отражающая степень увеличения отражаемости критериев)  по всем выделенным критериям в конце тренинга увеличивается (рис. 8).

            Рис. 8. Направленность содержания вопросов собеседования с учетом выделенных критериев оценки и отбора.

            Содержание вопросов, сформулированных на заключительном этапе тренинга, в большей степени направлено на отражение таких критериев, как: мотивация к достижению, готовность к обучению, организаторские способности, системность мышления, ответственность в принятии решения.

            Достоверность описанных изменений оценивалась с использованием непараметрического критерия Манна-Уитни (U), значения которого, а также уровень доверительной вероятности различий (Р) приведены в приложении 13.

            В целом сравнительный анализ списков вопросов собеседования позволил установить качественные изменения в методической компетентности участников тренинга как субъектов оценки и отбора. Они проявились в том, что вопросы, составленные на заключительном этапе тренинга, сформулированы методически более корректно. 

            “Выявление критериев оценки и отбора персонала”. Данная диагностическо-развивающая процедура была разработана на основе анализа исследований [Т.Ю. Базаров, Х.А. Беков, Е.А. Аксенова, 1995; Е.И. Гарбер, В.В. Козача, 1992; А.К. Маркова, 1996; Найм..., 1995; К.К. Платонов, 1971; Е.С. Романова, Г.А. Суворова, 1990 и др.],  направленных на создание методов, позволяющих оптимизировать процесс выявления критериев оценки и отбора персонала. В основе разработанной процедуры заложена принципиальная возможность решать выше обозначенную задачу в рамках тренинга.

            С целью оптимизации работы участников тренинга была разработана “Бланк-анкета анализа деятельности” (приложение 14). На основании отраженных в нем позиций, обучающиеся провели анализ деятельности заместителя руководителя организационным отделом администрации посредством раскрытия действий (ежедневных и периодических),  необходимых  для решения стоящих перед ним задач. Среди рассматриваемых, в процессе групповой дискуссии, аспектов деятельности анализу подлежали такие основные аспекты, как: сферы принятия решений, ответственности, отчетности; порядок использования времени; проблемы, сопутствующие данной деятельности. Все действия были оценены с точки зрения их частоты употребления и степени важности для осуществления данной деятельности. В соответствии с каждым вариантом решения задачи и сферы необходимых действий подбирались критерии оценки и отбора, отражающие профессионально необходимые личностно-деловые качества кандидата. При определении критериев оценки и отбора, участники тренинга пользовались уже существующими перечнями: “Критерии оценки кандидатов при отборе руководителей территориальных агентств Федерального управления” [Т.Ю. Базаров, Х.А. Беков, Е.А. Аксенова, 1995]; “Рабочий вариант акмеограммы” [В.Г. Зазыкин, 1994]; “Критерии оценки сотрудников” [Н.И. Кабушкин]; “Требования к интеллектуальным и личным качествам консультантов по вопросам управления” [Управленческое..., 1992].

            При формировании итогового списка особо значимых критериев оценки и отбора использовался метод анализа иерархий, предполагавший поэтапное установление приоритетности критериев путем их парного сравнения по 9-балльной шкале. Результаты обрабатывались с использованием  программы “Выбор” (раздел 3.1). Итогом работы группы явился перечень из девяти критериев, который был включен в “Бланк оценки личностно-деловых качеств” (приложение 15).

            Чтобы оценить насколько осознанно участники тренинга выполнили работу по выявлению критериев оценки и отбора и в какой степени произошло приращение в уровне методической компетентности, мы провели процедуру, позволяющую определить степень согласованности мнений экспертов. Участникам тренинга было предложено проранжировать выделенные ими критерии оценки и отбора по степени их значимости. Для оценки согласованности мнений использовался коэффициент конкордации W, предложенный М. Кендэлом [1975]:

                        12  S

                        W =  ^{____________________}  ,     где

                        m² (n³ - m)

            n - количество рангов в последовательности;

            m - количество экспертов;

            S - сумма квадратов фактически встречающихся отклонений.

            Математическая обработка данных позволила установить, что значение коэффициента конкордации составило 0.52 и вошло в обозначенные М. Кендэлом пределы согласованности мнений экспертов (свыше 0.5 - 0.6).  Кроме того, было выявлено, что наиболее согласованные оценки были по следующим критериям: мотивация к достижению и готовность к обучению (рис. 9).

            Рис. 9. Степень согласованности мнений участников тренинга в отношении выделенных ими критериев оценки и отбора.

            “Взаимооценка способности устанавливать оптимальный психологический контакт с кандидатом”. Данная процедура направлена на выявление динамики развития социально-психологической компетентности субъекта оценки и отбора персонала. В ее основу положен метод экспертных оценок. В качестве экспертов выступают сами обучающиеся. Однозначное понимание оцениваемого качества за счет предварительного информационного материала о содержании социально-психологической компетентности, способствующей установлению оптимального контактов ходе оценки и отбора персонала, с целью получения необходимой информации о личности оцениваемого.

            В первый день участники тренинга были дифференцированы по подгруппам, по 5 человек в каждой. Это обусловлено тем,  что специалисты в области разработки и проведения  Центра оценки, установили - оптимальное число наблюдаемых “объектов” субъектами  оценки и отбора персонала не должно превышать 3 - 4 человека [Т.Ю. Базаров, Х.А. Беков, Е.А. Аксенова, 1995; Дж. Иванцевич, А.А. Лобанов, 1993; А.Н. Исаенко, 1988; В.С. Маньков, 1983; Л.И. Меньшиков, 1974 и др.].

            Каждый день тренинга включал в себя упражнение, в котором обучающиеся в рамках подгруппы интервьюировали друг друга. Тематика интервью охватывала те аспекты, которые в наибольшей степени затрагиваются реальными субъектами  оценки и отбора персонала в ходе взаимодействия с кандидатом: образование и повышение квалификации; трудовая деятельность; притязания и мотивация; финансовые ориентиры, связанные с новым местом работы; хобби, интересы и т. п.

            Алгоритм взаимодействия выражался в том, что попеременно каждый из членов подгруппы интервьюировал кого-либо из пятерки, а остальные выступали в качестве наблюдателей. На взаимодействие в рамках одного интервью отводилось 10 минут. В конце упражнения все участники подгруппы оценивали у друг друга по 5-балльной шкале выраженность способности устанавливать оптимальный психологический контакт с кандидатом в ходе интервью.   Результаты взаимооценки приведены в приложении 17.

            Динамика взаимооценок степени развития социально-психологической компетентности (рис. 10) показала, что изменение среднего балла имеет U-образную кривую.

            Рис. 10. Динамика взаимооценок степени развития социально-психологической компетентности.

            Эти данные отражают повышение уровня данной компоненты психолого-акмеологической компетентности субъекта оценки и отбора персонала, который характеризуется в последний день тренинга средним значением по всем обучающимся 4.4 балла.

            Достоверность изменения полученных оценок оценивалась по t-критерию Стьюдента для связанных выборок (таблица 2). Величина уровня доверительной вероятности Р во всех случаях не превышает значение 0.05.

            Приведенные в таблице данные свидетельствуют о том, что на второй день тренинга отмечается достоверное снижение взаимооценок, которые затем увеличиваются по мере накопления необходимых знаний и умений. Результат опроса участников тренинга позволил выявить, что оценки в первый день были ими несколько завышены из-за еще недостаточного умения проводить оценку данной компоненты психолого-акмеологической компетентности субъекта оценки и отбора персонала. В последующие дни, по мере развития данного умения и уровня осознанности используемой системы показателей оценки, у участников тренинга наблюдается рост функциональной обусловленности психолого-акмеологической компетентности субъекта оценки и отбора персонала.

            “Взаимооценка личностно-деловых качеств”. Данный метод был направлен на оценку степени развития умения использовать в практике оценивания  критерии оценки и отбора, выделенные в упражнении “Выявление критериев оценки и отбора персонала” (разработан на основании исследований Т.Ю. Базарова).  Взаимооценивание проводилось в подгруппах в конце второго и последнего дня, с использованием “Бланка оценки личностно-деловых качеств” (приложение 15). Оценки ставились по восьмибалльной шкале, разработанной для Центра оценки, проводимого при назначении руководителей территориальных агентств Федерального управления  по делам о несостоятельности (банкротстве) предприятий [Т.Ю. Базаров, 1995; Вестник..., 1994].

            Критерием успешности формируемого умения служила степень согласованности взаимооценок по одному отдельному критерию, отраженному в “Бланке оценки личностно-деловых качеств”, при оценивании конкретного участника подгруппы. Высокая степень согласованности характеризовалась отсутствием разниц во взаимооценках свыше двух баллов. (Данное условие соблюдается при проведении Центра оценки. В том случае, если разница оценок по отдельному критерию превышает 2 балла, проводится дополнительное обсуждение, необходимое для корректировки оценок).

            Обработка полученных результатов по каждой подгруппе проводилась с использованием бланка обобщения результатов взаимооценки личностно-деловых качеств участников тренинга (приложение 18).  В первой выборке совокупный показатель разниц в оценках, превысивших 2 балла (по всем подгруппам) составил значение 537. Во второй выборке данный показатель уменьшился до значения 179. Достоверность различий по всей совокупности значений проводилась с использованием t-критерия Стьюдента для связанных выборок. Уровень доверительной вероятности не превысил значение р = 0.017, что отразило тенденцию в развитии у участников тренинга умения осуществлять оценочно-отборочную деятельность достаточно объективно и непредвзято.

            “Опросник по выявлению уровня психолого-акмеологической компетентности субъекта оценки и отбора персонала”. Опросник направлен на определение интегральных изменений в развитии уровня психолого-акмеологической компетентности субъекта оценки и отбора персонала в процессе тренинга. Его использование позволяет осуществлять как качественную, так и количественную оценку актуального развития данного вида компетентности.

            Опросник включает в себя 10 критериев оценки, отражающих методическую (4 критерия), социально-психологическую (1 критерий), профессионально-управленческую (3 критерия) компетентность, а также стратегию оценки (1 критерий) и зону компетентности (1 критерий). Причем каждый из критериев имеет ряд показателей. Всего пространство показателей оценки уровня компетентности включает в себя 36 единиц (приложение 19).

            Количественную оценку уровня психолого-акмеологической компетентности субъекта оценки и отбора персонала (УК) предлагается проводить по формуле:

УК = а₁* МК + а₂* СП + а₃* ПУ + а₄* ОС + а₅* ЗК   (1)

где а_i, i=1-5 - вес каждого из элементов психолого-акмеологической компетентности субъекта оценки и отбора персонала, установленных с использованием метода анализа иерархий (а₁ = 0.08, а₂ = 0.05, а₃  = 0.09, а₄  = 0.23, а₅ = 0.55 ), расчет которых приведен в приложении 7;  МК, СП, ПУ, ОС, ЗК - интегральные показатели оценки методической, социально-психологической, профессионально-управленческой компетентности, комплексной оценочной стратегии и зоны компетентности соответственно. Указанные интегральные показатели вычисляются методом многомерного шкалирования  и изменяются в интервале от 0 до 1. Причем 0 соответствует  отсутствию оцениваемой характеристики, 1 (или 100%) - ее максимальной выраженности.

            Суть вычисления состоит в следующем. Для каждого из показателей соответствующей компоненты устанавливаются “наилучшая” (+) и “наихудшая” (-) альтернативы. Согласно использованной в приведенном опроснике шкале “наилучшая” альтернатива каждого показателя равна 5, “наихудшая” - 1.  Результаты оценки конкретного человека сравниваются с указанными альтернативами путем вычисления многомерного расстояния Евклида до “наилучшей” (D₊) и “наихудшей” (D_-).

            Например, оценка социально-психологической компетентности проводится по критерию “способность установить оптимальный психологический контакт с кандидатом”, который имеет 5 показателей, которые обозначим через х₁₅ - х₁₈.  Тогда:

D₊ = [(x₁₅ - 5)² +(x₁₆ - 5)² + (x₁₇ - 5)² + (x₁₈ - 5)²] ^1/2     (2)

D- = [(x₁₅ - 1)² +(x₁₆ - 1)² + (x₁₇ - 1)² + (x₁₈ - 1)²] ^1/2

   Интегральная оценка уровня социально-психологической компетентности (СП) проводится по формуле:

     СП = D_- /  (D₊ + D_-)     (3)

            Как следует из приведенных формул, если  у конкретного человека все оценки были наивысшими, то D₊ = 0 и СП = 1 (100%). То есть уровень социально-психологической компетентности максимальный. Если все оценки были наинизшими, то D_- = 1  и СП = 0. Это свидетельствует об отсутствии у данного руководителя социально-психологической компетентности.  При оценках между альтернативными  величина СП будет изменяться, таким образом, в интервале (0.1). Аналогичным образом вычисляются  и все остальные компоненты уровня компетентности. После подстановки их значений в формулу (1) определяется общий уровень компетентности руководителя.

            Пример. Результаты  опроса дали следующие значения показателей:

1)  по оценке методической компетентности  -  x₁ = 4;  x₂ = 5; x₃ = 4; x_{4  =} 4; x₅ = 5;  x₆ = 4;  x₇ = 5; x₈  = 5; x₉ = 4;  x₁₀  = 4; x₁₁ = 4;  x₁₂ = 4;  x₁₃  = 3;

2) по оценке социально-психологической компетентности  - x₁₄ = 5; x₁₅ = 4;  x₁₆ = 4;  x₁₇ = 4;  x₁₈ = 4;

3) по оценке профессионально-управленческой компетентности -  x₁₉ = 5; x₂₀ = 5;  x₂₁ = 4;   x₂₂ = 5; x₂₃ = 5;  x₂₄ = 4;

4)  по оценочным стратегиям -  x₂₅ = 4; x₂₆ = 4; x₂₇ = 4; x₂₈ = 4;  x₂₉ = 4;

5) по зонам компетентности - x₃₀  = 4;  x₃₁ = 4;  x₃₂ = 4;  x₃₃ = 4 ;  x₃₄ = 4;  x₃₅ = 4;    x₃₆ = 4.

            После подстановки значений интегральных показателей  в формулу (1) получается следующая величина уровня компетентности: УК = 0.77, то есть по результатам экспертной  уровень компетентности данного человека составляет 77%  от должного уровня. Результаты расчета с использованием формул, аналогичным (2) и (3), составляющих уровня компетентности приведены в таблице 3.

Результаты расчета отдельных составляющих  уровня компетентности				Таблица 3.
Составляющая уровня компетентности	Расстояние до “наилучшей” альтернативы D+	Расстояние до “наихудшей” альтернативы D_	Величина интегрального  показателя оценки
МК	3,46	11,8	0,77
СП	2,0	7,2	0,78
ПУ	1,4	9,05	0,87
ОС	2,23	6,7	0,75
ЗК	2,45	8,31	0,77

            Диагностическая процедура с использованием опросника строилась в два этапа: до тренинга и по его окончании. В ходе комплектования группы с обучающимися было организовано собеседование с участием четырех психологов, имеющих практический опыт в сфере оценки и отбора персонала. По результатам собеседования на каждого будущего участника группы заполнялся “Опросник”. На втором этапе оценивание уровня психолого-акмеологической компетентности участников тренинга как субъектов оценки и отбора персонала осуществлялся как психологами, так и путем взаимооценивания в подгруппах. Процедура оценивания моделировала работу экспертов в ходе проведения Центра оценки. “Каждый участник Центра оценки оценивается несколькими наблюдателями, и каждый наблюдатель оценивает нескольких участников, что позволяет минимизировать возможную необъективность и использовать перекрестные оценки для повышения значимости результатов” [Вестник..., 1994, с. 28].

            Психологи выносили оценки на основании выборочных наблюдений в ходе тренинга и просмотра видеоматериалов. Участники тренинга оценивали друг друга на основании опыта взаимодействия в различных упражнениях. Интегральные показатели взаимооценок психолого-акмеологической компетентности  участников тренинга как субъектов оценки и отбора персонала отражены в таблице 4.

Таблица 4.

Эксперт	Среднегрупповая оценка  УК,   %
	до тренинга	после тренинга
Психологи	31,5	84,7
Участники тренинга		89,3

            Достоверность различий расчетной величины роста уровня психолого-акмеологической компетентности участников тренинга как субъектов оценки и отбора персонала проводилась с использование t-критерия Стьюдента для связанных выборок.  Установлено, что с уровнем значимости р=0.01 уровень компетентности обучаемых в конце тренинга увеличивается.

            Как видно из таблицы, в оценках, проставленных психологами и участниками тренинга, наблюдается различие. Это связано с тем, что эксперты, обладая большим опытом отборочной деятельности, оценивание проводили более взвешено, чем лица, прошедшие однократное обучение.  Тем не менее различия в оценках невелики. Сравнительный анализ результатов экспертной оценки и взаимооценки показал, что два вида оценок совпадают с уровнем значимости р = 0.15.

            В целом, количественно-качественный анализ результатов, полученных различными методами, позволил установить достаточно отчетливые изменения у участников тренинга в уровне развития способностей, знаний и умений, составляющих основу психолого-акмеологической компетентности субъектов оценки и отбора персонала. Изменения отмечены в каждом составляющем ее элементе: компонентах компетентности, комплексной стратегии оценивания и зоне компетентности. Наибольшие изменения проявились в значительном росте уровня мотивационной обусловленности психолого-акмеологической компетентности участников тренинга как субъектов оценки и отбора персонала (в конце тренинга среднее значение по группе составило 1.0). Математическая обработка полученных данных показала, что, в целом по группе, изменения статистически значимы.

            Успешный опыт использования разработанных нами методов  “Формулирование вопросов собеседования”, “Выявление критериев оценки и отбора персонала”, “Взаимооценка способности устанавливать оптимальный психологический контакт с кандидатом”, “Взаимооценка личностно-деловых качеств”, “Опросник по выявлению уровня психолого-акмеологической компетентности субъекта оценки и отбора персонала” позволяет рекомендовать их как с диагностической целью, так и с целью развития психолого-акмеологической компетентности у руководителей как субъектов оценки и отбора персонала.

            В целом, разработанная нами тренинговая модель развития психолого-акмеологической компетентности у руководителей как субъектов оценки и отбора персонала позволила обучавшимся:

            Во-первых, развить способность выделять критерии и показатели оценки и отбора. Это выразилось в развитии у них умений провести разворачивание деятельности на уровне отдельных операций и определять среди них наиболее значимые по степени сложности и времени исполнения, выделять качества, определяющие высокопродуктивную деятельность в вакантной должности.

            Во-вторых, сформировать способность устанавливать оптимальный психологический контакт с кандидатом.

            В-третьих, овладеть техникой и приемами опроса кандидата, что проявилось в  развитом умении методически грамотно формулировать вопросы собеседования и определять последовательность в их предъявлении.

            В-четвертых, развить способность фиксировать и интерпретировать данные опроса и наблюдения, умение выстроить эффективное взаимодействие с лицами, участвующими в процессе оценки и отбора кандидатов.

            В-пятых, сформировать комплексную стратегию оценивания. Это проявилось в оптимизации процесса оценочной деятельности, в повышении объективности оценивания.

            В-шестых, расширить зону компетентности, через формирование целостного понимания содержания оценочно-отборочной деятельности и стремления оптимизировать ее в реальной практике комплектования штатов новыми сотрудниками.

            Это свидетельствует о значительном влиянии разработанной нами модели тренинга на развитие высокого уровня психолого-акмеологической компетентности у руководителей как субъектов оценки и отбора персонала.

            Данная модель теоретическая модель рекомендуется в качестве основы для дальнейших исследований в сфере развития необходимой компетентности у субъектов оценки и отбора персонала.