Имел опыт в рейтингах для оценки сотрудников.
Работал в большой охранной фирме, где по ряду причин часто менялись сотрудники (в основном из-за 2 причин - отъезд в Россию и переманивание клиентами лучших наших людей в свою охрану). Поэтому формирование командного состава было постоянной головной болью. Подготовленные люди приходят редко, к тому же по положению мы не имели права сразу ставить их руководителями, только после определенного срока стажировки. И волей-неволей нужно постоянно готовить командные кадры из имеющегося состава. Конечно, при выдвижении, прежде всего, учитывалось мнение непосредственных руководителей. Вот это мнение было предложено формализовать.
После долгих обсуждений было решено не учитывать мнение рядовых сотрудников ни о себе подобных, ни о начальстве. И это правильно. Рядовой сотрудник не озабочен обязательствами и при оценке других им могут двигать любые мотивы. Также было решено формировать только вертикальные, нисходящие оценки - т.е. начальник низшего звена мог давать оценки только своим подчиненным, но не руководству и не находящимся с ним на одном уровне. Но любой руководитель мог давать оценки любому нижестоящему сотруднику, а не только тем, кто находился в прямом подчинении. По разным причинам сотрудники переходили на другие объекты, менялись по сменам, следовательно, многие знали людей не из области своего прямого подчинения. Не хочу злоупотреблять вашим временем и приводить аргументы за или против такой организации, и тех и других было достаточно.
Оценочный лист содержал список категорий оценки (некоторые более объективные, проверяемые, например физическая подготовка, другие совсем субъективные, типа решительность или интеллектуальные оценки), а также графу: степень уверенности отвечающего в своем ответе в баллах от 1 до 100. Ее суть, как предполагалось, в следующем: есть характеристики человека, которые в той или иной форме наблюдаются часто, например исполнительность. Приказы в охране отдаются ежедневно, а то и несколько раз в день, и составить мнение об исполнительности человека можно довольно быстро. А вот условия для проявления таких категорий как та же решительность, иные лидерские качества, могут и не наступить за относительно короткое время. Соответственно, по этим категориям, отвечающий может быть не очень уверен в своем ответе.
Эта оценка (степень уверенности), впоследствии учитывалась при расчете некоторого аналога доверительного интервала.

Вот в таком виде система работала примерно полгода. Дальше она развалилась и тихо умерла сама по себе. Причин развала несколько и прежде всего неявный саботаж руководителей низшего звена. Хотя во многом этот саботаж происходил из-за плохой организации опросов.

Уже впоследствии, в статистическом анализе, я обнаружил очень интересные результаты в обработке именно этой "степени уверенности". Они касались оценки личности самого отвечающего. Раздавая оценки подчиненным, он, не ведая того, давал оценку самому себе.