| Следующая версия | Предыдущая версия |
| open:tech:dev:rating [2024/02/05 21:00] – создано sharixadmin | open:tech:dev:rating [2024/02/12 14:14] (текущий) – nikita.makov |
|---|
| ==== Пояснение про рейтинг ==== | ==== Пояснение про рейтинг ==== |
| |
| Классическая 5-и балльная система рейтинга в современных реалиях фактически не выполняет свою функцию. | Проблематика рейтингов заключается в том, что, в общем случае, для шерингового сервиса как посредника между клиентами и исполнителями система рейтинга и отзывов необходима. Для клиента она является единственным критерием выбора исполнителя, а для исполнителя - единственным способом завоевать высокую популярность среди клиентов (и возможности выбирать их, как следствию). Фактически на оценках строится взаимное доверие, а также ранжирование пользователей в выдаче алгоритмами сервиса. |
| | |
| | Однако, по мере увеличения регламентирования сервисом исполнителей, повышается и доверие пользователей системы не к друг-другу, а к сервису, которому они предоставляют право предварительного отбора исполнителей по установленным им формальным признакам. В некоторых случаях клиенты целиком делегируют сервису право выбора исполнителя из числа удовлетворяющих всем признакам с помощью алгоритмов сервиса (ЯндексGo, Uber). В таких сервисах система оценок меняет свое первоначальное назначение, становясь из инструмента оценки пользователями друг-друга для выбора партнера при совершении сделки инструментом оценки пользователей алгоритмами сервиса на основе данных, предоставленных пользователями. |
| | |
| | При этом, классическая для шеринговых сервисов 5 балльная система рейтинга парадоксальным образом именно в них плохо выполняет свои функции. |
| | |
| | Будучи в состоянии корректно использовать 5 балльную систему для оценки опыта своего взаимодействия с юридическими лицами, в случае характерного для шеринговой экономики p2p взаимодействия между людьми пользователи по разным причинам завышают свои оценки других пользователей. Это явление первоначально было замечено в социальных сетях и на маркетплейсах, но еще более ярко проявляется в шеринговых сервисах. Например, в исследовании сравнения оценок на Airbnb (шеринг-сервис с частными лицами-владельцами квартир, домов и апартаментов) с оценками отелей, частных мини-отелей и частных мест размещения на Tripadvisor, выяснилось, что 95% отзывов на Airbnb находится в диапазоне 4.5-5 баллов, а рейтинга ниже 3.5 нет ни у кого. При этом, средний рейтинг отелей на Tripadvisor 3.8-4.1 с нормальным распределением между остальными оценками, а вот рейтинг мини-отелей и частных мест размещения похож на Airbnb - 85% отзывов находятся в диапазоне 4.5-5 баллов. Данные, собранные в 2015 и 2018-2020 годах показывают, что за это время распределение оценок в отзывах никак не изменилось. Это явление получило название "hyper-positive culture" и становится еще заметнее в сервисах, имеющих рейтинги как исполнителя, так и клиента с взаимной оценкой после взаимодействия. Яркий пример - Uber, в котором водители и исполнители ставили друг-другу оценку "5" по взаимному соглашению (“5-for-5” practice) для того, чтобы улучшить свой рейтинг в системе. |
| |
| Вместо равномерного ранжирования для оценки качества в связи с постоянной гонкой за более высоким баллом как характеристики качества обслуживания получается система градации оценки недостатков, так как фактически за норму принимается оценка 5, а оценки от 1 до 4 - становятся различными степенями негативной оценки. При этом нет возможности дать оценку сверх ожидаемого нормального для сервиса уровня качества. Тенденция принятия критерия минимально допустимого качества сервиса основными игроками рынка от рейтинга 4,85 и выше при количестве 150 оценок при выставлении оценок клиентами, которые недостаточно осведомлены даже тем, что именно они оценивают (исполнителя, ситуацию, услугу в целом и т.п.) создает гонку исполнителей за заветные оценки 5, что еще более искажает смысл оценивания как процесса в целом. Бывает так, что решающим фактором для доступа в сервис может стать не самая «плохая» оценка по данной градации - 4, при этом в тот же день исполнитель может получить чаевые и иные благодарности и высокие оценки от других клиентов. При общем небольшом количестве оценок за день исполнитель все равно в некоторой ситуации получит дисквалификацию, которая приведет к невозможности получать доход примерно неделю. | Вместо равномерного ранжирования для оценки качества в связи с постоянной гонкой за более высоким баллом как характеристики качества обслуживания получается система градации оценки недостатков, так как фактически за норму принимается оценка 5, а оценки от 1 до 4 - становятся различными степенями негативной оценки. При этом нет возможности дать оценку сверх ожидаемого нормального для сервиса уровня качества. Тенденция принятия критерия минимально допустимого качества сервиса основными игроками рынка от рейтинга 4,85 и выше при количестве 150 оценок при выставлении оценок клиентами, которые недостаточно осведомлены даже тем, что именно они оценивают (исполнителя, ситуацию, услугу в целом и т.п.) создает гонку исполнителей за заветные оценки 5, что еще более искажает смысл оценивания как процесса в целом. Бывает так, что решающим фактором для доступа в сервис может стать не самая «плохая» оценка по данной градации - 4, при этом в тот же день исполнитель может получить чаевые и иные благодарности и высокие оценки от других клиентов. При общем небольшом количестве оценок за день исполнитель все равно в некоторой ситуации получит дисквалификацию, которая приведет к невозможности получать доход примерно неделю. |
| В здоровой, не карательной системе - нормой является восприятие и организацией исполнителей и клиентов хорошими по умолчанию, а также клиентами - исполнителей и организации. Исполнители прошли экзамены для допуска к заказам сервиса, контроль документов, обучение. Для управления их качеством нет поводов использовать 4 негативных оценки и 1 нейтральную, в этом случае исполнителю нет стимула выполнять свою работу лучше, зато есть стимул не попасться карательной машине. | В здоровой, не карательной системе - нормой является восприятие и организацией исполнителей и клиентов хорошими по умолчанию, а также клиентами - исполнителей и организации. Исполнители прошли экзамены для допуска к заказам сервиса, контроль документов, обучение. Для управления их качеством нет поводов использовать 4 негативных оценки и 1 нейтральную, в этом случае исполнителю нет стимула выполнять свою работу лучше, зато есть стимул не попасться карательной машине. |
| |
| Почему компании допускают клиентов в целом, пусть и косвенно, но без дополнительного аудита решения, могут управлять доступностью исполнителей, которые фактически приносят доход компании? Зачастую решения о дисквалификации специалиста складываются из мнений людей, которые сервису приносят значительно меньше в единицу времени, чем сами эти специалисты. А знакомы ли эти клиенты с правилами сервиса? А адекватны ли их ожидания? А адекватна ли их оценка? Фактически компании, использующие 5-и балльную оценку с автоматическим ограничением доступа по падению рейтинга, несут убытки при обработке субъективного мнения людей, не обладающих соответствующей экспертизой, и даже иногда не понимающих смысл своих действий или выставляющих оценку случайно, потому что палец случайно задел кнопку, потому что запрос на оценку не вовремя вышел и т.п. | Почему компании допускают клиентов в целом, пусть и косвенно, но без дополнительного аудита решения, управлять доступностью исполнителей, которые фактически приносят доход компании? Зачастую решения о дисквалификации специалиста складываются из мнений людей, которые сервису приносят значительно меньше в единицу времени, чем сами эти специалисты. А знакомы ли эти клиенты с правилами сервиса? А адекватны ли их ожидания? А адекватна ли их оценка? Фактически компании, использующие 5 балльную оценку с автоматическим ограничением доступа по падению рейтинга, несут убытки при обработке субъективного мнения людей, не обладающих соответствующей экспертизой, и даже иногда не понимающих смысл своих действий или выставляющих оценку случайно, потому что палец случайно задел кнопку, потому что запрос на оценку не вовремя вышел и т.п. |
| |
| На оценку, выставляемую клиентом, как правило, влияет много факторов - и сама ситуация, и личность исполнителя, и ситуация в мире и стране, день недели, погода. Иногда клиент просто задевает экран случайно, а исправить ничего уже нельзя. О перечисленном выше можно судить как о редких случайных событиях, но если посмотреть на то, сколько таких событий требуется для падения рейтинга до значения блокировки основными игроками рынка, то можно увидеть значение 3-10% в зависимости от комбинации самих оценок. | На оценку, выставляемую клиентом, как правило, влияет много факторов - и сама ситуация, и личность исполнителя, и ситуация в мире и стране, день недели, погода. Иногда клиент просто задевает экран случайно, а исправить ничего уже нельзя. О перечисленном выше можно судить как о редких случайных событиях, но если посмотреть на то, сколько таких событий требуется для падения рейтинга до значения блокировки основными игроками рынка, то можно увидеть значение 3-10% в зависимости от комбинации самих оценок. |
| |
| Таким образом, понятие рейтинг становится применимо лишь к общему количеству успешно завершенных поездок (как показатель опыта и предсказуемого качества). Положительный и отрицательный выбор - система учета предпочтений. Общее название системы - система рейтинга и учета предпочтений. | Таким образом, понятие рейтинг становится применимо лишь к общему количеству успешно завершенных поездок (как показатель опыта и предсказуемого качества). Положительный и отрицательный выбор - система учета предпочтений. Общее название системы - система рейтинга и учета предпочтений. |
| | |
| | |
