Задумайтесь на минутку, сколько нужно респондентов, чтобы протестировать юзабилити сервиса где, например, более 1000 пользователей?
Наша логика подсказывает нам, что нужно действовать ну как минимум из принципа парето 80/20, где опросив большинство, мы и получим правильную картину. На самом деле, исходить нужно из другой логики: поведение людей схожего сегмента и контекста подвержено стереотипизации, или как мы говорим в дизайне: появляются конкретные паттерны поведения.
Посмотрите на график Nielsen и справедливо отметьте, что для выявления всех проблем нужно 15 пользователей. Поэтому зачастую 3-5 пользователей на сегмент бывает достаточно, чтобы выявить 75% проблем и подтвердить гипотезу. Но нужно учесть, что это правило работает не всегда, более того многие UX-специалисты ошибочно всегда применяют правило «5 пользователей» из юзабилити-тестирования к интервью. В качественных исследованиях это число может быть как недостаточным, так и чрезмерным, особенно если учесть наличие нескольких персон.
Мы сейчас не рассуждаем про методы сегментации и договариваемся, что они уже уточнены и приземлены на продуктовую практику.
Почему пять — чаще всего достаточно?
Количество интервью определяется моментом, когда новые интервью перестают давать существенные инсайты. Чем шире цель исследования и чем разнообразнее аудитория, тем больше потребуется интервью.
Исследования показывают, что насыщение обычно наступает после 6–30 интервью, в зависимости от контекста.
Уже третий респондент использует те же сценарии и выявит те же проблемы, что и предыдущие два участника. Он также добавит немного новой информации, но не так много, как предыдущие пользователи.
После пятого респондента вы будете наблюдать практически одни и те же результаты и узнавать крайне мало полезной информации.
Исследования показывают, что насыщение обычно наступает после 6–30 интервью, в зависимости от контекста.
Уже третий респондент использует те же сценарии и выявит те же проблемы, что и предыдущие два участника. Он также добавит немного новой информации, но не так много, как предыдущие пользователи.
После пятого респондента вы будете наблюдать практически одни и те же результаты и узнавать крайне мало полезной информации.
Поэтому лучше распределить бюджет на проведение нескольких небольших тестов, чем вложиться в одно большое исследование.
Например, если у вас есть возможность нанять 15 респондентов, лучше стоит провести три исследования с участием пяти человек в каждом. Первый тест поможет выявить 85% проблем. Исправьте их и проведите следующий тест. После третьего теста вы получите версию проекта, близкую к идеальной.
Факторы, влияющие на насыщение
1. Широта и сложность исследования – чем шире исследуемый вопрос, тем больше интервью необходимо.
2. Разнообразие аудитории – чем больше вариаций в опыте участников, тем дольше достигается насыщение.
3. Опыт интервьюера – опытные специалисты могут выявить больше инсайтов за меньшее число интервью.
4. Опыт участников – эксперты в теме исследования дают более глубокие ответы.
5. Структурированность интервью – полуструктурированные интервью позволяют быстрее выявить основные темы.
Например, если у вас есть возможность нанять 15 респондентов, лучше стоит провести три исследования с участием пяти человек в каждом. Первый тест поможет выявить 85% проблем. Исправьте их и проведите следующий тест. После третьего теста вы получите версию проекта, близкую к идеальной.
Факторы, влияющие на насыщение
1. Широта и сложность исследования – чем шире исследуемый вопрос, тем больше интервью необходимо.
2. Разнообразие аудитории – чем больше вариаций в опыте участников, тем дольше достигается насыщение.
3. Опыт интервьюера – опытные специалисты могут выявить больше инсайтов за меньшее число интервью.
4. Опыт участников – эксперты в теме исследования дают более глубокие ответы.
5. Структурированность интервью – полуструктурированные интервью позволяют быстрее выявить основные темы.
Может быть, достаточно и одного человека для теста?
– Нет, существует риск получения некорректных данных из-за случайной ошибки или нетипичного поведения пользователя. Оптимальный вариант с учетом выгод и затрат - от трех до пяти пользователей
Кроме того, при проведении нескольких небольших тестов вы имеете возможность получить более глубокие и всесторонние данные. Большее количество участников позволяет обнаружить более широкий спектр проблем и предложить более точные решения. При этом вы сможете провести итеративный процесс улучшения проекта, внося изменения после каждого теста и приближаясь к идеальной версии.
Такой подход с итеративным улучшайзингом называется RITE (Rapid Iterative Testing and Evaluation – быстрое итеративное тестирование и оценка).
Такой подход с итеративным улучшайзингом называется RITE (Rapid Iterative Testing and Evaluation – быстрое итеративное тестирование и оценка).
Принцип RITE:
- Оценка первой итерации прототипа интерфейса с помощью 2-3 участников целевой аудитории
- Дизайнер немедленно решает проблемы пользовательского опыта, выявленные исследователем, изменяя интерактивный прототип
- Оценка измененного прототипа интерфейса исследователем снова с помощью нескольких участников
- Проверка исчезли ли проблемы, выявленные на первом тесте, и появились ли новые проблемы после второй итерации. Часто решение первичных проблем приводит к возникновению новых проблем на следующей итерации
- Итеративный процесс продолжается, и исследователь и дизайнер совместно работают над устранением всех обнаруженных проблем до их решения
Выводы:
Лучший подход – начать с небольшого количества интервью (например, 5–6) и анализировать данные в процессе. Если новые интервью продолжают приносить новые инсайты, стоит добавить участников, пока насыщение не будет достигнуто.
Оптимальное количество интервью определяется моментом насыщения, зависящим от целей исследования и характеристик участников. Чтобы избежать лишней работы, начинайте с малого и анализируйте результаты по мере поступления, прекращая интервьюирование, когда новые данные перестают появляться.
Лучший подход – начать с небольшого количества интервью (например, 5–6) и анализировать данные в процессе. Если новые интервью продолжают приносить новые инсайты, стоит добавить участников, пока насыщение не будет достигнуто.
Оптимальное количество интервью определяется моментом насыщения, зависящим от целей исследования и характеристик участников. Чтобы избежать лишней работы, начинайте с малого и анализируйте результаты по мере поступления, прекращая интервьюирование, когда новые данные перестают появляться.
