Как оценивать игры: выбираем правильный способ

Наткнулся на объёмную заметку, посвящённую вопросу оценки игры. Автор поднимает интересные проблемы. Отталкиваясь от тезиса «просто оценка в виде одной цифры сама по себе бесполезна» он приводит несколько альтернативных, более удобных и понятных. Не уверен, что приведённые рекомендации получат широкое распространение, но как минимум ознакомиться с вопросом интересно. Далее – вольный перевод.

У меня проблема с оценками игр. Я понимаю саму концепцию оценок, есть объективная потребность каким-то образом ранжировать игры, отделяя хорошие от плохих, и поэтому какая-то система оценок просто необходима. Как игрок, я её только приветствую. Как разработчик, я принимаю её. А как ученый, я бы хотел, чтобы мы все научились оценивать игры правильнее. И в связи с этим я хочу обратить внимание на несколько систем оценки, которые кажутся мне более полезными, чем те, что сегодня используются повсеместно.

Если мы оставляем систему оценок без внимания, не задаем никаких параметров и никак не контролируем её работу, она становится уязвимой для различного рода воздействий, предпочтений и предубеждений со стороны тех, кто ставит оценки. И это ещё полбеды, потому что одни и те же оценки разные люди могут по-разному воспринимать. А мы ещё даже не коснулись проблемы важности критериев оценки, которые у каждого свои…

Давайте начнем с предвзятых условий. Каждая наша оценка обусловлена информацией, которой мы располагаем. Эта информация может быть публичной, общедоступной, а может быть частной, известной только тому, кто ставит оценку. Предположим, вас спрашивают, где лучше припарковаться в центре города. Ваш ответ будет опираться как на общеизвестные данные (например, названия улиц и переулков или адреса парковочных площадок), так и на частную информацию (например, вы точно знаете, что такой-то участок в 10 утра уже забит, а на какой-то парковке сломан шлагбаум на въезде). Частично на ваш ответ повлияют и ваши личные предпочтения. Он, например, может зависеть от того, нравится ли вам оставлять машину на улице, либо вы предпочитаете подземную парковку. Если не уточнять подобные личные предпочтения и приоритеты, неразумно полагать, что ваше видение лучшего парковочного места совпадет с мнением других людей.

Однако даже если отталкиваться только от общедоступных сведений, сама шкала оценок тоже не лишена проблем. Применительно к числовым оценкам есть два распространённых вопроса, это отсутствие общих ориентиров и презумпция «одинаковых шагов». Что касается общих ориентиров – люди с разными «точками отсчёта» по-разному понимают одни и те же оценки. Например, если мы с вами одинаково относимся к одной и той же игре и используем одну и ту же методику, скорее всего и наши оценки будут одинаковыми. Однако если наши подходы изначально отличаются, в подавляющем большинстве случаев разными будут и оценки. Например, я могу принимать за точку отсчёта оценку «5» и повышать или понижать её в зависимости от того, нравится мне игра или нет. Кто-то может начать с «10» и уменьшать оценку за элементы, которые в игре не нравятся. Применение изначально разных подходов даёт на выходе различные оценки. «7» в первом случае – это совсем не та же «7», что во втором. Первая «7» – это ситуация, когда игра получает дополнительные очки за какие-то сильные стороны. Второй случай – игра теряет очки за какие-то слабые стороны.

Эта проблема усугубляется ещё сильнее из-за так называемого предположения о том, что интервалы между всеми делениями на шкале оценок одинаковы. Из этого предположения, например, следует, что при 10-балльной шкале разница между оценками 1 и 2 точно такая же, как между оценками 6 и 7. Ведь в обоих случаях оценки отличаются всего на единицу. На практике же подобное встречается довольно редко. В тех же оценках по 10-балльной шкале между 1 и 2 разницы практически нет, равно как и между 9 и 10. А вот между 7 и 8 разница уже куда более ощутима.

И самая большая сложность, вытекающая из числовой шкалы, это единая итоговая цифра, объединяющая в себе все оценки, выставленные игре. В конечном итоге такая оценка – это мерило игры по разным критериям. Но тут тоже есть проблемы. Мы можем измерить в универсальных единицах размер компонентов, продолжительность партии, вес игры. Но как оценить сложность, комплексность и интересность? Как учесть качество вырубки жетонов, количество решений на единицу времени, разнообразие стратегий, роль случайности и прочность карт? Объединение нескольких важных параметров в единую оценку требует тщательного учета самых разнообразных параметров, что заведомо оставляет широкое поле для самых различных мнений.

Предположим, мы договорились оценивать игру только по двум параметрам: «тематичность» и «увлекательность». Оба этих критерия мы будем оценивать по шкале от 1 до 10. Представим, что в отношении какой-то игры мы пришли к единому мнению: она заслуживает 4 балла по параметру «тематичность» и 8 баллов по параметру «увлекательность». Отсюда выводим среднюю оценку: 6 баллов. Такая оценка получается, если мы считаем параметры «тематичность» и «интересность» одинаково важными. Теперь, предположим, что для меня тема игры гораздо важнее, а для вас наоборот, важнее сам процесс. Например, я оцениваю важность этих критериев как 80/20, а вы как 30/70. В таком случае моя оценка итоговая оценка это 4,8, а ваша – 6,8. Разница ощутима, не так ли? Отсюда вывод: даже если исходить из единой шкалы оценок, оперировать одинаковой информацией, опираемся на одни и те же критерии, проблем всё равно не избежать. Нужен единый подход и в части важности критериев, по котором игру оценивают.

Однако даже при стремлении к объективности, нельзя сбрасывать со счетов личные предпочтения. Если я не переношу военные игры, вряд ли я поставлю одной из них столь же высокую оценку как кто-то, кто их любит. Моё отвращение может выражаться по-разному, скажем, я могу поставить низкую оценку по одному из критериев (например, по сложности), или же я могу ставить низкий балл просто потому, что «мне не нравятся такие игры». Любая оценка без подробных комментариев всегда обусловлена непонятно чем. Отличной игре кто-то может поставить низкую оценку, просто потому, что уже устал от игр про зомби, или, наоборот, на самом деле это ужасная игра, но кто-то оценил её высоко просто потому, что любит игры про Ктулху. Но точно этого мы нам не узнать.

Какое можно предложить решение? Как можно говорить о средних баллах, дисперсии, асимметрии, медианных значениях и прочих статистических показателях без оценок в баллах? Я, как раз, и предпочитаю о таком не говорить. Потому что вне строго заданного контекста оценки в лучшем случае просто бесполезны. Но они востребованы. Прежде чем садиться или покупать новинку люди хотят знать, насколько она хороша. Поэтому вот мои рекомендации насчёт того, что можно использовать вместо обычных оценок (по убыванию в порядке предпочтений): письменные обзоры, шкалы Ликерта, оценки с пояснениями и «разноцветные звезды».

Письменный обзор – лучший способ передать, что представляет собою та или иная игра с указанием её слабых и сильных сторон. По моему мнению печатные обзоры – наиболее продуманны, они чётче всего передают мысли об играх. Особенно по сравнению с аудио- или видео-обзорами, в которых зачастую даже неясно, играл ли, вообще, рецензент в описываемую игру, или просто пересказывает своими словами чужие обзоры или даже просто описание с коробки. Применительно к письменным обзорам даже неважно, согласен я с автором или нет. Обычно из текста хорошо видно, насколько обзорщик знаком с игрой, и уже это само по себе делает печатный текст более ценным. К сожалению, желание затратить необходимые время и усилия, а также наличие таланта и возможности внятно поделиться своими впечатлениями, без которых хорошего обзора не получится, встречаются далеко не всегда. Поэтому на сегодняшний день подобные обзоры – это редкость.

Следом за письменным обзором наиболее предпочтительный метод с моей точки зрения – это шкалы Ликерта. Возможно, вы не знаете, что это такое, но на самом деле наверняка с ними встречались. Например, когда врач просит вас описать интенсивность боли по шкале от 1 до 5. Или психологический тест, в котором для каждого вопроса предусмотрены 5 вариантов ответа: совершенно согласен, скорее согласен, затрудняюсь ответить, скорее не согласен и совершенно не согласен. Применительно к играм есть возможность выставлять подобные оценки по шкалам, описывающим такие параметры как продолжительность партии, тематичность, количество значимых решений и т.п. Рецензент оценивает каждый параметр в отдельности, и при таком подходе игра получает не одну обобщённую оценку, а набор оценок в отдельных категориях. Тем самым вместо одной-единственной цифры, передающей мало значимой информации, акцент смещается на конкретные характеристики игры, что также частично нивелирует личные предпочтения автора обзора.

Ещё более простая вещь, чем шкалы Ликерта – это просто оценка. Отлично, хорошо, удовлетворительно, плохо и отвратительно. Вот только её достоверность и полезность полностью зависят от того, есть ли у нас чёткое понимание и описание каждой оценки. Для каждого значения должно быть ясное и понятное значение. А ещё хочу заметить, что хотя система обычных оценок хороша и сама по себе, её можно значительно улучшить, если рецензент не просто ставит оценку, но и добавляет к ней пояснения. Одно дело когда я говорю «это хорошая игра». Совсем другое – если рядом с оценкой «хорошо» есть примечание: «В целом практически отлично, если бы не слишком замороченные правила сражений. Если вы не боитесь подобных вещей, она вам точно понравится».

Наконец, простейший с моей точки зрения способ оценивать игры заключается в следующем. Как и в предыдущем случае, мы присваиваем игре некоторое количество баллов (звёзд), чтобы представить её относительную ценность по определённой шкале. Этот метод чреват предвзятостью, неясностью и неоднозначностью. Но с помощью пяти простейших модификаций мы превращаем его во вполне надёжную систему оценок. Во-первых, используйте 5-балльную шкалу. Она очень доступна для понимания, любая оценка воспринимается интуитивно. Во-вторых, озаботьтесь четким и понятным описанием каждой оценки от 1 до 5. Обозначьте, значит ли 3 «игру, в которой чего-то не доработали» или «обычную нормальную настолку» и так далее. В-третьих, используйте «тройку» как отправную точку. «Начисляйте» или «отнимайте» баллы за какие-то показатели, но изначально считайте, что 3 балла у игры уже есть. В-четвёртых, используйте оценки (звёзды) двух цветов, скажем, красного и синего. Цвет помогает выявить предпочтения рецензента. Если вы оцениваете одну из тех игр, в которые обычно играете, ставьте оценку звёздами синего цвета. Если перед вами представительница жанра, который вам не нравится, или с которым вы плохо знакомы, ставьте оценку красными. Наконец, используйте оформление звёзд, чтобы продемонстрировать уровень своего знакомства с игрой. Если вы не сыграли хотя бы 3 партии, используйте звёзды без фона. Сыграли 3-5 раз, выбирайте звёзды со светлым фоном. Если у вас за плечами более 5 партий, используйте тёмный фон. Все эти пять модификаций призваны помочь читателю лучше интерпретировать и понять вашу оценку. Три красные звезды (т.е. сыграл более 5 раз в игру нетипичного для себя жанра, в результате ставлю ей 3 из 5) в такой системе значат куда больше чем четыре синих без заливки (сыграл пару раз в настолку, похожую на те, во что играю обычно и ставлю ей 4 из 5).

Перефразируя Тома Лерера: система оценок похожа на канализацию. То, что получается на выходе зависит от того, что есть на входе. Для некоторых это только числа. Я же хотел бы видеть за ними нечто более значимое.