Автор Тема: Апелляционный комитет  (Прочитано 7149 раз)

achekh

  • Сэнсей
  • Сообщений: 2 969
    • Просмотр профиля
Апелляционный комитет
« : 22.05.2022, 21:33:52 »
Всем привет!
Понимаю, осознаю, что написав этот пост может последовать вечный бан (как с моим сокомандником), его частичная модерация или даже полное удаление, но в этом случае будем бороться с еще более активным желанием решить сложившуюся на протяжении многих лет одну из очевидных проблем очень хорошего проекта БГ.
 
Преамбула: в очередной раз на очередных соревнованиях наша опытнейшая команда (как с точки зрения постановки, так и с точки зрения участия) столкнулась с несправедливым, непонятным и, возможно, даже предвзятыми решением по апелляции.
Не буду сейчас вдаваться в детали апелляции, а хочу акцентировать внимание на самой проблеме.
К сожалению, на мой взгляд и взгляд сокомандников, критерии зачета и разбор апелляций на БГ очень плохие.
1. Независимость и заинтересованность.
Начнем с того, что апелляции всегда рассматривают полностью заинтересованные люди (а именно постановщики и авторы), что в корне неверно. В любой ситуации автор будет кровь из носу защищать свою позицию насколько бы абсурдной или неоднозначной она не была. Понять и принять логику других они могут лишь в очень редких ситуациях. Ведь глупо же будет выглядеть, когда ответ автора (или формулировка) заведомо кривой, репутация постановщика же пострадает! Могу об этом говорить с уверенностью, т.к. сам был на их месте и признаюсь этим грешил, но пытался побороть и часто успешно.
2. Анализ проблемы с неверной стороны.
В сложных ситуациях они НИКОГДА не встают на место участника. На различные вопросы почему – отвечают отмазками, иногда (даже скорее частно) идут к экспертам, на мнение которых могут обосновать отказ. Например: мы узнали у энтомологов , которые нам сказали, что это муравей (похоже?), значит ответ паук (оса, жук и т.д.) не подходит! Уважаемые! Вы лучше проведите тестирование на неопытных участниках (вообще это должно быть на этапе тестирования, ну хотя бы постфактум). Почему мы должны разбираться в той или иной области (которая возможно даже и в школе была). Почему мы неопытные не может предположить что что-то хоть как-то похоже на паука, осу, жука и т.д.?
Вы выбираете совершенно неверный подход. Возьмите любую компанию, любой проект. Главное правило – клиент всегда прав. Компания должна быть лояльна к клиенту. Если вы скажете клиенту "нет, мы не начислим вам бонус потому что вы вместо муравья написали паук", то такой клиент просто уйдет от вас.
3. Спекуляции и "подгонка под ответ".
ГСС (или непонятно кто его заменяющий) часто называет апелляцию спекуляцией. Мол вы подгоняете, преувеличиваете (возможно даже не верно излагаете факты) и поэтому (в частности) мы не может зачесть ответ. Уважаемые! Ваше нело не разбирать спекулируем мы или нет. Ваше дело разобраться с точки зрения буквы закона. Да паука-муравей обнаружился постфактум. Но вы не имеете права называть это спекуляцией. Вы не можете знать знал я это вчера или нет. Ваше дело другое.
Для сравнения приведу пример одного своего КП и апелляции. В задании (загадке!) было указано «Мост южнее загаданного объекта. Редуктор». Реально конечно же был загадан мост в 100 местрах южнее. Команда же нашла редуктор в километре(!) южнее и списала номер с этого редуктора. И подала апелляцию. Я был вынужден признать, что это можно принять и принял ответ (и команда вроде бы выиграла или попала в призы). Хотя на лицо спекуляция, возможно команда даже загадку не разгадала, а просто случайно нашла какой-то мост и редуктор. И всегда если в задании не указано расстояние не надо писать на форуме в апелляции что ну мы же не дураки загадывать в 10 км южнее. Уважаемые, вопрос не в дураки или нет. Вопрос в корректности и вашему внимательному отношению к заданиям.
К слову для сравнения мне в банке начисляли раз 10 бонус в качестве «лояльности» по обращениям, хотя мои обоснования были не совсем верные и частично были спекуляцией (иногда даже расходящиеся с правилами).
4. Презумпция невиновности.
Любые нестыковки и маломальские вопросы-варианты всегда должны трактоваться в пользу "подзащитного" (в данном случае участника). Т.к. он не обязан доказывать это паук с усо-подобными ногами или муравей нестандартного вида.
5. Предвзятость.
Т.к. БГ проект пока больше смахивает на «семейный» со своей тусовкой, то зачастую рассмотрение (или не рассмотрение) апелляций иногда бывает предвзятым. Приведу два примера в бытность своего участия при постановке.
а.       На одном из БГ команда «перепутала» ответы на КП (одно бонус, второе этап). Ей конечно изначально это не зачли. Но они подали апелляцию и вуаля, ей зачли оба КП и команды выиграла БГ!! А почему спросите вы? Потому что это была команда максимально близкая к тусовке. Уверен на 100% если бы любая другая команда так сделала – ей бы ничего не зачли (в лучшем случае, если это было в одном этапе было).
б.       Однажды уважаемый в тусовке ГСС был участником. И даже выиграл. После соревнования лично в разговоре мне признался, что нарушил правила (которые условно были прописаны в легенде) смеясь мол а че такого. Но мне его просто не разрешили дисквалифицировать. Мол как же мы покажем, что ГСС нарушает правила! Уверен, если бы это был любой другой участник - было бы суровое наказание. На этом же соревновании другую команду просто «заподозрили» в разделении (без доказательств) и ее взяли на карандаш!
6. Единообразие
Я уже молчу о том, что на разных соревнованиях критерии судейства и рассмотрения апелляций всегда разные! Чего быть просто не может на турнирах под одной эгидой.
Резюме.
Я много раз говорил что БГ необходима независимая апелляционная комиссия (как например, в том же ЧГК или любом другом соревновании), которая будет рассматривать апелляции участников максимально одинаково, непредвзято (независимо от постановщиков). Которая будет смотреть на задания не с точки зрения "что же хотел сказать автор", а с точки зрения написанного, а мнение специалиста, если и будет принимать во внимание, то при строгой необходимости и взвешивая с мнением потенциального участника. Будет выдавать свои рекомендации, критерии зачета, ПУБЛИЧНО ОБЪЯСНЯТЬ и разбирать спорные моменты (даже когда это единичный кейс).
Я считаю, что такому большому и хорошему проекту, который, надеюсь будет расти (а не падать как за последние 3-4 года) и развиваться это просто необходимо.
Готов поднять этот вопрос на самый высокий уровень и лично возглавить данную комиссию.
В противном случае я не понимаю, как возможно продолжать участвовать в тусовке, у которой «свои» многим непонятные правила.
С уважением,
Участник, победитель, постановщик, автор загадок (в том числе не самых удачных), ИО ГСС,
Анатолий Чех.

С радостью выслушаю мнения как участников, так и очень надеюсь организаторов, которые найдут в себе смелость отреагировать адекватно.

Игрик

  • Оргкомитет
  • Сэнсей
  • Сообщений: 24 289
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #1 : 22.05.2022, 21:42:38 »
Для чистоты эксперимента, который тут решил обсуждать achekh, на полях замечу, что команде не засчитан один КП, невзятие которого лишила их первого места.
И также на полях замечу, что ответы подобные тому, который дала команда, были и у других команд, но ни одна из них не подавала апелляцию.

achekh

  • Сэнсей
  • Сообщений: 2 969
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #2 : 22.05.2022, 22:03:34 »
Для чистоты эксперимента, который тут решил обсуждать achekh, на полях замечу, что команде не засчитан один КП, невзятие которого лишила их первого места.
И также на полях замечу, что ответы подобные тому, который дала команда, были и у других команд, но ни одна из них не подавала апелляцию.
Про первое место согласен - не отрицаю.
Но эта проблема как я постарался описать не единичная и не всегда связана с местом (были и другие примеры, пусть и менее "непонятные").
Просто как правило все апелляции подают те кто играет на результат и стремится в призы.

Если говорить конкретно про кейс - то в данном случае независимо от места мы вообще не представляли и до сих пор не представляем как это можно было не засчитывать (особенно с "мягким" питерским судейством, на БГМ я был бы менее удивлен). Это просто не укладывается у меня в голове. Можно найти множество аналогичным примеров где засчитывалось все отдаленно напоминающее. А тут  - фиг вам.

А по поводу других команд.
Так это только подкрепляет нашу версия и некорректный разбор! Не мы одни значит такие участники бедные.
А то что не подали апелляцию - то есть вы хотите добавить к моему списку еще один пункт - "количество апелляций"?
То есть если бы они подали то решение возможно было бы другим?
Очень интересно. К слову это тоже пункт который много раз звучал что если такой ответ засчитывается по апелляции то вы его не факт что всем засчитаете. Это тоже в корне неверно! Если ответ засчитан надо пересмотреть его всем (насколько бы сложно это не было бы).

Ну и само наличие апелляции - это слабый довод, процентов 70-80 команд, которые участвуют ради удовольствия, просто не считают нужным (а может даже не знают что можно) подавать апелляцию. Они получили удовольствие и все.

Zubric29

  • Флудер
  • Сообщений: 379
  • Профильная Химера
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #3 : 23.05.2022, 05:48:31 »
Для чистоты эксперимента, который тут решил обсуждать achekh, на полях замечу, что команде не засчитан один КП, невзятие которого лишила их первого места.
И также на полях замечу, что ответы подобные тому, который дала команда, были и у других команд, но ни одна из них не подавала апелляцию.
Солидарен с  achekh
А почему данные факторы должны влиять на правильность ответа? Ответ или правильный или нет. Вне зависимости от кол-ва поданных апелляций и какое место займет команда в итоге.
Каждая апелляция рассматривается индивидуально же.
Также хочу отметить теорию, что команды не подают апелляции просто потому , что не считают нужным отстаивать свою точку зрения.

По поводу создания отдельной комиссии - абсолютно "ЗА".

sokr

  • Тихоня
  • Сообщений: 28
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #4 : 23.05.2022, 06:52:36 »
Субъективные решения были и будут. Комиссия станет той же "тусовкой", только сбоку.
БГ - это игра без призовых денег и даже рейтинга команд. Сегодня проиграл, завтра выиграл - глобально ничего не изменилось.
Анатолий, приезжайте в Екатеринбург. У нас в плане судейства всё более чем лояльно.

achekh

  • Сэнсей
  • Сообщений: 2 969
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #5 : 23.05.2022, 09:09:32 »
БГ - это игра без призовых денег и даже рейтинга команд. Сегодня проиграл, завтра выиграл - глобально ничего не изменилось.

Так давайте отменим призы, книжечки, медальки. Заодно снизим в разы взнос. И будем играть ради удовольствия.
Не малая часть команд (особенно на крупных БГ) играют именно для результата особенно в тех категориях, которые на время.
В категории ПРО идут не ради того чтобы сильно напрячься и поломать мозг, а чтобы показать какие крутые, умные, т.к. это максимальный уровень сложности.

Субъективные решения были и будут. Комиссия станет той же "тусовкой", только сбоку.

Это должна быть выборная и максимально независимая. Да, безусловно контакты, консультации по заданию (фотки, возможно мнение), знакомство будут, без этого никуда (хотя и без этого можно будет обходиться). Но это не должно будет означать, что "я хорошо знаю автора, поэтому доверяю ему и принимаю его решение". Если это профессионал то он обязан быть независим.
И кстати опять кстати не отразил это - это скорее даже не 1 человек, а 3, и решение принимается большинством голосов (как в разных других соревнованиях).
Уверен, что 3 человека на все игры несложно найти.

AndyVolykhov

  • Сэнсей
  • Сообщений: 1 324
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #6 : 24.05.2022, 08:48:14 »
Отмечу, что в ЧГК на любом приличном турнире (включаемом в рейтинг) есть апелляционное жюри, независимое от авторов-редакторов. Что представляется мне правильным. С другой стороны, в ориентировании это породило бы чисто организационные сложности. Если в ЧГК можно включить в АЖ людей из другого города и даже страны, то в случаях, подобных обсуждаемому, для решения желателен выезд на место.
Не отрицаю, что некоторые проблемы с судейством в ориентировании есть. В том числе и потому, что единой планки нет, часто однотипные ситуации трактуют по-разному.

achekh

  • Сэнсей
  • Сообщений: 2 969
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #7 : 24.05.2022, 09:39:22 »
то в случаях, подобных обсуждаемому, для решения желателен выезд на место.

Мне кажется это редко необходимо.
В данном случае (как и в большинстве на мой взгляд) в принципе достаточно фотографий в том числе участников.
Но в некоторых случаях лучше бы действительно посетить место.
Но с другой стороны сейчас в выездных играх (кроме Москвы и Питера) вы думаете кто-то ездит что-то проверять по апелляции, например, действительно ли это фото оттуда действительно ли на второй табличке ничего больше нет?
Нет конечно, только по апелляции и фотографиям участников :)

achekh

  • Сэнсей
  • Сообщений: 2 969
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #8 : 08.06.2022, 13:02:06 »
- в нём проспект назван улицей, притом что в другой загадке явно указана не-улица. Но такое разделение - не правило, а традиция, которая иногда нарушается.

И это говорит бывший  ГСС БГМ (!!!!) который лично никогда не зачитывал такие "аргументы", ГСС Питера также в подавляющем большинстве случаев также это не засчитывал. Даже искать лень, таких случаев 99 из 100.
И что же видим?!
...
Кончено же, КП зачтен, у команды первое место!!
Бинго.
И вы еще будете спорить о предвзятости?
« Последнее редактирование: 08.06.2022, 13:03:40 от achekh »

Игрик

  • Оргкомитет
  • Сэнсей
  • Сообщений: 24 289
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #9 : 08.06.2022, 13:38:27 »
Толя, ну правда. Вот с предвзятостью ты переборщил.
Пожалуйста, отдохни от форума пару недель.

georgri

  • Тихоня
  • Сообщений: 10
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #10 : 08.06.2022, 18:04:33 »
Меня сюда позвали на поддержку как униженного и оскорблённого из этой темы:
https://www.runcity.org/forum/index.php?topic=55662.0

Да, мы потеряли первое место, потому что магическим образом "своему" зачли аж два ответа, которые, по субъективному опыту, обычно не зачитывают в БГ.

Я не хотел поднимать этот тезис в оригинальном посте, потому что предвзятость, имхо, очень сложно формализовать и доказать.
Можно лишь формализовать правила, сделав подсчёт рейтинга более честным, что ли.

Ну и да, мне кажется демократизация БГ a.k.a. "клиент всегда прав" a.k.a. "накинем +0.5 за достаточно обоснованный, но неправильный ответ" довольно прогрессивным подходом.

По теме.
Независимое жюри - в идеале, да, но если вся организация и так держится на голом энтузиазме, то хз насколько это реализуемо.
« Последнее редактирование: 08.06.2022, 18:09:43 от georgri »

Игрик

  • Оргкомитет
  • Сэнсей
  • Сообщений: 24 289
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #11 : 08.06.2022, 19:17:08 »
Если разбор апелляций считать магией, то зачем вам эти разговоры про апелляцилнный комитет...

Musatych

  • Консультант
  • Сэнсей
  • Сообщений: 8 969
    • Просмотр профиля
    • Мой ЖЖ
Re: Апелляционный комитет
« Ответ #12 : 08.06.2022, 20:48:55 »
И вы еще будете спорить о предвзятости?
Ну, мои апелляции чаще не удовлетворяются, чем удовлетворяются. В этот раз я, правда, не отправлял.

Думаю, что решения по зачёту КП принимались по совокупности ответов и апелляций во всех категориях, прежде всего в массовых Львах.

По поводу комитета: тут важна характеристика проекта в целом, является ли он общественным или авторским. А также является ли он единым проектом или набором отдельных игр. Пока что проект авторский и состоит из отдельных игр, у каждой из которых свой автор или группа авторов. В этом случае решение, какие ответы засчитывать, является частью авторского взгляда, и его варьирование от игры к игре нормально.

Можно обсуждать пересмотр всей концепции проекта - вводить независимое судейство с квалификационной коллегией, рейтинг сезона и т.д., но тут уж все полномочия у авторов проекта.

А вот что можно сделать силами общественности, так это собрать базу данных решений разных лет по спорным КП, чтобы было удобно искать прецеденты и обсуждать традиции. Работа огромная и требует тщательного продумывания архитектуры этой базы вначале.

georgri

  • Тихоня
  • Сообщений: 10
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #13 : 08.06.2022, 22:26:57 »
Если разбор апелляций считать магией
Магия в данном контексте - синоним понятия "чёрный ящик". Прошу прощения за мою профессиональную деформацию как программиста. И да, так как тексты апелляций и судейских вердиктов не раскрываются, то это вполне себе чёрный ящик для участников.
(Прошу прощения, если всё же где-то можно в открытом доступе посмотреть апелляции других участников)

Даже если бы они были доступны, мозг судьи, вынесшего вердикт - такой же совершенно непрозрачный для стороннего наблюдателя чёрный ящик.

« Последнее редактирование: 08.06.2022, 22:34:30 от georgri »

Andrey Sleptsov

  • Флудер
  • Сообщений: 181
  • Малкович
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #14 : 09.06.2022, 07:33:08 »
Это опять про муравья, что ли? Я давно так не веселился, спасибо. Не, правда. Написать столько проникновенных, длинных и хороших (правда, хороших) текстов, будучи абсолютно неправым — это прям зачёт, снимаю шляпу.

Zubric29

  • Флудер
  • Сообщений: 379
  • Профильная Химера
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #15 : 09.06.2022, 08:38:16 »
чтобы было удобно искать прецеденты и обсуждать традиции.

На Бегущем Городе давно и прочно нет прецедентного права.

Игрик

  • Оргкомитет
  • Сэнсей
  • Сообщений: 24 289
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #16 : 09.06.2022, 09:55:59 »
А традиция штука не материальная, да

onpopov

  • Флудер
  • Сообщений: 427
    • Просмотр профиля
    • Профиль на БГ
Re: Апелляционный комитет
« Ответ #17 : 09.06.2022, 11:48:14 »
 — Так почему одна половина синагоги переругалась с другой?!
— А вот такая традиция у нас есть!

Korion

  • Писатель
  • Сообщений: 964
  • Дракон-мидл
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #18 : 14.06.2022, 14:07:22 »
2. Анализ проблемы с неверной стороны.
В сложных ситуациях они НИКОГДА не встают на место участника. На различные вопросы почему – отвечают отмазками, иногда (даже скорее частно) идут к экспертам, на мнение которых могут обосновать отказ. Например: мы узнали у энтомологов , которые нам сказали, что это муравей (похоже?), значит ответ паук (оса, жук и т.д.) не подходит! Уважаемые! Вы лучше проведите тестирование на неопытных участниках (вообще это должно быть на этапе тестирования, ну хотя бы постфактум). Почему мы должны разбираться в той или иной области (которая возможно даже и в школе была). Почему мы неопытные не может предположить что что-то хоть как-то похоже на паука, осу, жука и т.д.?
Вы выбираете совершенно неверный подход. Возьмите любую компанию, любой проект. Главное правило – клиент всегда прав. Компания должна быть лояльна к клиенту. Если вы скажете клиенту "нет, мы не начислим вам бонус потому что вы вместо муравья написали паук", то такой клиент просто уйдет от вас.

Я полагаю, проблема всё-таки не в том, что вам не зачли паука (что совершенно справедливо, т.к. у пауков не 6 лап), а в том, что другой команде зачли два КП, которые могли и не засчитывать.
Однако тут две совершенно разных ситуации. На мой личный взгляд - паука засчитывать нельзя. В переписывании табличек можно быть более лояльным (до определённых пределов), и судьи, которые засчитали неточно переписанную табличку, имели на это основание.
Должны ли вы разбираться в энтомологии? Ну, по идее да. Тут недавно была тема (после БГ-Тверь), где народ с пеной у рта доказывал, что в БГ должны быть подставы, иначе полностью пропадает интерес ходить по КП. Можете считать, что муравей/паук – это та подстава, в которую вы попались. Здесь не может быть разных критериев оценки. А вот в случае с переписыванием табличек ситуация весьма неоднозначная (кто-то тут даже скидывал двухэтажные правила, которые применял Musatych, и даже там не предусмотрено всё, что возможно).
Хорошо, если бы в БГ работало правило прецедента. Но на разных играх разные судьи и соответственно критерии строгости могут сильно различаться. Кто-то более лоялен, кто-то менее.

Создание апелляционной коллегии из независимых экспертов мало поможет, т.к. всех удовлетворить невозможно и всё равно будут недовольные. Вот что реально может помочь – это ЦУ, которые помогут постановщикам формулировать вопросы таким образом, чтобы избегать недопонимания участниками. По идее отлавливать такие баги должны тестировщики, но обычно они этого не делают.

Проблема лояльности тоже есть, но проявляется она скорее не в том, что судьи засчитывают ответ "своим", а в том, что судьи чаще ориентируются на ответы топовых команд.

achekh

  • Сэнсей
  • Сообщений: 2 969
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #19 : 22.06.2022, 14:05:38 »
Толя, ну правда. Вот с предвзятостью ты переборщил.
Пожалуйста, отдохни от форума пару недель.

Ок, если это не так, то обоснуйте пожалуйста, почему принимается заведомо неверный ответ и команда выходит на первое место?
Кто-то меня тут "упрекал" что весь сыр бор только из-за первого места.
Так давайте будем последовательны и хотя бы честны перед самим собой.



Ну, мои апелляции чаще не удовлетворяются, чем удовлетворяются. В этот раз я, правда, не отправлял.

Musatych Вы признаете, что неверно ответили на оба КП и готовы передать приз за первое место другой команде? Да или Нет?
« Последнее редактирование: 22.06.2022, 14:10:49 от achekh »

achekh

  • Сэнсей
  • Сообщений: 2 969
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #20 : 22.06.2022, 14:10:24 »
В переписывании табличек можно быть более лояльным (до определённых пределов)

В смысле более лояльно? Пишите что хотите? Черным по белому написано одно вы принимаете другое. Где тут лояльность?!
Я еще согласился бы с загадкой, если бы не одно НО - прецеденты который сотни (а в обратном случае почти нет!!!). Сам Musatych повторюсь отказывал в апелляции по данному вопросу.
Поэтому и во втором случае о какой лояльности речь?

Игрик

  • Оргкомитет
  • Сэнсей
  • Сообщений: 24 289
    • Просмотр профиля
Re: Апелляционный комитет
« Ответ #21 : 22.06.2022, 14:45:07 »
achekh мне кажется ты пошел по пути ВАДА, которые развалили спортивную составляющую спорта своими "так, допинг кажется, в 2022 мы так подумали, про пробу 2020 года, отдайте свои медали за 2014 год".
Что-то мне этот разговор совсем не нравится.

Тема закрывается.