Автор Тема: Служба тестирования?  (Прочитано 35796 раз)

litophage

  • Сэнсей
  • Сообщений: 1 939
  • Запретите Всадников!
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #25 : 13.10.2015, 09:34:15 »
Мегамозг сможет понять
Почему нет? Тестировщики то будут разные :) А он лишь соберет инфу от них.

litophage

  • Сэнсей
  • Сообщений: 1 939
  • Запретите Всадников!
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #26 : 13.10.2015, 11:51:37 »
Да-а... читаю я маршруты питерских Сфинксов-лайт и понимаю, что тема появилась не просто так...

Tiuntaier

  • Сэнсей
  • Сообщений: 1 459
  • Синдром Сосновки. Мегамозг и капитан.
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #27 : 13.10.2015, 16:26:03 »
Крок  скажи-ка, а ты эту тему завёл потому, что сам хочешь этим заняться? координировать загадкотестеров, анализировать их отчёты? Дык это, только карты в руки!

weary_cynic

  • Сэнсей
  • Сообщений: 3 006
  • אני מחיפה
    • Просмотр профиля
    • Телега для связи:
Re: Служба тестирования?
« Ответ #28 : 13.10.2015, 17:34:22 »
загадки с отзывами типа "чтозахрень" не раз оказывались в трассах
Хуже, когда загадка с таким отзывом заменяется на загадку, которая бы получила отзыв "что за хрень и зачем тут сбоку этот бантик"?

Мегамозг сможет понять, что для нас, с тремя классами церковно-приходской - все это сложно?
ИМХО - вполне. Во всяком случае на тестах указать, что взял прямым знанием, а не через логические рассуждения.

StarCaptain

  • Писатель
  • Сообщений: 990
  • Виталий
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #29 : 13.10.2015, 22:16:14 »
Эх. :) Как раз сегодня обсуждал в одном чатике, что "ух, я бы пошёл координировать загадки на БГ", а тут такая тема. :) Я бы пошёл, да. Ну или по крайней мере хотел бы об этом поговорить. :)
« Последнее редактирование: 13.10.2015, 22:31:36 от StarCaptain »

Крок

  • Писатель
  • Сообщений: 771
  • Кубинский щелезуб
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #30 : 14.10.2015, 08:42:47 »
Tiuntaier На непитерских соревнованиях готов, да.
Про БГ2016 давай выпьем ближе к делу. По состоянию на сейчас щелезубы его не бегут, так что чому б i нi.

Irishkinm

  • Сэнсей
  • Сообщений: 5 089
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #31 : 14.10.2015, 09:13:45 »
У меня по прочтении сего, только один вопрос возникает, ребята, а что вам всем мешает нужную кнопку в профайле нажать? А то постфактум мы все умные, все знаем, что нужно делать и все могли бы...

Крок

  • Писатель
  • Сообщений: 771
  • Кубинский щелезуб
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #32 : 14.10.2015, 09:34:41 »
а что вам всем мешает нужную кнопку в профайле нажать?
Как меня радует такой ответ на любую критику проекта...

Мне лично мешает нажать эту кнопку то что  в профайле у меня её нет; наверное потому что когда-то я её уже нажимал.

StarCaptain

  • Писатель
  • Сообщений: 990
  • Виталий
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #33 : 14.10.2015, 10:22:32 »
Тестировщик может и конкретную лажу напороть, половину условий не учесть, по ключам не проверить, а потом в этот опубликованный отчет будут участники тыкать пальцем и кричать: "Вот! Вот, видите! Тестировщик предупреждал, что КП проблемный!". И это даже в том случае, если "проблема" тестировщика не имеет ничего общего с "проблемой" участника.

А почему это так ужасно-то? Что, главному судье соревнований страшно, что ему придётся лишний раз объяснять, почему он считает правым себя, а не тестировщика? Или очень страшно признать "да, мы напороли, здесь мы это не учли, поэтому в данном случае по зачёту принимаем такое решение"? Или что?

Я десять соревнований подряд этим занимался. И ничего, много раз объяснял людям, где они, на мой взгляд, неправы. Далеко не всегда со мной были согласны - но я понимал, на чём основана моя позиция, и принимал решения как ГСС. Иногда мне приходилось менять решения. Один раз мне пришлось поменять суперокончательное решение. Ни разу в этом не было никакой трагедии. Хотя да, моральных сил это отнимает неслабо. Но зато люди в среднем уходят гораздо более удовлетворёнными, с ними поговорили, и их не проигнорировали. А здесь регулярно получается, что куча народу недовольны, но их или не выслушали, или проигнорировали, или заткнули. А на мой взгляд, дать людям понять, что их слышат, и точно указать, согласны с ними или нет, очень важно.

Лев Евдокимов

  • Сэнсей
  • Сообщений: 1 687
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #34 : 14.10.2015, 10:33:37 »
Мне лично мешает нажать эту кнопку то что  в профайле у меня её нет; наверное потому что когда-то я её уже нажимал.

Я так понимаю, имеется в виду следующий алгоритм действий: видишь соревнование, где ты готов что-либо потестировать. Дожидаешься появления его анонса, заходишь на страницу соревнований и вместо кнопки "Принять участие" жмешь соседнюю - "Хочу быть волонтером". В окошке пишешь: "Хочу тестировать загадки. Больше никак помогать не хочу." Ждешь реакции.

Да, это чуть сложнее, чем просто нажать кнопочку, но все-таки, согласись, чуть проще, чем флудить на форуме или решать серьезные загадки.

Я понимаю, что можно было бы сделать опцию "хочу тестировать загадки везде, где попросят". Но сам я против такого подхода, Все-таки человек, тестирующий загадки, должен подходить к этому осознанно и знать что-то о городе, в котором будут проводиться соревнования, ДО начала тестинга. Крайне желательно - хоть раз в нем побывать. Не могу навязывать свое мнение оргам, но с моей точки зрения, что постановка, что тестирование загадок по городу, который вы видите только на картах (и м.б. панорамах яндекса/гугла) - это деятельность, далекая от идей Бегущего Города.

MegaManiac

  • Гость
Re: Служба тестирования?
« Ответ #35 : 14.10.2015, 10:40:32 »
StarCaptain, мне не придется объяснять в этом случае, почему мы напороли. Потому что мы как раз ничего не напороли. Мне придется прилюдно объяснять, почему данный тестировщик - безответственный бездельник, в своей разгадке не учитывающий массу фактов, а я, во-первых, не знаю, почему (хорошо, догадываюсь: он просто не посчитал это важным при разгадке и не посчитал тестирование важным в целом), а во-вторых, я не готов портить отношения с человеком: пусть я никогда не привлеку его к тестированию, но в остальных ипостасях он, возможно, весьма положительный, сговорчивый и исполнительный.

Может быть, вы сомневаетесь, что человек может просто взять и на ровном месте поступить безответственно? Да легко. Я обычно выступаю резко против переноса приватной переписки в общедоступный интернет, но вот вопиющий пример без имен:
Цитировать
28.08 Скажите, как связаться с командой калужского БГ? Хочу помочь на месте.
05.09 Я нашел несколько интересных объектов, но объездить оговоренные с тобой области пока не успел, вчера пришлось вернуться в Москву. Буду в Калуге со вторника и найду время на них.
16.09 Денис, привет! К сожалению, прошлая неделя оказалась слишком насыщенной, и я не успел сделать объезд. [...] Сейчас уже и не знаю, когда поеду в Калугу.
21.09 Сейчас жду ответа по работе, придется ли уезжать в другой регион. Если нет, то приеду в Калугу на БГ. Еще у меня двое выражали желание волонтерить. Как узнаю, напишу!

Как думаете, написал?

Lesva

  • Гость
Re: Служба тестирования?
« Ответ #36 : 14.10.2015, 10:42:25 »
тестирование загадок по городу, который вы видите только на картах (и м.б. панорамах яндекса/гугла)
не берем БГ и БГМ, там загадки навороченнее, но и местных тестеров найти можно. А в остальных случаях чем мешает то, что ты не ездил\не ходил по тестируемому городу? 99% участников будут в таких же условиях.

Игрик

  • Оргкомитет
  • Сэнсей
  • Сообщений: 24 275
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #37 : 14.10.2015, 10:42:53 »
Логику действий описал Лев.
Хотите помогать - пожалуйста, скажите об этом.

И да, минимальное знакомство с оргами, постановщиками, другими волонтерами будет плюсом.

Только в этом году я несколько раз отправлял трассы волонтерам-новичкам, которые брали кп и трассы и пропадали.

Lesva

  • Гость
Re: Служба тестирования?
« Ответ #38 : 14.10.2015, 10:53:38 »
Я так понимаю, имеется в виду следующий алгоритм действий: видишь соревнование, где ты готов что-либо потестировать. Дожидаешься появления его анонса, заходишь на страницу соревнований и вместо кнопки "Принять участие" жмешь соседнюю - "Хочу быть волонтером". В окошке пишешь: "Хочу тестировать загадки. Больше никак помогать не хочу."

Действия, описанные Львом, это и есть текущая система.
Здесь такая проблема, что хорошим тестером загадок может быть не каждый. В силу отсутствия опыта. А кто может - едва ли будет с замиранием дыхания ждать соревнований, в которых участвовать не собирается. Ну вдруг вспомнит про них, залезет в программу, увидит, что планируются загадочные категории, и тестирование еще актуально - сколько условий-то!
Тест загадок - большой труд. Отнимает время. Когда одним документом присылают все загадки всех категорий, это может быть не один день работы. Без команды и соревновательной составляющей мотивация невелика. Поэтому да, нужно просить людей, предлагать им, собирать команду тестеров. Мегаманьяк в этом плане прав

А флудят те, кто хочет играть и хочет качественных загадок ;)

Крок

  • Писатель
  • Сообщений: 771
  • Кубинский щелезуб
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #39 : 14.10.2015, 10:57:19 »
Я так понимаю, имеется в виду следующий алгоритм действий:
Тогда я не понимаю, почему упорно говорят о кнопке в профайле.

MegaManiac

  • Гость
Re: Служба тестирования?
« Ответ #40 : 14.10.2015, 10:58:27 »
Тогда я не понимаю, почему упорно говорят о кнопке в профайле.
А где ж она тогда? Именно там и есть.

litophage

  • Сэнсей
  • Сообщений: 1 939
  • Запретите Всадников!
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #41 : 14.10.2015, 11:15:52 »
почему упорно говорят о кнопке в профайле
Видимо, потому, что проФИЛЬ (убейте себя об стену, любители ненужных англицизмов!) есть не только у участника, но и у соревнований?

weary_cynic

  • Сэнсей
  • Сообщений: 3 006
  • אני מחיפה
    • Просмотр профиля
    • Телега для связи:
Re: Служба тестирования?
« Ответ #42 : 14.10.2015, 11:16:34 »
У меня по прочтении сего, только один вопрос возникает, ребята, а что вам всем мешает нужную кнопку в профайле нажать?
Так как раз мешает забывчивость - раз, вероятность таки попасть на соревнования участником - два.
А вот рассылка хотя бы на "хоть раз уже волонтеров" с призывом "эхей, очень сильно не хватает тестироващиков загадок там-то и там-то, скорей жмите эту самую кнопку" в случае нехватки тестеров имхо, помогла бы делу..

StarCaptain

  • Писатель
  • Сообщений: 990
  • Виталий
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #43 : 14.10.2015, 11:30:05 »
MegaManiac
думаю, что не написал. В моей практике слив волонтёрского состава на тестировании составляет примерно 50% (то есть один из двух тупо не успевает протестировать, и часто ещё и не сообщает об этом), так что это я прекрасно понимаю.

Но в случае, когда тестировщик пишет отчёт о тестировании, то он уже заведомо что-то сделал. И если из 25 КП, которые он протестировал и описал в отчёте, 3 КП оказались среди спорных, и по ним есть его комментарии, то можно и прокомментировать. Условно: "Тестер сказал, что нельзя различить притвор и сторожку по этой схеме. Но (дальше описание логики Мусатыча из БГМ-2015) поэтому и поэтому мы считаем, что единственно правильный ответ - сторожка." Или: "К сожалению, при отправке отчёта о тестировании тестер не указал, какие именно дополнительные окна он имел в виду, на фотографиях мы их тоже не обнаружили, в обсуждении с тестером он не смог вспомнить, о чём шла речь, поэтому формулировка не изменилась". Или: "По итогам тестирования главный судья соревнований был уверен, что правильный ответ - 6 победоносцев. Но по итогам разбора апелляций всё-таки принято считать правильным ответом 5 и 6 победоносцев." Или: "Нам очень жаль, но, к сожалению, отчёт этого тестировщика потерялся при финальной сборке трасс. Мы постараемся, чтобы в будущем такого не было". Ни одна из этих формулировок не требует "опускания" тестировщика. Наоборот, мне кажется, если у тестировщика были какие-то ошибки, можно на это указать и сказать, что в дальнейшем мы будем просить всех тестировщиков таких ошибок не допускать, и включим это в мануал тестировщика (ну, например).
Просто - а если тестировщику запретить писать отчет, или удалить написанный отчёт, Вы думаете, он не обидится? Мы в своё время были очень расстроены.

MegaManiac

  • Гость
Re: Служба тестирования?
« Ответ #44 : 14.10.2015, 11:32:09 »
Видимо, потому, что проФИЛЬ (убейте себя об стену, любители ненужных англицизмов!) есть не только у участника, но и у соревнований?
Кнопка есть и там, и там.

MegaManiac

  • Гость
Re: Служба тестирования?
« Ответ #45 : 14.10.2015, 11:37:25 »
И если из 25 КП, которые он протестировал и описал в отчёте, 3 КП оказались среди спорных, и по ним есть его комментарии, то можно и прокомментировать.
А если из 25 КП он правильно взял 5, никак не взял 19 (ну, не гуглится ведь!), а по одному написал что "изображен бак, значит это, ясень пень, улица Бакинских Комиссаров", а на вопрос: "а к чему рядом с баком еще и кошка и откуда вдруг взялись комиссары" не ответил? А потом, когда аналогичный бред высказывает какой-нибудь участник на форуме, он начинает подпрыгивать и радостно пищать: "Вот! Вот и я так разгадал! Элементарную дуаль орги проигнорировали!"?

MegaManiac

  • Гость
Re: Служба тестирования?
« Ответ #46 : 14.10.2015, 11:41:15 »
И никто никому не запрещает писать в темах про конкретные КП: "я использовал на тестах ту же логику, которую авторы загадок посчитали спорной". Или запрещает? А я пишу иногда... :)

StarCaptain

  • Писатель
  • Сообщений: 990
  • Виталий
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #47 : 14.10.2015, 11:50:20 »
MegaManiac
Смотрите, я думаю так. Как раз на примере этого БГ, КП 239 и 750.

КП 239: 1) сделать "акростих" (выбрать только силу, массу и длину). 2) перевести это в английские обозначения. 3) перевести это в русский язык. 4) расшифровать довольно неочевидную аббревиатуру. 5) придумать номер лицея, связать его с номером КП.
Пятишаговая загадка с довольно неочевидными шагами 3 и 4 и с некоторым количеством мусорной информации. Да, пожалуй, сложно для этапника Сфинксов-лайт, такой давать не стоит.

КП 750: Анаграмма. Одношаговая загадка на стандартную эвристику. Все, кто когда-либо гадал загадки, так или иначе с этим сталкивались. Но если человек в первый раз, возможно, он встречал такую загадку только с прямым указанием "Анаграмма". Возможно, в следующий раз имеет смысл дать небольшую подсказку. Например:

750 МАМА РАНГ А
РЫЦАРИ, ЧУЛОК НЕ ОКОЛЕЕТ

Но мне кажется, что такие загадки вполне могут быть этапниками даже в Сфинксах-Лайт. Да, я вижу претензии, что это слишком сложно, но я полагаю, что это нормальный уровень сложности.

===
При этом понятно, что каждый ГСС выберет свой способ с этим справляться, это вполне нормально. Просто для меня истерика участника, аналогичная истерике тестировщика, ещё не ужас-ужас, а просто повод ещё раз на эту загадку посмотреть. Хотя и вряд ли моё исходное мнение изменится.

StarCaptain

  • Писатель
  • Сообщений: 990
  • Виталий
    • Просмотр профиля
Re: Служба тестирования?
« Ответ #48 : 14.10.2015, 11:55:37 »
И никто никому не запрещает писать в темах про конкретные КП: "я использовал на тестах ту же логику, которую авторы загадок посчитали спорной". Или запрещает? А я пишу иногда... :)

Да нет, не запрещает. ) Тогда просто первые 8 топиков с претензиями к КП совпадали с нашими 8 (из 13) комментариями по тестированию, вот я и написал в целом. ) Ну и правда, мне просто хотелось услышать "извините, мы потеряли результаты вашего теста при формировании дистанции, в следующий раз мы постараемся так не делать". Жалко, но всё понятно. А так сложилось ощущение "да вы нам нафиг не нужны, а ещё выпендриваетесь". Ну нет так нет, но, как видите, до сих пор свербит, хотя уже несколько лет прошло )

MegaManiac

  • Гость
Re: Служба тестирования?
« Ответ #49 : 14.10.2015, 12:04:05 »
Просто для меня истерика участника, аналогичная истерике тестировщика, ещё не ужас-ужас, а просто повод ещё раз на эту загадку посмотреть.
А если она мало того, что не ужас-ужас, но и не повод посмотреть (так как изначально бред) - то зачем такой отчет такого тестировщика в целиковом виде на форуме?