Конкурс "Придай Форму Будущему! 2015". Вопросы и Ответы. Часть 2

Вторая часть марлезонского балета по вопросам и ответам к конкурсу "Придай Форму Будущему".

список публикаций доступен по ссылке:

Вопросы и ответы. Введение

Еще раз напомню, что все написанное ниже - личная точка зрения, а не "истина в последней инстанции". Подробнее смотрите во введении.

В рамках данной публикации я решил объединить некоторые вопросы, которые звучат достаточно похоже, или затрагивают одну сторону - оценку. Ниже представлены примеры вопросов от участников и ответ на них.

Вопросы: 

• Жюри конкурса в номинации 3.2
• Как и ранее хотелось бы знать кто в комиссии оценивает проекты?))
• Кто оценивает проекты?
• Какие эксперты рассматривают работы? Приглашают ли специалистов с университетов? Хотелось бы больше конкретики в ответе
• Каким образом происходит оценка проектов?
• Рецензия эксперта по каждой конкурсной работе.

Ответ:

Жюри. Наверное есть смысл начать чуть раньше чем с жюри. Итак, все что касается оценок проектов и работы жюри регламентируется п.8 и 9 Положения о Конкурсе. Полное содержание двух данных пунктов (в соответствии с актуальным положением на момент подготовки данной публикации) приведено в конце публикации. А пока опишу своими словами.

Есть оргкомитет Конкурса, который занимается всеми вопросами, которые с ним связаны. Обычно сотрудники компании Autodesk. И есть жюри, которое занимается оценкой работ. Последнее состоит из:

• Сотрудников Autodesk
• Привлеченные Эксперты:
• Преподавателей ВУЗов (обладающих достаточно высокой активностью и компетенцией)
• Активисты Сообщества Пользователей Autodesk
• Сотрудники Компаний Партнеров Autodesk
• Представители Партнеров Конкурса 
• Специалисты Индустрии

В связи с большим разнообразием направлений и категорий, которые принципиально отличаются друг от друга, считается необходимым иметь не менее 5 человек по каждому направлению, а желательно по каждой категории. Так в прошлом году в направлении Машиностроение было 7-8 привлеченных экспертов (не являющихся сотрудниками Autodesk) в каждой из номинаций. В основном это люди, которые в силу своей работы являются достаточно загруженными и без Конкурса, а количество проектов - достаточно большое (более сотни в основных направлениях) и по сему если расcчитываете на победу - желателно подавать работу максимально информативно.

Оценка. Оценка работ происходит в анонимном режиме (в том плане, что участники жюри не знают об оценках коллег) на основе материалов опубликованных в вКонтакте и присланных участниками на почту организаторам. Конкурсные Проекты, которые содержат рабочие файлы обычно оцениваются выше аналогичных по сложности и качества, но не содержащих рабочих файлов.

Причина простая - к сожалению, без рабочих файлов сложно проверить некоторые важные моменты: авторство, лицензионность ПО, список ПО в котором выполнялась работа. Если конкурсный проект  претендует на призовое место (или специальную номинацию), но при этом не содержит рабочих файлов - обычно оргкомитет делает запрос к участнику о необходимости представить данные файлы.

Кстати именно поэтому в этом году участникам рекомендуется использовать A360, как средство хранения данных о проектах. Благодаря A360, Вы сможете не только обновлять данные поданные на проект без необходимости повторной отправки всего комплекта документов, но и организаторы смогут оперативно отписать Вам или подправить самостоятельно.

По результатам независимой оценки, формируется итоговый рейтинг работ. В случае если работы претендующие на призовые места идут с малым отрывом друг от друга, каждого из представителей жюри просят расставить список приоритетов для таких работ. Также на данном этапе могут привлечься дополнительные эксперты (которых могут попросить определить список приоритетов, как для спорных работ, так и для всей категории).

Жюри. Конкретный список людей принимавших участие в жюри, или входящих в состав судейской комиссии этого года может быть опубликован только с разрешения Autodesk. Надеюсь чуть позже это сделать.

Оценка. Частично о принципе оценки работ, я рассказал, но чуть добавлю.

Есть три метода оценки проектов:

• нравится - не нравится
• список из 5 критериев для оценки конкурсного проекта
• большой список критериев содержащий вопросы как для оценки всей работы вцелом, так и вопросы конкретной конкурсной категории.

Подобные оценки входят в итоговую оценку с разным весом. Конкретный список критериев для оценки формируется оргкомитетом (в том числе исходя из номинала поданных работ) перед началом оценки. Приблизительный список критериев (на которые можно ориентироваться), я опубликую чуть позже. 

Что касается выводов экспертов по всем работам... Боюсь это слабо реально. Даже на то, чтобы просто просмотреть все работы (на уровне изображений к конкурсным проектам) и выставить оценки просто по пяти критериям, с учетом количества работ уйдет очень много времени. В среднем от двух дней до недели. Более детальное рассмотрение работ претендующих на высокие оценки, с анализом рабочих файлов занимает столько же, не смотря на меньшее количество работ. Если при этом каждый эксперт будет прописывать замечания - это может занять даже не месяц. Сведение этих замечаний в единое целое для каждой работы, это еще работа на полгода. 

Разработка же системы оценивания, максимально формализованная и подробная это задача не на один год, и требует привлечения еще большего числа экспертов и работ, на которых она будет отрабатываться. Правда задачка очень интересная и нетривиальная. Хотя подъемная ли... Ну поживем - увидим. Мне кажется что это возможно, хотя сложно и ... не очень нужно. Если кого-то заинтересует ответ почему - я распишу подробно.

С уважением, Васильев Антон для adsk.tmm-sapr.org

Выдержка из Положения о Конкурсе (от 31.08.2015):

8. Процедура оценки проектов, подведение итогов конкурса и награждение победителей 

8.1. Для проведения экспертизы конкурсных проектов, выявления лучших проектов и принятия решения о победителях конкурса Оргкомитет конкурса формирует и утверждает Конкурсную комиссию (далее Комиссия). 

8.2. Комиссия выполняет возложенные на неё функции в соответствии с настоящим Положением о конкурсе. 

8.3. Комиссия формируется на добровольной основе из числа специалистов в индустриях, соответствующих конкурсным категориям (см. раздел №4) на основе письменных рекомендаций от официальных партнеров конкурса. При формировании состава Комиссии, Оргкомитет конкурса будет отдавать предпочтение выбору специалистов, имеющих практический опыт работы в сфере образования и науки. 

8.4. Комиссия состоит из Председателя, Секретаря и членов Комиссии. В состав Комиссии входят не менее пяти экспертов – членов Комиссии. 

8.5. Кандидатуру Председателя и Секретаря Комиссии утверждает Оргкомитет Конкурса. 

8.6. Председатель Комиссии организует работу Комиссии. Секретарь Комиссии осуществляет организационно-техническое обеспечение работы Комиссии, ведёт протоколы заседаний Комиссии, а также выполняет другие функции, вытекающие из настоящего Положения и требований законодательства. 

8.7. Членами комиссии не могут быть лица, лично заинтересованные в результатах Конкурса, либо лица, на которых способны оказывать влияние участники Конкурса. Председатель или член Комиссии обязан незамедлительно сообщить Комиссии о наличии вышеуказанных или иных обстоятельств, которые могут послужить основанием для признания его лично заинтересованным в результатах Конкурса, и обязан заявить самоотвод. 

8.8. Решения Комиссии принимаются голосованием большинством голосов ее членов, принимающих участие в заседании, при этом каждый член Комиссии обладает одним голосом. В случае равенства голосов «за» и «против» считается принятым решение, за которое проголосовал председатель Комиссии. 

8.9. Член Комиссии не вправе передавать принадлежащее ему право на участие в заседании Комиссии и на голосование по вопросам, входящим в компетенцию Комиссии, другому члену Комиссии или иному лицу. 

8.10. Результаты работы Комиссии оформляются в виде следующих протоколов: 

• Протокол рассмотрения заявок на участие в Конкурсе;
• Протокол оценки и сопоставления конкурсных проектов. В протоколе должны быть зафиксированы следующие сведения:
• ФИО членов Комиссии, принявших участие в заседании Комиссии, а также секретаря Комиссии; 

• наличие или отсутствие кворума для проведения заседания Комиссии; 
• вопросы, включённые в повестку заседания Комиссии; 
• заявления лиц, присутствующих на заседании Комиссии, возражения, высказанные против этих заявлений другими лицами, мнения, высказанные председательствующим и членами Комиссии при обсуждении таких заявлений и возражений; 
• вопросы, поставленные на голосование Комиссии, и результаты голосования Комиссии по таким вопросам; 
• другие обстоятельства и факты, которые согласно настоящему Положению подлежат отражению в соответствующем протоколе. 

8.11. В процессе экспертизы проектов, в случае обоснованной необходимости, Конкурсная комиссия вправе запрашивать у автора (руководителя творческой группы) уточняющую информацию, подробные разъяснения по конкретным вопросам, а также исходные файлы всего проекта или отдельных его частей. Для этого автору направляется соответствующее письмо-запрос (с уведомлением о получении) по E-mail или по почте. В этом случае, участие проекта в конкурсных процедурах будет приостановлено до момента получения затребованной информации или файлов. 

8.12. С целью повышения объективности оценки проектов Оргкомитет конкурса может привлекать дополнительно и независимых экспертов по тематике рассматриваемых конкурсных проектов. 

8.13. Одним из этапов конкурсного отбора, в качестве формы независимой оценки проектов, может использоваться процедура открытого интернет- голосования на тематических интернет-сайтах и в тематических группах социальных сетей, соответствующих тематике проектов. 

8.14. По результатам комплексной процедуры оценки проектов в каждой из конкурсных категорий отбираются лучшие проекты, и их авторы награждаются дипломами от компании Autodesk в соответствии с уровнями: 

• Диплом 1 степени (высший уровень) 
• Диплом 2 степени 
• Диплом 3 степени 

8.15. Решения оргкомитета конкурса по всем вопросам, связанным с проведением конкурса, а также результатами конкурса являются окончательными, распространяются на всех участников и обжалованию не подлежат. Оргкомитет конкурса не обязан отвечать на запросы о причинах принятых решений. 

9. Специальные номинации для отличившихся проектов 

9.1. В дополнение к отбору лучших проектов по категориям (согласно 8.13), Конкурсной комиссией выбираются наиболее отличившиеся проекты в специальных номинациях, и их авторы награждаются дополнительными дипломами. 

9.2. Специальными номинациями, обязательными для рассмотрения Конкурсной комиссией, являются: 

• «ГРАНД ПРИ КОНКУРСА» 
• «ЛУЧШИЙ ДИПЛОМНЫЙ ПРОЕКТ»  
• «ВЫБОР ИНТЕРНЕТ-СООБЩЕСТВА» 

9.2.1. В рамках специальной номинации «ГРАНД ПРИ КОНКУРСА» выбирается один, наиболее выдающийся проект по каждому конкурсному направлению. 

9.2.2. В рамках специальной номинации «ЛУЧШИЙ ДИПЛОМНЫЙ ПРОЕКТ»: 

• выбирается один, наиболее выдающийся проект по каждой конкурсной категории; 
• проект рассматривается только в том случае, если в комплекте конкурсной заявки содержится документ, подтверждающий факт защиты дипломного проекта. В частности, в качестве такого документа может рассматриваться: - файл документа «Пояснительная записка к дипломному проекту», - скан (обязательно с подписями) титульного листа, - скан официального письма от руководства учебного заведения с просьбой допустить к участию в конкурсе данный дипломный проект (с обязательным указанием названия проекта, автора, кафедры). 

9.2.3. В рамках специальной номинации «ВЫБОР ИНТЕРНЕТ- СООБЩЕСТВА»: 

• выбирается один проект по каждой конкурсной категории, набравший наибольшее число голосов (отметок «Мне нравится») в соответствующих категории альбомах демонстрационных изображений и видео; 
• при подсчете голосов (отметок «Мне нравится») учитываются только отметки от участников группы «Образовательное сообщество Autodesk» (https://vk.com/AutodeskEducation).

 9.3. По инициативе экспертов Конкурсной комиссии и представителей партнеров конкурса, Оргкомитет конкурса может учреждать и другие специальные номинации.