Видео

Лекция (осень 2020)

Семинар (осень 2020)

Домашнее задание

Реализовать концепции:

• Pre-labelling
• Human-in-the-loop

Дано

• 2000 изображений, на которых на переднем плане присутствует автомобиль
• Open Source нейронная сеть, которая умеет распознавать номера с точностью 85% github.com/ria-com/nomeroff-net
• 3$ на балансе в Яндекс.Толоке

Задача

Распознать номера автомобилей на изображениях с минимальным количеством ошибок

Система оценки

Часть 1.

• Прогон двух тысяч изображений через нейронную сеть, получение prediction и score: 2 балла
• Создание проекта по распознаванию номеров: 2 балла
• Создание обучающего пула: 1 балл

Часть 2.

• accuracy ∈ (99,100] : 5 балла
• accuracy ∈ (98,99] : 4 балла
• accuracy ∈ (96,98] : 3 балла
• accuracy ∈ (94,96] : 2 балла
• accuracy ∈ (85,94] : 1 балла

Часть 3.

Бонус +3 балла (задание со "звездочкой", необязательное). Обернуть проект в чат-бота, либо в API. При загрузке изображения, его вначале пробует распознать нейронная сеть. При неуверенном распознавании изображение передается в Яндекс.Толоку. 99% запросов должны обрабатываться меньше 3-х минут.

Часть 4.

Бонус +1 балл (задание со "звездочкой", необязательное). 1 балл дается за реализацию пайплайна с помощью Toloka Kit.

Вспомогательный код

Ссылка на github с кодом: github.com/Kucev/human_in_the_loop_task

Варианты

У каждого студента свой вариант со своими изображениями.

Формат сдачи работы

Для успешной сдачи работы необходимо:

1. Предоставить ссылку на пул, в рамках которого выполнялась разметка

2. Предоставить файл с ответами

Формат файла с ответами

Ответы должны быть представлены в формате CSV. Файл должен содержать две колонки: url и answer.

В колонке url должны содержаться ссылки на изображения из вашего варианта.

В колонке answer должны быть записаны распознанные номера.

Пример корректного файла с ответами можно найти тут.

Как назвать файл с ответами

Проверка ваших работ будет проходить в полуавтоматическом режиме, поэтому крайне важно назвать правильно файл с ответами.

Формат названия файла: ВАРИАНТ_ИМЯ_ШАД/ВШЭ/CSC_answer.csv.

Пример: 38_Александра Погребная_ШАД_answer.csv

ИМЯ желательно указать так же, как оно записано в таблице с вариантами.

Куда присылать свои работы

Студенты ШАДа присылают работы в LMS

Студенты ВШЭ присылают работы в Anytask

Студенты CSC присылают работы в LMS