Концепция была реализована в виде iOS-приложения, которое осуществляет запись, воспроизведение и сравнение аудиофайлов (эталонного и пользовательского).

Сложность реализации этой задачи состояла в том, чтобы найти технологию, которая позволяет точно анализировать параметры (темп, ритм, сыгранные ноты) музыкальных отрывков, исполненных преподавателем и учеником. Мы провели исследование и несколько итераций по разработке, чтобы найти решение, которое позволило с точностью 80-95% определять несоответствия между двумя аудиофайлами и конкретизировать их. В основе приложения был использован математический алгоритм: статистика и динамическое программирование.

Работа с приложением выглядела так:

1. Преподаватель исполняет музыкальное произведение в присутствии ученика и записывает на его телефон.

2. Дома ученик исполняет и записывает свой отрывок.

3. Приложение производит сравнение и определяет несоответствия.

Эта версия продукта позволила доказать работоспособность идеи и востребованность идеи, а также собрать обратную связь от пользователей. Оказалось, что при наличии посторонних шумов во время записи аудиофайла снижается качество сравнения и, как следствие, точность определения несоответствий. Таким образом, мы отработали цикл обратной связи “создать-оценить-научиться”. После этого были внесены изменения, которые полностью исключает необходимость присутствия преподавателя и позволяют:

– Сфотографировать ноты;

– Преобразовать их в качественное изображение;

– Воспроизвести автоматически сгенерированную на основе отсканированного изображения эталонную мелодию.

За эту функциональность отвечают следующие процессы и технологии:

– Сканирование нотного стана и машинное зрение;

– Бинаризация полученного изображения;

– Выгрузка полученного изображения на бекенд;

– Оптическое распознавание бинаризованного изображения, цель которого научить программу читать и интерпретировать ноты и создавать машиночитаемую версию нот;

– Воспроизведение полученного аудиофайла.

Благодаря этому ученик может оттачивать свои навыки без вовлечения преподавателя, используя эталонную версию музыкального произведения.

• Продукт на стадии Proof of Concept получил грант 133000 евро от
Министерства экономики, труда и энергетики Бранденбурга, Германия для дальнейшего развития.

• Победитель International Venture Academy, Sophia business Angels (международная организация инвесторов ) – Лучшая презентация.

• Приложение в топ-50 приложений Германии в категории «Образование» без маркетингового бюджета.

• Публикации в прессе – Startup Valley, NDR и др.

На данный момент ведется работа над функциональностью, которая позволит продолжить тестирование и проверить бизнес-модель стартапа. Данная функциональность позволит записывать мелодию, исполненную учеником и сравнивать с эталонным отрывком для выявления ошибок. Для этого используется технология Искусственного Интеллекта, а именно алгоритм машинного обучения с учителем (Supervised learning).