Hulbestunde

Hulbestunde

Обзор проекта

Чтобы научиться искусно играть на музыкальном инструменте, необходимо усердие и регулярная практика. Но занятия с репетитором по несколько раз в неделю могут позволить себе далеко не все. Да и согласование удобного времени плюс дорога к месту проведения занятий усложняют процесс обучения.
У юного предпринимателя из Берлина появилась идея – сделать практические занятия не только удобными, но и снизить общую стоимость обучения, минимизировав в нём личное присутствие преподавателя. Идея родилась до всемирной пандемии Covid-19, но оказалась крайне актуальной в период строгого социального дистанцирования.

Задача

Найти решение, которое поможет ученику определять ошибки в своем исполнении заданного учителем музыкального произведения. С технической стороны задача заключалась в необходимости сравнить аудиофайлы с записями музыкального произведения, исполненного преподавателем и учеником, и идентифицировать несоответствия.

Решение

В рамках решения этой задачи, а именно при создании MVP, мы использовали продуктовый подход и методологию Scrum. Работа велась по методологии Lean Startup и началась с проработки и структурирования концепции.

На этапе проработки идеи мы провели обширную работу:

- исследовали рынок и конкурентов;
- выделили сегменты пользователей;
- конкретизировали, какие сложности возникают в процессе обучения;
- сформулировали гипотезы о том, что и как поможет разрешить эти сложности;
- провели интервью с заказчиком и потенциальными пользователями;
- сформулировали ценность для пользователей и желаемый бизнес-результат;
- определили приоритетные задачи, которые помогут быстро добиться этих результатов и снизят риски в дальнейшей работе.

Структурировать и визуализировать эту информацию помог Lean UX Canvas.

Концепция была реализована в виде iOS-приложения, которое осуществляет запись, воспроизведение и сравнение аудиофайлов (эталонного и пользовательского).

 

Сложность реализации этой задачи состояла в том, чтобы найти технологию, которая позволяет точно анализировать параметры (темп, ритм, сыгранные ноты) музыкальных отрывков, исполненных преподавателем и учеником. Мы провели исследование и несколько итераций по разработке, чтобы найти решение, которое позволило с точностью 80-95% определять несоответствия между двумя аудиофайлами и конкретизировать их. В основе приложения был использован математический алгоритм: статистика и динамическое программирование.

Работа с приложением выглядела так:

 

1. Преподаватель исполняет музыкальное произведение в присутствии ученика и записывает на его телефон.

2. Дома ученик исполняет и записывает свой отрывок.

3. Приложение производит сравнение и определяет несоответствия.

 

Эта версия продукта позволила доказать работоспособность идеи и востребованность идеи, а также собрать обратную связь от пользователей. Оказалось, что при наличии посторонних шумов во время записи аудиофайла снижается качество сравнения и, как следствие, точность определения несоответствий. Таким образом, мы отработали цикл обратной связи “создать-оценить-научиться”. После этого были внесены изменения, которые полностью исключает необходимость присутствия преподавателя и позволяют:

– Сфотографировать ноты;

– Преобразовать их в качественное изображение;

– Воспроизвести автоматически сгенерированную на основе отсканированного изображения эталонную мелодию.

 

За эту функциональность отвечают следующие процессы и технологии:

 

– Сканирование нотного стана и машинное зрение;

– Бинаризация полученного изображения;

– Выгрузка полученного изображения на бекенд;

– Оптическое распознавание бинаризованного изображения, цель которого научить программу читать и интерпретировать ноты и создавать машиночитаемую версию нот;

– Воспроизведение полученного аудиофайла.

 

Благодаря этому ученик может оттачивать свои навыки без вовлечения преподавателя, используя эталонную версию музыкального произведения.

Результаты

• Продукт на стадии Proof of Concept получил грант 133000 евро от
Министерства экономики, труда и энергетики Бранденбурга, Германия для дальнейшего развития.

• Победитель International Venture Academy, Sophia business Angels (международная организация инвесторов ) – Лучшая презентация.

• Приложение в топ-50 приложений Германии в категории «Образование» без маркетингового бюджета.

• Публикации в прессе – Startup Valley, NDR и др.

 

На данный момент ведется работа над функциональностью, которая позволит продолжить тестирование и проверить бизнес-модель стартапа. Данная функциональность позволит записывать мелодию, исполненную учеником и сравнивать с эталонным отрывком для выявления ошибок. Для этого используется технология Искусственного Интеллекта, а именно алгоритм машинного обучения с учителем (Supervised learning).

Технологии

Front-end: iOS, Swift, Realm, RxSwift / RxCocoa, Alamofire, WeScan, OpenCV.
Back-end: Java / SpringBoot framework, Docker, Audioveris; Python 3.8, FastAPI; MuseScore3; Pytest.
DevOps: CI/CD в Azure DevOps, Docker, Linux.

Отзыв:

Tiberius Treppner

Tiberius Treppner, CEO компании “Hulbestunde”

"Люди в команде Konig Labs очень умны и понимают, что я пытаюсь сказать и какие идеи хочу донести. MVP приложения помог получить более 133 000 Евро в виде финансирования для платформы. Konig Labs принимали активное участие в обсуждении обратной связи и были всегда доступны, если возникали проблемы. Команда целеустремленная, внимательная и трудолюбивая".

Проверенный отзыв в системе Clutch

Отзывы

Орфография и пунктуация авторов – сохранены