Канадские разработчики создали приложение для смартфона, способное в реальном времени распознавать в кадре блюда и их компоненты и показывать пользователю пищевую ценность. Статья о разработке опубликована на arXiv.org.
Приложение было создано командой разработчиков под руководством Желько Жилича (Zeljko Zilic) из Университета Макгила.
Для определения и распознавания объектов в кадре используется сверточная нейросеть, основанная на популярной архитектуре YOLO. Так, на полученном изображении нейросеть распознает области, в которых находятся известные ей объекты. После этого специальный алгоритм выделяет эти области и подписывает соответствующим образом.
Авторы отмечают, что на современном смартфоне процесс обработки кадра занимает меньше секунды, при этом точность распознавания еды составляет порядка 75%.
Следует отметить, что приложение показывает калорийность, содержание белков, жиров и углеводов, а также соли, холестерина и некоторых витаминов в сфотографированных блюдах.
Разработчики признались, что они использовали базу данных Nutritionix, содержащую данные о более 700 тысячах блюд.
Как сообщалось ранее, Apple выпустила новую версию операционной системы — iOS13.