Насколько на самом деле точны подсчеты калорий по фотографиям?

Точность калорий на фото — короткая версия.

• Идентификация продуктов питания по фотографии, как правило, надежна; Размер порции — вот откуда возникает большая часть ошибок. • Глубина не видна на одной фотографии — мелкая и глубокая миска одинаковых макарон могут отличаться на сотни калорий. • Скрытый жир (масло, сливочное масло, заправки) является крупнейшим источником недооценки, поскольку он сильно меняет количество калорий и почти не оставляет визуальных следов. • Угол обзора, полная часть кадра и хорошее освещение заметно улучшают оценку — это немаловажное предпочтение стиля. • Большая часть реальной точности зависит от исправления предложенных ИИ частей перед сохранением, а не от самой фотографии.

Модель фотографии еды выполняет две отдельные задачи: определяет, что находится на тарелке, и оценивает, сколько этого там есть. Первая задача — это то, в чем современные модели видения действительно хороши: смешанные тарелки, несколько компонентов, незападные блюда — все это идентифицируется с достаточной надежностью. Вторая задача — оценка объема и веса по 2D-изображению — принципиально сложнее, поскольку фотография сжимает три измерения в два, и информация о глубине по большей части теряется. Это не столько решаемая программная проблема, сколько структурное ограничение ввода — одно плоское изображение действительно не содержит достаточно информации для точного определения объема.

Наиболее высокие оценки касаются продуктов узнаваемой стандартной формы: куриная грудка, вареное яйцо, ломтик хлеба, фрукт. Они имеют относительно низкую естественную дисперсию и форму, которую модель может сравнивать с известным эталонным размером. Упакованные продукты питания с заметным брендингом еще более надежны, поскольку их можно сопоставить с точностью, близкой к уровню базы данных. Если ваша тарелка выглядит вот так — отдельные компоненты стандартной формы, а не однородное смешанное блюдо — ожидайте, что оценка будет в разумных пределах.

Доминируют два режима отказа. Глубина — это первое: две миски с одними и теми же макаронами могут выглядеть одинаково сверху, но при этом содержать совершенно разные объемы, если одна миска глубже, и модель не может узнать, какая именно. Второй, более серьезный источник ошибок — это жир, который визуально не очевиден: столовая ложка сливочного масла добавляется в соус, масло, в котором готовилось жаркое, заправка смешивается с салатом, а не стекает по краям. Жир содержит примерно девять калорий на грамм против четырех калорий на грамм белка или углеводов, поэтому скромное, невидимое его количество может изменить истинное количество калорий в еде на несколько сотен калорий, совершенно не меняя внешний вид тарелки. Это неизменно является крупнейшим источником недооценки любого метода, основанного на фотографиях, ИИ или оценки человека.

То, как вы делаете фотографию, существенно влияет на качество оценки. Снимок сверху, показывающий всю часть, дает модели наиболее четкое представление об относительной площади, что является самым сильным визуальным показателем объема, который у нее есть. Низкий угол скрывает дальнюю сторону тарелки и скрывает истинную глубину. Хорошее, равномерное освещение помогает модели разделить отдельные компоненты, а не воспринимать затененный участок как другой продукт или пропускать его. Ничто из этого не направлено на то, чтобы фотография выглядела аппетитно — она дает модели столько подлинной визуальной информации, сколько может нести одно 2D-изображение.

Самый большой доступный прирост точности - это не лучшая фотография, а просмотр и исправление предложенных порций перед сохранением, потому что у вас есть информация, которой нет на изображении: была ли это щедрая или легкая порция, сколько масла на самом деле ушло на сковороду, был ли соус тяжелым. Если рассматривать первый проход ИИ как черновик для редактирования, а не как окончательный ответ, который нужно принять, это разница между приблизительным числом и действительно полезным. Это справедливо для любого метода оценки, а не для особого недостатка фотоподхода — дневник питания, заполненный по памяти, имеет тот же этап коррекции, только сделанный менее заметно.

Для повседневного отслеживания релевантным индикатором является не лабораторная точность, а то, является ли число достаточно близким, чтобы принять реальное решение, и достаточно ли последовательным, чтобы показать тенденцию на протяжении нескольких недель. Метод, надежность которого находится в пределах 15–20% и который используется каждый день, превосходит метод, который более точен, но от которого отказались через неделю, поскольку он занимает слишком много времени. Оценка фотографий, корректируемая по мере продвижения, устраняет эту практическую планку для большинства людей, хотя она никогда не преодолеет более строгую планку.

Попробуйте этот инструмент: Анализатор калорийности фотографий. Связанные материалы: насколько точен искусственный интеллект в целом при подсчете калорий и фотопривычки это действительно улучшает оценки.