Нейросеть, разработанная Нетанелом Йозефианом и его коллегами из Тель-Авивского университета, научилась формировать фотографии блюда на основе длинного текстового описания его приготовления. Об этом в пятницу пишет N+1 со ссылкой на статью на arXiv.org.
При этом в рецепте не описываются визуальные признаки блюда. В нем содержится список ингредиентов и описание этапов приготовления. Для обучения нейросети понадобилось 52 тыс. пар рецептов и фотографий из датасета Recipe1M.
Способности нейросети ученые проверили на 24 тыс. пар. Для проверки полученные фотографии передавались алгоритму, который относил изображенное блюдо к знакомому ему классу с присвоенной долей вероятности. При проверке с помощью алгоритма нейросеть получила 4,55 ± 0,20 балла по пятибалльной шкале. А при оценке изображений людьми, нейросеть набрала 3,72 балла.
Отметим, для составления алгоритма был выбран метод, основывающийся на труде других разработчиков. Речь идет о создании датасета из 800 тыс. пар рецептов и изображений блюд. Исследователи, на работе которых основывались израильские ученые, научили нейросеть составлять рецепт по фотографии блюда.
