Как работает обратный поиск изображений?

Ваше среднее изображение может стоить меньше тысячи слов – вы можете многому научиться у селфи. Но иногда вам просто нужно знать, откуда исходит изображение, независимо от того, сколько слов ценно.

Для этого существуют такие поисковые системы, как Google, TinEye, Bing, Yandex, Pixsy и многие другие. Поскольку он не дал никаких слов в своем заявлении, откуда они знают, что искать? И, самое главное, как они это нашли? Как работает каждая поисковая система обратного изображения, они различаются, и они скрывают свой алгоритм, но основная идея есть и не так сложна для понимания.

отпечаток пальца

Фактические изображения могут быть более уникальными, чем отпечатки пальцев человека, потому что вероятность того, что два изображения содержат одинаковое расположение пикселей, очень мала, а вероятность столкновения отпечатков пальцев составляет около 64 миллиардов относительно хорошая возможность. Но как вы снимаете отпечаток пальца на изображении? Шаги варьируются в зависимости от алгоритма, но большинство из них следуют той же базовой формуле.

Во-первых, вам нужно измерить характеристики изображения, которые могут включать в себя цвета, текстуры, градиенты, формы, отношения между различными частями изображения и даже такие вещи, как преобразования Фурье (метод разделения изображения на груди и косинусы).

Допустим, мы ищем следующее изображение и нам нужен отпечаток пальца.

Для этого мы могли бы, среди прочего, использовать цветовые гистограммы изображения, преобразования Фурье и карты текстур, каждую из которых вы можете увидеть ниже.

Если изображение изменяется, размывается, поворачивается или манипулирует им, существует ряд алгоритмов, которые используют вышеупомянутые функции и другие, чтобы попытаться найти результат.

Кодирование, сохранение и поиск

Каждая функция изображения на отпечатке пальца может быть закодирована как строка букв и цифр, которая легко сохраняется и индексируется в базе данных. Любая комбинация извлеченных и сохраненных функций будет входным поисковым движком для этого изображения. Например, база данных TinEye содержит приблизительно 39,6 миллиарда изображений, которые были проиндексированы в феврале 2020 года, что означает, что они запускают свой алгоритм на многих изображениях и сохраняют все эти отпечатки пальцев для сравнения найденных изображений.

Вторая основная часть алгоритма – обнаружение, какие изображения похожи. Когда вы загружаете изображение, оно будет проходить через алгоритм поиска отпечатков пальцев в обратном поиске. Поисковая система попытается найти запись с самым близким отпечатком, известным как «расстояние до изображения». Определение того, какие факторы следует сравнивать и как вес также зависит от каждой поисковой системы, но в первую очередь направлено на то, чтобы найти полное расстояние изображения, максимально близкое к нулю.

Как насчет машинного обучения / AI?

Благодаря описанной выше методике считывания отпечатков пальцев / индексации обратный поиск изображений довольно хорош даже до того, как к нему применимо ИИ. Поскольку ИИ очень хорош в обработке изображений, многие крупные поисковые системы используют сверточные нейронные сети (CNN) для извлечения и маркировки функций. Например, Google может использовать CNN в обратном поиске изображений, что позволяет ему генерировать потенциальные ключевые слова изображения и получать релевантные результаты и изображения в Интернете, как они это делали в Google Фото в течение некоторого времени.

Для этого требуется обратный поиск изображений, шаг над простым извлечением объектов и расстояние между ними. Сверточные нейронные сети в основном пропускают изображения через различные фильтры, которые отображают различные типы функций, а затем пытаются классифицировать их на основе предыдущего обучения. Это, конечно, упрощение, но достаточно сказать, что CNN делает поиск изображений намного более точным и полезным и, вероятно, внедряется вместе со старыми методами распознавания отпечатков пальцев.

Какова лучшая обратная поисковая система изображений?

Другой алгоритм означает хорошую поисковую систему изображений для разных вещей, хотя все они в конечном итоге указывают на одну и ту же цель: найти соответствие для загружаемого вами изображения. Google Images Например, у него довольно хороший показатель успешности, но он делает много «лучших предположений», давая вам множество фотографий, которые похожи, но не идентичны. Это прекрасно, если вы ищете общее настроение или категорию, но машина нравится TinEye гораздо больше внимания уделяется поиску идентичных изображений, даже если они сильно отредактированы, и даже может идентифицировать изображения на фотографиях, что делает его немного лучше, если вам нужно правильное соответствие.

Российская поисковая система Яндекс также известна тем, что у нее есть отличный инструмент для поиска изображений, хотя можно было бы предположить, что она будет стремиться делать все возможное для русской тематики. Такие инструменты, как Pixsy и ImageRaider, фокусируются на выявлении случаев несанкционированного использования, поэтому они, как правило, включают больше функций, таких как предупреждения, и фокусируются на мониторинге библиотеки фотографий пользователя.

Поскольку алгоритм все время меняется и, как правило, заблокирован, рекомендуется проверить несколько разных машин, если ничего не дает желаемых результатов.

Кредит изображения: Пар с улиц Нью-Йорка, Значок базы данных БД

Была ли эта статья полезной? Если нет