В публикации, о запуске нового сервиса, в блоге "Яндекс" говорится, - "Когда на Диске тысячи фотографий, разложенных по разным папкам, поиск по текстам позволит быстро найти среди них нужную. Например, скан договора с названием вроде scan723.JPG или фотографию визитки человека, с которым понадобилось связаться. Искать можно не только документы, но и любые фотографии, которые сделаны для того, чтобы сохранить текст, будь то объявление на двери подъезда или любопытный рекламный плакат в метро".

В блоге говорится, что основой распознавания текста на картинках является технология оптического распознавания символов. Эта технология позволяет распознать текст на разных графических изображениях.

Новый сервис работает следующим образом. Сначала модуль классификатор проводит поиск картинок и отбирает те из них, на которых присутствует текст. Далее классификатор проводит более глубокий анализ на присутствие текста в изображении и отбирает те картинки в которых алгоритм уверен на 100%.

На следующем этапе в работу включается модуль оптического распознавания текста. Он определяет символы и предлагает для каждого несколько вариантов распознавания.

Далее в дело вступает языковая модель. Она опираясь на словари определяет какой символ из предложенных вариантов подходит лучше всего. Благодаря языковым словарям распознавание слов происходит более точно.

Точность распознавание в большей степени зависит от качества изображения. Чем качественен картинка тем точнее распознается текст. Например для скриншотов это почти 100% распознавание, для фото чуть больше 60%, для сканов документов около 80%.

В новом сервисе помимо русского языка есть украинский, английский и турецкий. Общий показатель качества распознавания текста превышает 70%. В свою очередь разработчики обещают улучшить качество распознавания текста с картинок.