Поиск по тексту на картинках и скриншотах: распознавание в FixNote

Где тот скриншот с номером брони? Фото доски после встречи, чек из магазина, слайд из чужой презентации: нужный текст есть на картинке, а обычный поиск по заметкам видит только напечатанные слова. Ниже о том, как FixNote читает текст на изображениях, где это видно и какие картинки он распознаёт хуже.

Как FixNote распознаёт текст на картинках

Когда в заметке появляется картинка, FixNote в фоне распознаёт на ней текст. Для этого он использует Tesseract, открытую программу распознавания текста (OCR). Она работает внутри приложения, на компьютере и в браузере, и читает русский, английский и испанский. Картинки FixNote берёт по одной с паузой между ними, чтобы приложение не тормозило.

Языковые данные весят около восьми мегабайт. FixNote скачивает их один раз, когда впервые встречает картинку, и дальше интернет для распознавания не нужен.

Куда попадает распознанный текст

Текст хранится в локальной базе рядом с картинкой. На наш сервер он не отправляется и между устройствами не синхронизируется: каждое устройство читает картинки само, когда они на нём появились. Если удалить заметки, текст их картинок удаляется вместе с ними.

Распознавание входит в бесплатный тариф и работает без аккаунта. Подробнее о том, что FixNote делает на устройстве, на странице о тексте на картинках.

Где это видно

Распознанный текст работает в трёх местах:

• Поиск по заметкам (Ctrl+K, ⌘K на Mac) находит заметку по словам, которые есть только на картинке.
• Ассистент читает этот текст вместе с заметкой. На вопрос «какой номер был у брони отеля в Порту?» он найдёт ответ на скриншоте, если номер на нём есть.
• Команда «Текст с картинки» в меню правой кнопки мыши на картинке показывает распознанный текст, и его можно скопировать.

Поиск при этом работает так же, как по обычному тексту: понимает окончания слов и транслитерацию. Как он устроен для смешанных языков, описано в статье про поиск на трёх языках.

Какие картинки распознаются хорошо, а какие нет

Лучше всего Tesseract читает скриншоты, документы и чеки, где ровный печатный текст стоит на однородном фоне. Фото под углом, мелкий шрифт и текст поверх пёстрой картинки он читает хуже, рукописный текст обычно не читает совсем. Если на картинке текста не нашлось, окно «Текст с картинки» так и скажет: «На картинке не нашлось текста».

Чтобы скриншот нашёлся, достаточно, чтобы распознались несколько характерных слов: название отеля, номер заказа, фамилия. Если поиск не нашёл картинку по одному слову, попробуйте другое слово с неё.

Как скачать или удалить модель распознавания

В разделе Настройки → Расширенные → «Модели на устройстве» есть пункт «Текст с картинок». Там видно, скачаны ли языковые данные и сколько места они занимают, и их можно удалить. Когда они снова понадобятся, FixNote скачает их заново.

Перетащите в FixNote скриншот с адресом или номером заказа, подождите минуту и найдите его по Ctrl+K, набрав слово с картинки.