Казалось бы, довольно примитивная задача, которую теоретически можно было решить одной findimage, если бы не некоторый микроскопический рандом на экране, который глазу даже не заметен.
Речь идёт о подборе 4-х фрагментов отпечатка пальцев (самих отпечатков так -же 4).

Для наглядности ужатый джипег:

Найти искомый фрагмент можно с помощью findimage (с усреднением всех цветов до тех пор, пока не останется 2 цвета для 100% выборки, так как много шума на фоне)
Но для того чтоб можно было активировать выбор, нужно "переместить" пошагово яркие уголки через стрелки клавиатуры на найденный фрагмент.
Сразу искать и сопоставлять фрагмент и уголки нельзя, из за сильной разницы в яркости и вариативности самих изображений уголков и их местоположения в различных 8 ячейках.

Отсюда вопрос,-
1. Можно ли задать переменные координатам фрагментов, затем использовать эти переменные в качестве начальных координат зон поиска уголков по findheapcolor и затем проводить проверку наличия уголков рамки в проверяемой ячейке?
2. Можно ли, в принципе, подводить рамку сразу в направлении найденного нужного фрагмента, а не перебирать все 8 ячеек подряд, так как мышь не участвует, только клавиатура (стрелка вправо позволяет перемещать рамку последовательно по всем ячейкам и так по кругу)
Видео экрана:

ps.
Если кому интересно реализовать решение за, скажем, , то напишите лс

На первый вопрос вроде есть положительный ответ ((для просмотра ссылки Вам необходимо авторизоваться) ), по второму всё еще не понятно как.

По вопросу комбинирования получилось так


Некоторая сложность была в том, что бы убрать разницу в координатах зоны поиска для findheapcolor так как брал за точку отсчёта координаты картинки внутри зоны поиска findimage.

По второму вопросу, как логически перемещать рамку селектора стрелками клавиатуры к искомой ячейке, где найдена картинка, пока не имею никакого понятия.
Брутфорсить каждую ячейку проще по коду, но потеря времени до 50% на таком взломе.

Ну вот и всё. Скорость выполнения даже частичным перебором запредельная.
(для просмотра ссылки Вам необходимо авторизоваться)
Всем спасибо за помощь

Схема логики

Нажмите для увеличения

И всё таки...
Если есть у кого идеи, какими функциями составить алгоритм перемещения рамки поочерёдно к каждой найденной картинке, подскажите пожалуйста.
Лично я остановился на том, что можно записать все координаты найденных картинок, затем рассортировать их по расстоянию от точки (функция SORT), и так как есть всего 8 возможных координат/позиций, привести их к такому выражению:
00101011
где
0 - пустой шаг,
1 - действие

Есть ли способ это реализовать?

Кого найти. На чем найти. Где найти.
Это вы играете в эту игру.
Я лично не знаю в чем там микроскопический рандом и чем он мешает.

Какая стоит задача, если ее описать через ТЗ?

Хм, такой подробной темы с описанием задачи и несколькими видео я ещё не встречал.
Извините, если помешал.

Если у вас есть Все отпечатки, то можно по ним обучить базу распознавания текста
Но для нее требуется четкая зона.
Как у вас зона прыгает рандомно, это не известно. Привяжите к чему то.
И распознавайте через readtext.
При чем тут "Сразу искать и сопоставлять фрагмент и уголки нельзя, из за сильной разницы в яркости и вариативности самих изображений уголков и их местоположения в различных 8 ячейках." не ясно. Не видно на видео.

Нашли все зоны для распознавания.
Распознали символ в большом окне.
Запомнили его.
Распознали все символы в маленьких окнах.
Тот который подошел - выбрали.
Размер символа не имеет значения.
Имеет значение зона распознавания.

Настроить фильтр надо так, что бы весь отпечаток был за один только символ.

По распознаванию отпечатков вопросов уже нет. Всё работает и распознаётся и даже выбирается.
Хотелось без перебора картинок реализовать.


Мышь не работает в этом режиме, только стрелки на клавиатуре, т.е невозможно по координате "тыкнуть", надо подвести рамку пошагово.

PS. readtext это же для распознания текста инструмент??

Вы зону распознанной картинки знаете?
Присвойте каждой зоне определенное количество нажатий клавиатуры.
А лучше нажимайте клавиатуру и пробуйте распознавать рамку вокруг распознанного отпечатка.