Read the book: «Программы для прохождения компьютерных игр: боты, ИИ-агенты и компьютерное зрение»
Глава
ГЛАВА 1. Введение в автоматизацию компьютерных игр
Автоматизация компьютерных игр — междисциплинарная область на стыке программирования, компьютерного зрения, машинного обучения, теории игр и программной инженерии. Её цель — создание программных систем (ботов, агентов, ассистентов), способных воспринимать игровое окружение, принимать решения и выполнять действия с минимальным участием человека или полностью автономно.
Игры представляют собой уникальную среду для разработки и тестирования интеллектуальных систем. В отличие от физического мира, игровая среда полностью контролируема, воспроизводима и безопасна. При этом многие игры моделируют сложные аспекты реальности: частичную наблюдаемость (туман войны, ограниченное поле зрения), стохастичность, необходимость долгосрочного планирования, конкуренцию и кооперацию нескольких агентов. Именно поэтому крупнейшие лаборатории искусственного интеллекта — DeepMind, OpenAI, Meta AI и другие — десятилетиями используют игры в качестве основного полигона для отработки алгоритмов.
1.1. Что такое игровой бот
Игровой бот — это программа, которая взаимодействует с компьютерной игрой от имени игрока или вместо него. Бот может выполнять самые разные функции:
• Полностью автономная игра — от начала до конца уровня, матча или даже всей кампании.
• Выполнение рутинных задач — фарм ресурсов, прокачка персонажа, сбор и разбор лута, выполнение ежедневных и еженедельных заданий.
• Помощь игроку в реальном времени — подсказки, автоприцеливание, автоматическое использование способностей и расходников, помощь в уклонении.
• Тестирование игры — поиск багов, проверка баланса, регрессионное тестирование после патчей, нагрузочное тестирование серверов.
• Исследование алгоритмов ИИ — обучение агентов, сравнение архитектур, бенчмаркинг новых методов perception и control.
Важно различать понятия «бот» и «читерский инструмент». Классические читы обычно дают нечестное преимущество за счёт нарушения правил клиента: чтение скрытой памяти, wallhack, speedhack, инъекция кода в процесс игры. Vision-based бот работает принципиально иначе — он анализирует только то изображение, которое видит человек на экране, и эмулирует действия мыши и клавиатуры. Такие системы ближе к настоящему искусственному интеллекту и гораздо сложнее детектируются классическими сигнатурными античитами, хотя поведенческий анализ всё равно может их выявить.
1.2. Зачем нужна автоматизация игр
Практических причин заниматься этой областью множество, и они далеко не сводятся к желанию «фармить без усилий».
Во-первых, исследования искусственного интеллекта. Игры — идеальный тест-бед. Atari 2600, Doom, StarCraft II, Dota 2, Minecraft, NetHack — все эти среды стали стандартными бенчмарками. Успехи AlphaGo, OpenAI Five и AlphaStar убедительно доказали, что агенты могут превосходить лучших людей в чрезвычайно сложных доменах. Сегодня исследователи переходят к ещё более общим задачам: агентам, которые могут играть в ранее невиданные игры, следуя инструкциям на естественном языке. Яркий пример — проект SIMA (Scalable Instructable Multiworld Agent) от DeepMind.
Во-вторых, тестирование и обеспечение качества игр. Современные AAA-проекты содержат сотни часов контента и астрономическое количество возможных состояний. Ручное тестирование становится неэффективным и дорогим. Автоматические агенты могут проходить уровни тысячи раз, искать редкие edge-cases, проверять, не ломается ли прогресс после патча, и собирать статистику по балансу и производительности.
В-третьих, доступность. Люди с ограниченными возможностями движения часто не могут полноценно играть в игры, требующие быстрой реакции или сложного одновременного управления несколькими клавишами и мышью. Ассистенты на базе компьютерного зрения и голосового управления способны значительно снизить порог входа и сделать хобби доступнее.
В-четвёртых, автоматизация рутины. В MMO, idle-играх, gacha и многих live-service проектах значительная часть времени уходит на повторяющиеся действия. Боты позволяют игрокам сосредоточиться на интересном контенте, а не на гринде. Разумеется, использование таких инструментов почти всегда нарушает правила сервиса и может привести к блокировке аккаунта.
В-пятых, обучение. Написание бота — один из лучших способов изучить компьютерное зрение, работу с изображениями в реальном времени, основы reinforcement learning и инженерию программного обеспечения. Обратная связь мгновенная и наглядная: бот либо успешно проходит уровень, либо нет. Ошибки в perception или логике сразу видны на экране.
1.3. Основные подходы к автоматизации
Существует несколько фундаментально разных способов заставить программу «играть». Понимание этих подходов критично для выбора архитектуры под конкретную задачу.
Скриптовые боты и макросы. Самый простой уровень. Программа записывает последовательность нажатий клавиш и движений мыши и затем воспроизводит её. Инструменты: AutoHotkey, AutoIt, pyautogui, Keyboard Maestro. Такие боты крайне хрупкие — любое изменение интерфейса, разрешения или тайминга ломает сценарий. Тем не менее для очень предсказуемых задач (сбор ежедневных наград, простые кликеры, повторяющиеся комбинации в single-player) они до сих пор используются и имеют право на жизнь как первый шаг.
Memory-based боты. Программа читает и иногда изменяет оперативную память процесса игры. Это позволяет получать точные значения HP, координат, идентификаторов объектов, состояния анимаций без какого-либо анализа картинки. Подход требует reverse engineering: поиск указателей, сигнатур байт-кода, разбор структур данных (часто с помощью Cheat Engine и дизассемблеров). Плюсы — скорость и точность. Минусы — хрупкость после обновлений игры, практически гарантированная детекция современными античитами, юридические и этические риски.
Network / Packet bots. Перехват и подмена сетевых пакетов между клиентом и сервером. Классика для старых MMO. Сегодня встречается реже из-за шифрования трафика, обфускации протоколов и усиленных server-side проверок.
Vision-based боты. Самый «честный» и интересный с точки зрения искусственного интеллекта подход. Бот видит ровно то же, что и человек — пиксели на экране. Он анализирует изображение с помощью классических алгоритмов компьютерного зрения или нейросетей, принимает решение и эмулирует действия мыши и клавиатуры. Поскольку бот не вмешивается в процесс игры, античитам гораздо сложнее обнаружить его по сигнатурам и факту чтения памяти. Основная сложность — добиться достаточной скорости и надёжности распознавания в условиях меняющегося освещения, эффектов и UI.
API-based и SDK-based решения. Некоторые игры предоставляют официальные или полуофициальные интерфейсы. Примеры: python-sc2 и pysc2 для StarCraft II, Mineflayer для Minecraft, различные бот-API в старых многопользовательских шутерах. Это самый удобный путь, когда он доступен: вы получаете структурированные данные о мире и можете сосредоточиться на логике, а не на perception.
Reinforcement Learning и end-to-end агенты. Агент обучается напрямую на пикселях или на состоянии игры методом проб и ошибок, максимизируя заданную функцию награды. Это вершина пирамиды сложности и вычислительных затрат. Именно так были созданы агенты, победившие чемпионов мира в го, Dota 2 и StarCraft II.
Гибридные системы. На практике лучшие современные боты комбинируют несколько подходов. Дешёвые локальные эвристики и классическое компьютерное зрение обрабатывают 95–98 % кадров и ситуаций. Тяжёлые нейросети или большие языковые модели вызываются только тогда, когда нужно принять сложное стратегическое решение, разобрать нестандартную ситуацию или спланировать последовательность действий на минуты вперёд.
1.4. Архитектура типичного vision-бота
Большинство vision-based ботов строятся по похожей многослойной схеме:
1. Захват кадра (screen capture) — получение изображения окна игры или нужной области экрана с минимальной задержкой.
2. Предобработка изображения — приведение к нужному размеру и цветовому пространству, выделение ROI, фильтрация.
3. Восприятие (perception) — детекция объектов, классификация общего состояния экрана, OCR, трекинг целей между кадрами.
4. Представление состояния (state representation) — преобразование сырых выходов CV в структурированное описание: «где кто находится, сколько HP, какая фаза боя, какие кнопки доступны».
5. Принятие решения (decision making) — state machine, behaviour tree, нейросетевая политика или вызов LLM.
6. Планирование действий (action planning) — разбиение высокоуровневого решения на конкретные команды ввода.
7. Исполнение (execution) — симуляция движений мыши и нажатий клавиш с учётом требований «человечности».
8. Обратная связь и логирование — запись того, что произошло, для отладки и последующего улучшения.
Каждый из этих блоков можно реализовывать с разной степенью сложности — от пары строк на OpenCV до полноценных нейросетевых пайплайнов с GPU-ускорением. В следующих главах мы разберём каждый слой подробно.
1.5. Для кого эта книга
Книга рассчитана на читателей, которые уже знакомы с основами программирования (желательно на Python) и хотят углубиться в практическое применение компьютерного зрения и искусственного интеллекта. Предыдущий опыт в геймдеве или машинном обучении полезен, но не обязателен. Все ключевые концепции объясняются с нуля и сопровождаются примерами и рекомендациями по дальнейшему изучению.
Мы сознательно делаем акцент на vision-based и RL-подходах, а также на современных мультимодальных моделях. Memory-hacking и чисто читерские техники рассматриваются лишь обзорно: цель книги — понимание технологий восприятия и принятия решений, а не создание инструментов для нарушения правил онлайн-сервисов.
В следующих главах мы последовательно пройдём весь путь: от истории и классификации ботов через основы компьютерного зрения и симуляции ввода к полноценным системам на базе глубокого обучения и большим языковым моделям.
ГЛАВА 2. История ботов и игрового ИИ
История игрового искусственного интеллекта почти так же стара, как и история самих компьютеров. Задолго до появления графических интерфейсов и трёхмерных миров люди уже пытались научить машины играть в игры.
2.1. Первые шаги (1950–1970-е)
В 1951 году Кристофер Стрейчи написал программу для игры в ним на компьютере Ferranti Mark 1 в Манчестерском университете. Годом позже Александр Дуглас создал OXO — крестики-нолики на EDSAC. Эти программы использовали полный перебор возможных ходов или простые эвристики. В те же годы Алан Тьюринг и Клод Шеннон независимо размышляли о том, как научить машину играть в шахматы. Тьюринг описал алгоритм Turochamp, который, впрочем, так и не был полностью реализован на работающем компьютере при его жизни.
Шахматные программы стали главной «витриной» игрового ИИ на десятилетия. Путь от простых минимаксных алгоритмов с альфа-бета отсечением до Deep Blue, победившего Гарри Каспарова в 1997 году, занял почти полвека. Важно понимать: Deep Blue победил за счёт огромной вычислительной мощности и тщательно настроенных эвристик оценки позиции, а не за счёт машинного обучения в современном смысле. Это был триумф инженерии поиска и оценки, а не обучения.
2.2. Эра аркад и конечных автоматов (1970–1990-е)
С появлением аркадных автоматов и домашних консолей возникла необходимость создавать противников, которые ведут себя интересно, но не являются ни беспомощными, ни непобедимыми. Классический пример — Pac-Man (1980). Четыре призрака — Blinky, Pinky, Inky и Clyde — имели разные алгоритмы выбора цели. Blinky всегда преследовал игрока напрямую. Pinky пытался устроить засаду в четырёх клетках впереди по направлению движения игрока. Inky использовал более сложную формулу, зависящую от положения и Blinky, и игрока. Clyde вблизи игрока уходил в свой «домашний» угол. Всё это было реализовано через конечные автоматы и простые правила — никаких нейросетей, но поведение уже казалось «живым».
В 1990-е годы расцвели шутеры от первого лица. Quake, Unreal Tournament, Half-Life породили целую культуру ботов. Появились фреймворки вроде Omni-bot, которые позволяли создавать ИИ-противников для многих движков. Бот должен был уметь передвигаться по карте, подбирать оружие и броню, вести огонь, использовать укрытия и иногда даже общаться в чате шаблонными фразами. В 2008–2012 годах проводился турнир 2K BotPrize — своеобразный тест Тьюринга для игровых ботов. Цель состояла в том, чтобы судьи-люди не смогли отличить бота от человека по стилю игры в Unreal Tournament 2004. В 2012 году несколько команд впервые превзошли этот порог.
2.3. Эпоха массовых MMO и фарм-ботов (2000–2010-е)
С взрывным ростом World of Warcraft, Lineage, Runescape и других MMO появился огромный спрос на автоматизацию. Игроки хотели прокачивать персонажей и зарабатывать внутриигровую валюту, не сидя у экрана сутками. Возникла целая индустрия: от простых кликеров до сложных ботов, читающих память клиента и обходящих защиту.
Разработчики игр ответили созданием всё более изощрённых античитов. Warden в World of Warcraft, затем BattlEye, Easy Anti-Cheat, PunkBuster, Valve Anti-Cheat. Началась классическая гонка вооружений: ботоделы находили новые уязвимости, античиты закрывали их, и так по кругу. Многие методы того времени — DLL-инъекции, хуки API, прямое чтение памяти — сегодня практически гарантированно приводят к бану в современных защищённых играх.
2.4. Революция глубокого обучения (2013–2019)
Переломным моментом стали 2013–2015 годы. DeepMind опубликовал работу о DQN — глубокой Q-сети, которая научилась играть в десятки игр Atari, получая на вход только пиксели экрана и счёт. Это было первое убедительное доказательство того, что end-to-end обучение с подкреплением на сырых пикселях возможно и даёт результат, сопоставимый с человеком в ряде игр.
В 2016 году AlphaGo победил Ли Седоля в го — игре, которую долго считали слишком сложной для машин из-за огромного пространства состояний и важности «интуиции». Затем последовали OpenAI Five (Dota 2, 2018) и AlphaStar (StarCraft II, 2019). Эти системы уже работали в условиях частичной наблюдаемости, командной игры и очень длинных эпизодов, длящихся десятки минут.
Параллельно развивались исследовательские среды: OpenAI Gym (позже Gymnasium), ViZDoom, Unity ML-Agents, MineRL, NetHack Learning Environment. Появилась возможность сравнивать алгоритмы на стандартизированных бенчмарках и воспроизводить результаты других групп.
2.5. Современный этап (2020–2026)
После 2020 года акцент сместился в двух направлениях.
Первое — создание всё более общих агентов. DeepMind представил SIMA — систему, которая может выполнять инструкции на естественном языке в разных 3D-играх, в том числе в тех, на которых не обучалась напрямую. Microsoft показал Muse — модель, способную генерировать согласованные последовательности геймплея по скриншоту. Исследователи работают над агентами, которые переносят навыки между доменами.
Второе — массовое появление vision-based и LLM-powered ассистентов. Благодаря доступности мощных детекторов объектов (семейство YOLO) и мультимодальных моделей (GPT-4o, Claude, Gemini, LLaVA, Qwen-VL) стало возможным создавать ботов, которые «видят» экран почти как человек и рассуждают о происходящем на языке. Появились гибридные архитектуры, где дешёвые локальные методы обрабатывают большую часть кадров, а тяжёлые модели вызываются редко и по делу.
Одновременно вырос интерес к agentic AI внутри самих игр: умные NPC, которые запоминают игрока, координируются друг с другом и адаптируются к стилю прохождения. Это уже не «боты против игроков», а часть геймдизайна.
2.6. Уроки истории
История показывает несколько устойчивых закономерностей:
• Простые методы — конечные автоматы, эвристики, template matching — остаются полезными даже в эпоху нейросетей. Их легко отлаживать, они дёшевы по вычислениям и предсказуемы.
• Полностью end-to-end решение часто оказывается дороже и менее надёжным в продакшене, чем хорошо спроектированный гибридный подход.
• Гонка между ботами и античитами никогда не заканчивается — меняются только технологии на обеих сторонах.
• Игры продолжают оставаться одним из лучших полигонов для развития общего искусственного интеллекта.
В следующих главах мы будем опираться на этот исторический контекст, выбирая методы, которые доказали свою практическую ценность, и избегая тупиковых путей.
ГЛАВА 3. Классификация ботов: типы и архитектуры
ПРОГРАММЫ ДЛЯ ПРОХОЖДЕНИЯ КОМПЬЮТЕРНЫХ ИГР
Боты • ИИ-агенты • Компьютерное зрение
Практическое руководство из 20 глав
2026
ОГЛАВЛЕНИЕ
Глава 1. Введение в автоматизацию компьютерных игр
Глава 2. История ботов и игрового ИИ
Глава 3. Классификация ботов: типы и архитектуры
Глава 4. Правовые, этические и социальные аспекты
Глава 5. Основы компьютерного зрения для игр
Глава 6. Захват экрана и предобработка изображений
Глава 7. Распознавание объектов: от Template Matching до YOLO
Глава 8. OCR и чтение игрового интерфейса
Глава 9. Симуляция ввода: мышь, клавиатура, геймпад
Глава 10. Простые боты на Python + OpenCV
Глава 11. Машинное обучение и нейронные сети в ботах
Глава 12. Reinforcement Learning для игровых агентов
Глава 13. Платформы и фреймворки (ViZDoom, ML-Agents, Gym)
Глава 14. ИИ-боты для FPS, MMO и стратегий
Глава 15. Античит-системы и методы детекции
Глава 16. Vision-Language Models и LLM-агенты в играх
Глава 17. Кейс-стади: реальные проекты и архитектуры
Глава 18. Инструменты, библиотеки и экосистема
Глава 19. Будущее ИИ-ботов в гейминге
Глава 20. Заключение и практические рекомендации
ГЛАВА 1. Введение в автоматизацию компьютерных игр
Автоматизация компьютерных игр — это область на стыке программирования, компьютерного зрения, машинного обучения и игровой разработки. Она включает создание программ (ботов), которые могут самостоятельно играть, выполнять рутинные задачи или помогать игроку.
Зачем нужна автоматизация?
• Обучение и исследования — игры служат отличной средой для тестирования алгоритмов ИИ (DeepMind AlphaGo, OpenAI Five, SIMA).
• Тестирование игр — автоматические агенты позволяют находить баги, проверять баланс и проводить регрессионное тестирование.
• Доступность — боты и ассистенты помогают игрокам с ограниченными возможностями.
• Развлечение и эксперименты — создание собственных ботов — популярный способ изучения компьютерного зрения и RL.
• Автоматизация рутины — в MMO и idle-играх боты снимают необходимость выполнять повторяющиеся действия (фарм, сбор ресурсов).
Основные подходы
Существует несколько фундаментальных подходов к созданию игровых ботов:
1. Скриптовые / макросы — запись и воспроизведение последовательностей действий (AutoHotkey, AutoIt, pyautogui).
2. Memory-based — чтение и изменение памяти процесса игры (требует reverse engineering).
3. Vision-based — анализ экрана с помощью компьютерного зрения (OpenCV, YOLO, нейросети).
4. API / SDK-based — использование официальных или неофициальных интерфейсов игры (python-sc2 для StarCraft II, Mineflayer для Minecraft).
5. Reinforcement Learning / End-to-end агенты — обучение агента напрямую на пикселях или состоянии игры.
В этой книге мы сосредоточимся прежде всего на vision-based и RL-подходах, а также на современных мультимодальных моделях (Vision-Language Models), которые позволяют агентам «видеть» и «понимать» игру почти как человек.
ГЛАВА 2. История ботов и игрового ИИ
История игрового ИИ начинается задолго до современных нейросетей. Уже в 1950-х годах появлялись программы для игры в шахматы и ним (Nim, OXO).
Ключевые вехи
• 1951–1952 — Christopher Strachey (Nim), Alexander Douglas (OXO) — одни из первых игровых программ с ИИ.
• 1970–80-е — аркадные игры (Space Invaders, Pac-Man). Призраки в Pac-Man имели индивидуальные паттерны поведения на основе конечных автоматов (FSM).
• 1990-е — расцвет FPS-ботов (Quake, Unreal Tournament). Появились framework'и вроде Omni-bot. Бот-турниры и BotPrize (Turing Test для игровых ботов).
• 2000–2010-е — массовый фарм-боты в MMO (World of Warcraft, Lineage). Развитие античитов (Warden, BattlEye, Easy Anti-Cheat).
• 2013–2016 — DeepMind: DQN на Atari, AlphaGo. OpenAI Gym. Появление ViZDoom.
• 2018–2019 — OpenAI Five (Dota 2), AlphaStar (StarCraft II) — агенты, побеждающие профессиональных игроков.
• 2024–2026 — SIMA (DeepMind), Vision-Language Models, LLM-агенты, которые понимают скриншоты и выполняют инструкции на естественном языке. Появление коммерческих agentic систем в играх.
Эволюция шла от жёстко прописанных правил (rule-based) к обучению с подкреплением и, наконец, к мультимодальным foundation-моделям, способным обобщать знания между играми.
ГЛАВА 3. Классификация ботов: типы и архитектуры
По способу получения информации
• Memory bots — читают память процесса (адреса HP, координат, состояния). Быстрые и точные, но легко детектируются античитами и требуют reverse engineering.
• Packet / Network bots — перехватывают и подделывают сетевые пакеты. Используются в основном в MMO.
• Vision bots — работают исключительно с пикселями экрана. Самый «человекоподобный» и устойчивый к античитам подход (при правильной реализации).
• Hybrid — комбинация методов.
По уровню интеллекта
• Clicker / Macro — простые последовательности кликов и нажатий.
• State-machine bots — конечные автоматы: «если вижу врага — атакую, если HP низкое — убегаю».
• Classical CV bots — template matching, цветовая сегментация, контуры + эвристики.
• Deep Learning bots — YOLO/детекторы объектов + классификаторы + планировщики.
• RL agents — обучаются end-to-end (PPO, DQN, A3C и т.д.).
• LLM / VLM agents — используют большие языковые и мультимодальные модели для принятия решений на основе скриншотов и текстовых инструкций.
ГЛАВА 4. Правовые, этические и социальные аспекты
Использование ботов почти всегда нарушает пользовательское соглашение (ToS) большинства онлайн-игр. Это может привести к бану аккаунта, а в некоторых юрисдикциях — к юридической ответственности (особенно при продаже ботов или использовании для мошенничества).
Этические вопросы
• Нарушение честной игры и опыта других игроков.
• Влияние на экономику виртуальных миров (инфляция, обесценивание труда).
• Потенциал для создания «ферм» и эксплуатации (gold farming).
• Положительные стороны: помощь людям с инвалидностью, тестирование, исследования ИИ.
В этой книге материалы представлены исключительно в образовательных и исследовательских целях. Автор не поощряет нарушение правил игр и использование ботов в конкурентных онлайн-режимах.
ГЛАВА 5. Основы компьютерного зрения для игр
Компьютерное зрение (Computer Vision) — это ключевой инструмент vision-based ботов. Игра для такого бота — это просто поток изображений (кадров), из которых нужно извлекать полезную информацию: положение врагов, HP, миникарту, текст, кнопки интерфейса.
Основные задачи CV в контексте игр
• Object Detection — найти объекты определённых классов и их bounding box'ы (враги, NPC, предметы, кнопки).
• Classification — определить, что находится на экране (меню, бой, смерть, определённая локация).
• Segmentation — пиксельная маска объектов (полезно для точного позиционирования).
• OCR — чтение текста (уровень, золото, сообщения чата, названия предметов).
• Tracking — отслеживание объектов между кадрами (для предсказания движения).
• Template Matching — поиск заранее известных шаблонов изображений.
Классический пайплайн: захват кадра → предобработка → детекция/классификация → принятие решения → симуляция ввода → повтор.
ГЛАВА 6. Захват экрана и предобработка изображений
Качество и скорость захвата экрана критически важны. Медленный захват убивает производительность бота, особенно в быстрых играх (FPS).
Популярные способы захвата
• mss (Python) — один из самых быстрых кросс-платформенных вариантов.
• PIL / Pillow ImageGrab — простой, но медленнее.
• dxcam (Windows) — очень быстрый захват через Desktop Duplication API.
• OpenCV VideoCapture — можно захватывать окно или весь экран (медленнее).
• Нативные API (BitBlt, DXGI) — максимальная производительность, но сложнее в использовании.
Предобработка
Типичные операции: изменение размера (resize), перевод в оттенки серого, размытие (GaussianBlur), пороговая обработка (threshold), морфологические операции, выделение областей интереса (ROI), нормализация цветов, работа в разных цветовых пространствах (HSV, LAB).
Пример минимального захвата с mss:
import mss
import numpy as np
import cv2
with mss.mss() as sct:
monitor = sct.monitors[1]
img = np.array(sct.grab(monitor))
frame = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)
ГЛАВА 7. Распознавание объектов: от Template Matching до YOLO
Template Matching
Классический метод OpenCV (cv2.matchTemplate). Ищет точное или почти точное совпадение шаблона на изображении. Хорошо работает для статичных UI-элементов и объектов с неизменным внешним видом. Плохо — при изменении масштаба, поворота, освещения и динамических сценах.
Классические методы
Цветовая сегментация (HSV threshold), детекция контуров (findContours), каскады Хаара, HOG + SVM — всё ещё используются для простых задач и когда нужно максимальное быстродействие без GPU.
Deep Learning детекторы
• YOLO (v5–v12) — самый популярный выбор для игровых ботов. Реал-тайм, высокая точность, легко дообучается на своих данных.
• SSD, EfficientDet, RetinaNet — альтернативы.
• RT-DETR, RF-DETR и другие современные архитектуры.
Для обучения собственного детектора обычно собирают датасет скриншотов, размечают (LabelImg, CVAT, Roboflow), обучают модель (ultralytics YOLO) и экспортируют в ONNX / TensorRT для максимальной скорости инференса.
ГЛАВА 8. OCR и чтение игрового интерфейса
Многие решения бота зависят от числовых и текстовых данных: текущее HP, количество золота, таймеры, названия предметов, сообщения в чате.
Инструменты
• Tesseract OCR — классика, хорошо работает после правильной предобработки.
• EasyOCR, PaddleOCR — более современные и точные нейросетевые OCR.
• Специализированные модели — можно обучить маленький классификатор цифр под конкретный шрифт игры (часто надёжнее и быстрее общего OCR).
Практика: всегда вырезайте ROI с текстом, увеличивайте контраст, убирайте фон, при необходимости применяйте морфологию. Для цифр часто достаточно простого template matching по заранее вырезанным глифам.
ГЛАВА 9. Симуляция ввода: мышь, клавиатура, геймпад
После того как бот «увидел» ситуацию, ему нужно действовать. Симуляция ввода — критически важный и часто самый уязвимый для античита слой.
Библиотеки и методы
• pyautogui / pydirectinput — простые высокоуровневые обёртки.
• pynput — контроль и мониторинг ввода.
• Windows API (SendInput, mouse_event) — более низкий уровень.
• Виртуальные устройства / драйверы (Interception, HID) — выглядят для системы как настоящие устройства ввода.
• Arduino / hardware spoofing — физическая эмуляция мыши/клавиатуры.
Для «человечности» важно добавлять случайные задержки, кривые Безье для движения мыши, небольшие отклонения от идеальной точки прицеливания и вариативность в таймингах.
ГЛАВА 10. Простые боты на Python + OpenCV
Самый доступный стек для начинающих: Python + OpenCV + mss + pyautogui/pydirectinput. На нём можно собрать бота для казуальных, idle, puzzle и многих single-player игр.
Типичная архитектура простого бота
1. Захват кадра.
2. Определение текущего состояния (меню / бой / инвентарь) — по цвету, шаблону или маленькому классификатору.
3. Поиск целей (template matching или цвет).
4. Принятие решения (if-else или простой state machine).
5. Выполнение действия (клик, нажатие клавиши).
6. Небольшая пауза и повтор.
Такие боты отлично подходят для обучения: рыбалка в играх, сбор ресурсов, простые пазлы, автобой в turn-based играх. Многие open-source проекты (боты для Tetris, fishing bots, clicker-боты) построены именно по этой схеме.
ГЛАВА 11. Машинное обучение и нейронные сети в ботах
Когда эвристик и template matching становится недостаточно (динамика, разнообразие объектов, сложные сцены), на помощь приходит глубокое обучение.
Основные применения
• Детекция врагов и объектов (YOLO, RT-DETR).
• Классификация состояния экрана / фазы боя.
• Сегментация (для точного понимания сцены).
