Read the book: «Курс: Нейросети для реверс-инжиниринга»

Введение

Реверс-инжиниринг (RE) бинарных программ традиционно опирается на ручной анализ, эвристики и инструменты вроде IDA Pro, Ghidra, Binary Ninja и radare2. С появлением глубокого обучения и больших языковых моделей (LLM) процесс радикально меняется: нейронные сети помогают восстанавливать семантику, имена функций, типы данных, декомпилировать код и автоматизировать анализ malware и firmware.

Курс рассчитан на специалистов, знакомых с основами реверс-инжиниринга, Python и базовым машинным обучением. Цель - дать практическую картину: от извлечения признаков из бинарников до fine-tuning LLM и построения агентных систем.

Материал охватывает современное состояние области по состоянию на 2025-2026 годы: от классических ML-моделей до LLM4Decompile, Ventris, Graph Neural Networks, агентных пайплайнов с Neo4j и NL2GQL, а также интеграции с Ghidra, radare2 и Binary Ninja.

Каждая глава самодостаточна, но рекомендуется последовательное изучение: главы 1-7 дают фундамент, 8-15 раскрывают ключевые задачи, 16-20 посвящены интеграции, практике и перспективам. В расширенной версии добавлены практические примеры, описания инструментов, кейсы из реальных исследований и рекомендации по реализации.

Глава 1. Введение в реверс-инжиниринг и роль нейросетей

1.1. Что такое реверс-инжиниринг

Реверс-инжиниринг - процесс извлечения знаний из скомпилированного кода без исходников. Основные задачи: восстановление алгоритмов, поиск уязвимостей, анализ malware, firmware и протоколов, аудит стороннего ПО, восстановление потерянных исходников.

Типичный сценарий: аналитик получает исполняемый файл (PE, ELF, Mach-O) или прошивку, не имея исходного кода. Задача - понять, что делает программа, найти критические участки (криптография, сетевое взаимодействие, антиотладка) и либо задокументировать поведение, либо найти уязвимость.

Классический пайплайн RE

Triage - определение типа файла, архитектуры, наличия packer/protector, расчёт entropy секций.

Static analysis - дизассемблирование, построение CFG и call graph, декомпиляция, поиск строк и импортов.

Dynamic analysis - отладка (x64dbg, GDB, WinDbg), трассировка API, memory dumps, sandbox.

Semantic recovery - восстановление алгоритмов, структур данных, протоколов, написание отчёта.

1.2. Проблемы классического подхода

При компиляции теряется значительная часть информации: имена переменных и функций, типы данных, высокоуровневые структуры (классы C++, циклы в исходном виде, комментарии). Обфускация (VMProtect, Themida, кастомные виртуальные машины), упаковка (UPX, кастомные packers), оптимизация компилятора (O1-O3, LTO) и антиотладочные техники делают анализ крайне трудоёмким.

Масштаб современных бинарников (сотни тысяч функций в крупных приложениях и драйверах) делает полностью ручной анализ непрактичным. Аналитик вынужден фокусироваться только на интересных участках, рискуя пропустить важные детали.

1.3. Как нейросети меняют RE

Нейронные сети решают задачи классификации, сходства, восстановления и генерации. Эволюция подходов:

-

2018-2020: RNN для function boundary detection и простых NMT-декомпиляторов.

-

2021-2023: Graph Neural Networks, BERT-подобные модели для type recovery и naming, первые серьёзные neural decompilers (Neutron, Coda, NeurDP).

-

2024-2026: LLM (LLM4Decompile, Ventris), agentic systems, hybrid symbolic+neural подходы, массовая интеграция с Ghidra/IDA.

Ключевые направления применения сегодня: binary classification, function similarity, type recovery, function naming, neural decompilation, malware detection и clustering, summarization, YARA generation, agentic automation.

1.4. Пример: от ручного анализа к AI-assisted

Раньше: аналитик открывает образец ransomware в IDA, ищет циклы шифрования вручную по характерным инструкциям (AES S-box, XOR-паттерны), тратит часы. Сейчас: специализированная нейросеть (см. главу 14) автоматически помечает encryption loops с точностью более 95%, после чего LLM генерирует краткое описание алгоритма и предлагает YARA-правило.

Глава 2. Основы машинного обучения для анализа бинарников

2.1. Типы обучения

Supervised learning: использует размеченные данные (пара бинарник - метка). Пример: 10000 samples с метками семейств malware - Random Forest или нейросеть предсказывает семейство нового файла.

Unsupervised learning: ищет структуры без меток. Кластеризация embeddings функций позволяет группировать похожие образцы malware даже без известных меток.

Self-supervised learning: Masked Language Modeling на больших корпусах assembly позволяет предобучать трансформеры без ручной разметки. Модель учится понимать язык инструкций.