RAG-системы: От теории к практике

Предисловие....13

Введение....16

Часть I. Основы RAG-технологий....20

Глава 1. Введение в RAG-системы....21

1.1. Что такое RAG и зачем он нужен....21

Анатомия проблемы....21

Как RAG меняет правила игры....22

Практическая ценность для бизнеса....22

Ограничения и реалистичные ожидания....23

1.2. Эволюция от поисковых систем к интеллектуальным системам....23

Эра лексического поиска: от простоты к совершенству....23

Границы лексического подхода....24

Революция векторных представлений....24

Гибридные решения: лучшее из двух миров....24

От поиска к пониманию: появление RAG....25

Интеллектуальные системы нового поколения....25

Будущее: от поиска к рассуждению....25

1.3. Базовые принципы работы RAG....26

Двухмодульная архитектура: разделяй и властвуй....26

Этап подготовки: создание интеллектуального индекса....26

Векторный поиск: от слов к смыслам....27

Повторное ранжирование: уточнение релевантности....27

Генерация контекстуального ответа....27

Принцип непараметрической памяти....28

Многоэтапные и агентные RAG-системы....28

Адаптивность и контекстуальность....28

1.4. Минимальный практический пример на Python....29

Установка зависимостей....29

Базовая реализация RAG....29

Демонстрация работы....31

Разбор ключевых моментов....31

Ограничения и возможности развития....32

Глава 2. Архитектура и компоненты....33

2.1. Основные компоненты RAG-систем....33

Архитектурная схема RAG-системы....33

Конвейер данных: офлайн-подготовка....34

Обработка запросов: онлайн-поток....34

Формирование контекста и генерация....35

Дополнительные компоненты....35

Модульность и масштабируемость....35

2.2. Архитектурные паттерны: от классики к автономным системам....36

Эволюция RAG-архитектур....36

Агентный RAG: автономность и адаптивность....37

Выбор архитектурного паттерна....38

2.3. Интеграция компонентов интеллектуальной системы....39

Микросервисная архитектура RAG-систем....39

Паттерны интеграции: синхронность и асинхронность....40

Оркестрация процессов: дирижёр интеллектуальной системы....41

Стратегии управления данными....41

Обеспечение качества интеграции....42

Мониторинг и наблюдаемость....42

2.4. Практический пример создания простейшей RAG-системы....43

Архитектура самодельной системы....43

Установка зависимостей....44

Ключевые особенности реализации....48

Глава 3. Векторные представления и эмбеддинги....49

3.1. Принципы работы с векторными представлениями....49

Что такое векторные представления....49

Дистрибутивная гипотеза: основа всего....50

Семантическое пространство: география смыслов....50

Фундаментальные принципы работы с векторами....51

Практические следствия принципов....51

3.2. Векторные базы данных и их применение....52

Принципы устройства векторного хранилища....52

Современные решения: ландшафт векторных баз данных....52

Критерии выбора: навигация в многообразии....54

Рекомендации по выбору....54

3.3. Сегментирование текстов как основа RAG-сервисов....54

Фундаментальная проблема сегментирования....55

Метод фиксированного размера: простота как преимущество....55

Скользящее окно: сохранение контекста через перекрытие....56

Семантическое сегментирование: следование логике текста....56

Структурное разделение: использование архитектуры документа....57

Адаптивное сегментирование: искусственный интеллект в помощь....58

Критерии выбора метода сегментирования....58

3.4. Код для работы с эмбеддингами OpenAI и векторными БД....59

Базовая работа с эмбеддингами OpenAI....59

Интеграция с ChromaDB: локальная векторная база данных....61

Работа с Qdrant: производительность и гибкость....62

Интеграция с Pinecone: облачная мощность....65

Комплексный пример: RAG-система с выбором векторной БД....67

Часть II. Практическая реализация....70

Глава 4. Фреймворки и инструменты....71

4.1. Обзор популярных фреймворков для RAG....71

Архитектура экосистемы RAG-фреймворков....71

Универсальные фреймворки: основа экосистемы....72

Специализированные решения: фокус на конкретные потребности....73

Корпоративные платформы: безопасность и интеграция....73

4.2. Сравнительный анализ решений....74

4.3. Выбор инструментов под задачу....76

Алгоритм принятия решений....76

Критерии для исследовательских проектов....77

Стратегии для прототипирования....78

Продакшн-системы: надёжность превыше всего....78

Корпоративные требования: безопасность и интеграция....78

Комплексные критерии оценки....79

Глава 5. Ретриверы и поиск информации....80

5.1. Типы ретриверов и их особенности....80

Векторные ретриверы: семантическое понимание....80

Лексические ретриверы: точность терминологических совпадений....81

Гибридные ретриверы: синтез подходов....81

Кросс-энкодерные ретриверы: глубокое понимание....82

MMR: баланс релевантности и разнообразия....82

Специализированные ретриверы....82

5.2. Алгоритм выбора и сравнительный анализ ретриверов....83

Первый этап: анализ типа запросов....83

Второй этап: приоритет семантического поиска....84

Третий этап: специальные требования....84

Критерии практического применения алгоритма....85

Сравнительный анализ ретриверов....86

5.3. Детально о точных методах....87

TF-IDF: фундаментальная модель....87

Практическая реализация TF-IDF....88

BM25: вероятностная эволюция....91

Продвинутая реализация BM25....91

Оптимизированная реализация для больших корпусов....95

5.4. От точных методов до нейросетевых приближений....98

Архитектурная эволюция: от независимых терминов к контекстуальным представлениям....98

Практическая реализация гибридной системы поиска....99

Теоретические основы нейросетевого поиска....106

Практические компромиссы и выбор подхода....106

5.5. Гибридный поиск и его преимущества....106

Концептуальные основы гибридизации....107

Математические принципы комбинирования....107

Архитектурные преимущества....108

Качественные преимущества....108

Практические соображения внедрения....108

Эволюционные направления....109

Глава 6. Типизация и классификация RAG-сервисов....110

6.1. Классификация RAG-систем по назначению....110

Разговорные RAG-системы....111

Аналитические RAG-системы....112

Контентные RAG-системы....112

Поисковые RAG-системы....113

Рекомендательные RAG-системы....113

Системы поддержки принятия решений....114

6.2. Выбор подходящего типа для конкретной задачи....114

Алгоритм принятия решений....115

Первичная классификация по взаимодействию....116

Контентно-ориентированные решения....116

Поисковые архитектуры....117

Аналитические системы....117

Системы поддержки принятия решений....117

Критерии валидации выбора....118

6.3. Сравнительный анализ подходов....118

Ключевые выводы сравнительного анализа....120

6.4. Пример реализации рекомендательной системы....120

Практическая реализация рекомендательной системы....121

Часть III. Оптимизация и контроль качества....128

Глава 7. Оценка эффективности RAG-систем....129

7.1. Метрики качества для RAG....129

Метрики качества поиска....129

Основные метрики фреймворка RAGAS....130

Дополнительные метрики оценки....131

Контекстуальные метрики....131

Метрики латентности и производительности....131

Холистические метрики....132

7.2. Методы тестирования и валидации....132

Модульное тестирование компонентов RAG....133

Интеграционное тестирование взаимодействий....133

Комплексное тестирование пользовательских сценариев....134

AB-тестирование и эксперименты....134

Специализированные методы валидации....135

7.3. Инструменты для автоматической оценки....135

RAGAS – специализированный фреймворк для RAG....136

TruLens – универсальная платформа наблюдения....136

DeepEval – комплексная система тестирования....137

LlamaIndex – встроенная оценка....137

Phoenix – мониторинг в реальном времени....137

Сравнительная таблица инструментов....138

Специализированные решения....139

7.4. Код для метрик RAGAS и схожих систем оценки....139

Базовая архитектура системы оценки....139

Глава 8. Проблемы точности и галлюцинаций....149

8.1. Типичные проблемы RAG-систем....149

Проблемы поискового компонента....149

Проблемы качества данных....150

Проблемы стратегии сегментирования....150

Проблемы генеративного компонента....151

Архитектурные проблемы....151

Проблемы оценки и мониторинга....151

Проблемы предметной специфичности....152

8.2. Методы борьбы с галлюцинациями....152

Архитектурные методы снижения галлюцинаций....152

Техники промпт-инженерии....153

Алгоритмические подходы....153

Методы обучения и дообучения....154

Постпроцессинговые методы....154

Интегрированные подходы....155

8.3. Гарды и системы контроля....155

Входные гарды и валидация....156

Промежуточные системы контроля....157

Архитектура LLM-as-a-Judge....157

Выходные системы контроля....158

Специализированные архитектуры гардов....158

Мониторинг и обратная связь....158

Интеграционные аспекты....159

8.4. Пример применения гардов....159

8.5. Практические решения для повышения достоверности....170

Система множественной верификации....170

Практические рекомендации....177

Глава 9. Память и контекст....178

9.1. Подсистемы памяти для ИИ-агентов....178

Краткосрочная память и рабочий контекст....179

Эпизодическая память: хранение опыта....180

Семантическая память: структурированные знания....180

Процедурная память: навыки и алгоритмы....180

Эмоциональная память: персонализация и социальный контекст....181

Ассоциативно-гетерархическая память: объединение всех видов памяти....181

Интеграция с RAG-системами....183

9.2. Управление долгосрочным и краткосрочным контекстами....183

Архитектура управления контекстом....184

Краткосрочное управление контекстом....184

Долгосрочное управление контекстом....185

Интеграция с RAG-системами....185

Адаптивные стратегии управления....185

Технические реализации и оптимизации....186

9.3. Персонализация через память....186

Механизмы персональной адаптации....187

Уровни персонализации....187

Динамическое обучение предпочтений....187

Техническая реализация....188

Этические аспекты и приватность....188

9.4. Реализация подсистемы памяти....189

Часть IV. Отраслевое применение....202

Глава 10. Корпоративные решения....203

10.1. RAG в управлении знаниями предприятия....203

Архитектура корпоративных RAG-систем....203

Трансформация корпоративных процессов....204

Специализированные корпоративные применения....204

Измеримые результаты внедрения....205

Стратегические преимущества....205

Вызовы и ограничения корпоративного внедрения....205

10.2. Интеграция с существующими системами....206

Архитектурные паттерны интеграции....206

Интеграция с ERP-системами....207

Интеграция с CRM-системами....207

Интеграция с системами документооборота и базами знаний....207

Облачные хранилища и файловые системы....208

Системы управления проектами....208

Техническая реализация интеграций....208

Безопасность интеграций....209

Перспективы развития интеграций....209

10.3. Безопасность и конфиденциальность данных....210

Специфические угрозы RAG-систем....210

Архитектурные решения для обеспечения безопасности....210

Дифференциальная приватность в RAG....211

Управление доступом и авторизация....211

Техническая защита векторных данных....212

Соответствие регуляторным требованиям....212

Мониторинг и обнаружение угроз....212

Перспективы развития безопасности....213

10.4. Готовые решения для корпораций....213

Облачные RAG-платформы....213

Специализированные корпоративные решения....214

Отраслевые решения....214

Готовые фреймворки и инструменты....215

Российские решения и локализация....215

Критерии выбора готовых решений....215

Тенденции развития рынка....216

Глава 11. Специализированные применения....217

11.1. RAG в юридической сфере....217

11.2. Медицинские приложения....219

11.3. Образовательные технологии....222

Глава 12. Интеллектуальная поддержка клиентов....225

12.1. Поддержка пользователей на основе RAG....225

12.2. Чат-боты нового поколения....226

12.3. Интеграция с CRM и другими системами....228

12.4. Полный код чат-бота с RAG....229

Основной код чат-бота....229

Файл зависимостей requirements.txt....237

Пример файла настроек .env....238

Инструкции по запуску....238

Часть V. Продвинутые техники....240

Глава 13. RAG vs Fine-tuning....241

13.1. Сравнительный анализ подходов....241

Retrieval-Augmented Generation....241

Full Fine-Tuning....241

Low-Rank Adaptation (LoRA)....242

Quantized Low-Rank Adaptation (QLoRA)....243

Prompt Tuning....243

Prefix Tuning....243

Адаптеры....244

Сравнительная таблица подходов....244

13.2. Критерии выбора стратегии....246

13.3. Гибридные решения....247

Архитектурные паттерны гибридных систем....247

RAG-Tuned-LLM: объединение принципов....248

Hybrid RAG: многоканальный поиск....248

REFINE: совместная оптимизация компонентов....249

SmartRAG: совместное обучение задач....249

Практические сценарии применения....249

Компромиссы и вызовы....250

Глава 14. Мультимодальные RAG-системы....251

14.1. Работа с изображениями и документами....251

Архитектурные подходы к мультимодальному RAG....251

Обработка визуально насыщенных документов....252

Подготовка и предобработка визуальных данных....252

Практические реализации и инструменты....253

Бенчмарки и оценка качества....253

14.2. Обработка видео- и аудиоконтента....254

Архитектура VideoRAG....254

Обработка аудиоконтента....255

Multi-RAG: унификация мультимодальной информации....255

SceneRAG: сегментация на уровне сцен....256

Практическая реализация мультимодального аудиовидео RAG....256

Применение в различных предметных областях....257

14.3. Интеграция различных типов данных....257

Низкоуровневое слияние: унифицированное векторное пространство....258

Высокоуровневое слияние: раздельная обработка и объединение....258

Гибридное слияние: комбинирование подходов....259

Кросс-модальное выравнивание и проекция....259

Практическая реализация интеграции....260

Инструменты и платформы....261

Вызовы и решения....262

14.4. Пример мультимодального пайплайна....262

Код мультимодального RAG-пайплайна....263

Описание реализации....268

Глава 15. Масштабирование и производительность....270

15.1. Оптимизация производительности RAG....270

15.2. Горизонтальное и вертикальное масштабирования....272

15.3. Кеширование и оптимизация запросов....273

15.4. Архитектурные решения для высоконагруженных систем....274

Заключение....276

Приложение А. Глоссарий терминов....278

Приложение Б. Ресурсы для дальнейшего изучения....281

Приложение В. Об истинной интеллектуальной системе....284

Практическое применение искусственного интеллекта в реальном бизнесе

Системы класса RAG (Retrieval-Augmented Generation) представляют собой архитектурный подход, позволяющий языковым моделям получать доступ к внешним базам знаний и генерировать точные, актуальные ответы на основе реальных корпоративных данных.

В книге детально рассматриваются:

• векторные базы данных и семантический поиск;
• архитектура базовых, продвинутых и модульных RAG-систем;
• мультимодальная обработка текста, изображений, видео и аудио;
• гибридные решения с файн-тюнингом и PEFT-методами;
• оценка качества и метрики производительности;
• масштабирование и оптимизация высоконагруженных систем

и множество других практических кейсов.

Издание предназначено разработчикам интеллектуальных систем, ML-инженерам, архитекторам корпоративных решений и всем, кто профессионально работает с генеративным искусственным интеллектом, а также тем, кто стремится внедрить передовые технологии в свой бизнес.

RAG и генеративный искусственный интеллект

Книга посвящена RAG-системам и генеративному ИИ, которые позволяют языковым моделям работать с внешними базами знаний и корпоративными данными. Рассматриваются семантический поиск, векторные базы данных и архитектура современных RAG-решений.

Разработка и оптимизация RAG-систем

Материал поможет разобраться в проектировании RAG-систем, мультимодальной обработке данных, файн-тюнинге и PEFT-методах. Отдельное внимание уделяется оценке качества, производительности, масштабированию и оптимизации высоконагруженных решений.