Архитектура AI-ассистента для базы знаний: открытый курс по RAG, агентам и LLMOps

Создание личного AI-ассистента часто заканчивается на уровне базового скрипта с API OpenAI. Команда Decoding AI опубликовала открытый курс, где показывает сборку production-ready системы для личной базы знаний. Проект выходит за рамки простых демо-чатботов и предлагает архитектуру с жестким разделением на офлайн-ETL и онлайн-инференс.

Программа включает 6 модулей для полного цикла разработки. Практика начинается со сбора данных из Notion и парсинга веб-страниц. Дальше — настройка оркестрации пайплайнов через ZenML и оценка качества RAG-системы в Opik. Локальную модель Llama 3.1 8B учат саммаризации с помощью Unsloth и Comet. Векторный поиск дополняется агентами на базе smolagents, а логика деплоится через serverless-эндпоинты Hugging Face. Весь код написан с использованием uv и ruff.

Материалы и исходный код открыты. Для запуска не нужна мощная видеокарта — авторы предусмотрели облачные альтернативы. Выполнение всех заданий обойдется максимум в 5 долларов на оплату API. Курс дает готовый шаблон для ML-специалистов, которым нужен работающий референс сложного LLM-приложения с соблюдением практик LLMOps.