Доклады (программа в стадии формирования)

Пожалуйста, обратите внимание: видеотрансляция и запись мастер-класса вестись не будут.

Агентные системы часто быстро превращаются в набор разрозненных промптов, тулов и частных решений, которые сложно сопровождать и масштабировать. В докладе расскажу, какие проблемы мы встретили в реальных проектах и почему пришли к Schema-Guided Reasoning как к способу сделать поведение агентов более предсказуемым, управляемым и повторяемым. Разберем типовые сложности с отладкой и ростом числа интеграций, а также как мы упаковали эти уроки в архитектуру SGR Agent Core.

Покажу, как устроена централизованная настройка через конфиг и зачем она нужна, чтобы единообразно управлять моделями, промптами, инструментами и окружениями без правок по всему коду. Отдельно разберем OpenAI-совместимый сервер, который позволяет подключать фреймворк как привычный backend для клиентов и быстро встраивать его в существующий стек.

Главная идея — пользователям не нужно разбираться в том, как работает ядро, чтобы собирать свои решения. Мы обсудим, как проектировать агентов и инструменты как расширения поверх стабильного API, какие паттерны упрощают разработку и поддержку, и как ускорить путь от прототипа к продакшену без потери контроля над поведением агентной системы.

Важно! Для участия в данном формате с собой необходимо иметь ноутбук.

Пожалуйста, обратите внимание: видеотрансляция и запись мастер-класса вестись не будут.

AI-агенты в продакшене — это больше не эксперимент, а критичная инфраструктура. Но как понять, правильно ли агент отвечает, где и почему он «галлюцинирует» и во сколько реально обходится его использование?

На мастер-классе мы разберем Langfuse — open source-инструмент наблюдаемости для AI-приложений. Покажем, как организовать централизованный мониторинг ИИ-агентов и прямо на месте сделаем вашего агента наблюдаемым. Участники научатся трассировать вызовы LLM, собирать метрики, оценивать качество ответов и выполнять диагностику агентов так же, как и обычных продовых сервисов и приложений.

Минимум слайдов, максимум практики: реальный агент, реальный прод-подход и живое инструментирование вместе с аудиторией.

Важно! Для участия в данном формате с собой необходимо иметь ноутбук. Код для воркшопа и требования к подготовке по ссылке: https://github.com/bocharovf/langfuse-workshop

LLM-инференс выделился в отдельный класс задач: ключевую роль играют KV-cache, разделение prefill/decode и работа с длинными контекстами, что напрямую влияет на латентность и загрузку GPU.

В результате индустрия пришла к специализированным движкам (vLLM, SGLang), а NVIDIA развивает Dynamo AI — набор подходов и компонентов для более предсказуемых SLO и максимальной утилизации ускорителей.

Качество больших языковых моделей сильно зависит от масштаба и качества данных, а объем «хорошего» естественного текста ограничен. Поэтому все чаще для обучения LLM используют синтетические данные — но вместе с этим появляется новая проблема: синтетику легко «нагенерировать», а вот надежно проверить ее качество гораздо сложнее.

В докладе я расскажу про то, как мы построили конвейер генерации полностью синтетических задач по олимпиадному программированию и их автоматической валидации. По ходу работы мы придумали как с помощью LLM писать тесты, выстроили массовую проверку решений (сотни миллионов прогонов кода) и нашли способ надежно отбраковывать задачи и решения в условиях, когда нет эталонных ответов. Итоговые данные мы использовали в претрейне GigaChat Ultra.

Мир переходит от индустриального общества к цифровому, и этот переход совпадает со сменой лидера на Восток. Моя поездка по китайским компаниям (Baidu, Xiaomi, SenseTime и другим) позволила мне увидеть их устройство и культуру в действии. Я увидел, как совмещается свобода и инициатива с организацией команды в военный отряд, как без страхов и пренебрежения интегрировать ИИ в работу и повседневную жизнь, как эпоха перемен воспринимается как возможность, а не проклятие, как государство руководит через координацию, а не директивы. Я расскажу об этом и поразмышляю, как все это повлияет на мировую ИТ-индустрию. Надеюсь, что это поможет вам разобраться в происходящих изменениях, взять полезные практики и лучше проектировать личную траекторию жизни.

Со взрывным ростом GenAI мы все чаще сталкиваемся с ситуацией, когда модель знает слишком много. Утечки персональных данных, нарушение авторских прав и токсичный контент создают риски, с которыми уже нельзя бороться простыми системными промптами. При этом полное переобучение модели для удаления одного факта — это слишком долго и дорого.

В этом докладе мы разберем концепцию Machine Unlearning — набор методов, позволяющих точечно «стирать» информацию из весов модели. Мы перейдем от теории к практике: разберем существующие инструменты, поделимся опытом того, как мы проводим процесс разобучения и расчета метрик, а также продемонстрируем результаты наших экспериментов и представим наше собственное Open Source-решение, основанное на форке проекта OpenUnlearning.

NVIDIA — монополист в сфере AI-железа с долей свыше 80% рынка, а вот CUDA стала экосистемой с сетевыми эффектами, а миграция на альтернативы кажется не просто тяжелым решением, но и мало кто осилит.

AMD стоит в production у Microsoft Azure, Google TPU сэкономил Midjourney $16.8M в год, Cerebras выдает в 8 раз больше токенов в секунду, чем топовые GPU NVIDIA. Groq убрал из архитектуры рантайм-планировщик и получил детерминированную латентность. SambaNova первым запустил крупнейшую open source-модель без единого GPU. А AWS построил крупнейший non-NVIDIA кластер — полмиллиона собственных чипов для Anthropic.

В этом докладе разберем, почему узкое место LLM-инференса — не вычислительная мощность, а пропускная способность памяти, и как нестандартные архитектуры — вафельные чипы, dataflow-процессоры, детерминированные стримеры — пытаются решить эту проблему в лоб.

В задачах ML-инференса с использованием GPU основное внимание обычно уделяется оптимизации вычислений самой модели. При этом на практике значимую долю времени может занимать доставка данных: подготовка и передача признаков до GPU нередко вносят существенный вклад в общую latency.

В докладе рассматривается архитектура real-time-сервиса ранжирования, где признаки поступают из разных источников: часть передается в запросе по сети, часть хранится локально, в том числе в памяти GPU. Основной фокус — на оптимизации всего пути данных: от запроса до входных тензоров модели на GPU. Будут разобраны типичные bottleneck’и (сеть, CPU→GPU передача, подготовка данных на GPU) и практические подходы к их устранению: оптимизация формата и структуры данных, минимизация копирований и сборка входных тензоров непосредственно в памяти GPU.

Подходы основаны на практическом опыте разработки высоконагруженного сервиса ранжирования на GPU. Они позволяют снизить latency и повысить утилизацию GPU.

В задачах с пользовательскими данными датасет быстро теряет актуальность: появляются новые сценарии, фрод и неоднозначные кейсы, с которыми разметка не всегда справляется. На примере фотоконтроля курьеров покажу, как выстраивается процесс разметки и дообогащения данных и почему датасет становится ключевой частью ML-системы.

Пожалуйста, обратите внимание: видеотрансляция и запись мастер-класса вестись не будут.

В мастер-классе мы пройдем путь от идеи до работающей модели сегментации изображений. В том числе мы научимся работать с проектами в Яндекс Заданиях, подготовим датасет руками исполнителей, подключим к разметке GPT.

Важно! Для участия в данном формате с собой необходимо иметь ноутбук.

Табличные данные — один из самых распространенных форматов в машинном обучении, однако до сих пор не существует устойчивого и универсального способа «смотреть» на них. В отличие от изображений или текста, отдельный объект табличного датасета редко несет самостоятельную семантическую нагрузку.

В этом докладе я покажу, почему point-wise-взгляд на табличные данные может быть неэффективен, и предложу альтернативу: рассматривать подвыборки данных и их метахарактеристики как основной объект анализа. Мы обсудим, как такие представления позволяют: лучше описывать структуру данных, выявлять скрытые сдвиги распределений, строить более реалистичные тесты для оценки устойчивости моделей.

Подход будет проиллюстрирован на задаче out-of-distribution (OOD) тестирования, где подвыборки с контролируемыми метахарактеристиками позволяют заранее оценивать деградацию качества моделей — даже при отсутствии реальных OOD-данных.

Обсудим рабочий процесс создания статьи в области искусственного интеллекта от генерации идеи через процесс написания текста и подачи на конференции до продвижения своей работы в сообществе. Отдельно обсудим использованием современных LLM-инструментов автоматизации научного процесса.

Автоматизации в клиентском сервисе — чат-боты и подсказки оператору — быстро развиваются, но их качество сложно мониторить: ручная разметка дорогая, а продуктовые метрики (AHT/CSAT) не позволяют найти инсайтов, обнаружить систематические проблемы.

В докладе я расскажу, как мы построили систему LLM-судей, которая оценивает весь прод-поток и формирует на дашбордах метрики качества по ключевым критериям, а небольшую долю запросов параллельно проверяют эксперты — для калибровки и контроля судьи.

Разберем, какие критерии реально работают для оценки чат-ботов и GPT-ассистентов, как подбирать промпты для судьи, что стоит / не стоит показывать судье (контекст, логи, мету). Поделюсь практическими приемами, схемой пайплайна, а также набором граблей и решений, которые помогли сделать систему стабильной и полезной для продуктовой команды. Также поговорим про то, какие глобально есть best practice и тренды по настройке LLM-судей, что из этого мы пробовали и какие результаты получили.

В докладе разберем эволюцию нашей агентной системы «Гига-помощник», которая позволяет пользователям развертывать облачную инфраструктуру. Мы покажем честный срез в формате «было/стало» за полгода жизни проекта в продакшене.

О чем поговорим детально:

• глубокая инженерия: как мы строили агентную систему, с какими проблемами в поведении столкнулись и как в итоге перестраивали логику работы агента;
• архитектура и тренды: дизайн инструментов и MCP-серверов. Обсудим современные подходы к построению агентов, включая progressive disclosure для context engineering;
• Evaluation и метрики: как мы ускорили Time-to-Market (TTM) вывода обновлений агентной системы за счет тестирования конечного результата в реальной среде и внедрения LLM-as-a-judge;
• продуктовая аналитика: как мы настроили офлайн-LLM-аналитику диалогов для улучшения пользовательского опыта.

На мастер-классе разберем существующие технологии для создания VoIP с ИИ, создадим своего ИИ-агента для обработки звонков: от SIP-транка до живого диалога с эмпатичными ответами, а также рассмотрим варианты оптимизации, observability звонков, ускорения обработки и масштабирования решения.

Почему бюджеты на ИИ раздуваются быстрее, чем растет бизнес-эффект? И как это остановить до следующего бюджетного цикла?

Совместно с Высшей школой бизнеса мы провели исследование, посвященное экономической эффективности AI-агентов, и готовы поделиться результатами. Обсудим, сколько компаний действительно внедряет AI-агентов, что пугает тех, кто их еще не внедрил, и как увеличить шансы на успех AI-трансформации.

Владение китайским — это не «еще один язык», а способ читать модели так, как их читают создатели. Fun fact: китайский язык естественно оптимизирован под transformer-архитектуры.

Я хочу поделиться своим опытом изучения китайского технического языка, который помог реализовать несколько проектов в области Computer Vision и LLM с помощью последних Open Source-моделей, и что бы я порекомендовал сейчас самому себе, если пришлось прямо сейчас этот язык учить с нуля с учетом недавно появившихся технологий.

Я расскажу, как мы в ИТМО сделали систему для проверки соответствия между статьей и кодом к ней и внедрили ее в пайплайн проверки учебных работ.

Пожалуйста, обратите внимание: видеотрансляция и запись мастер-класса вестись не будут.

Векторный RAG лжет уверенно. Он путает, игнорирует даты документов и галлюцинирует там, где нужна строгая логика. Но как это отловить не «на глаз», а системно?

Вместо слайдов мы откроем IDE. За 40 минут мы прогоним 14 сценариев сбоя (RAG Failures) через тестовый стенд и покажем, как Knowledge Graphs (GraphRAG) решают то, что не под силу векторам.

Вы получите пошаговую инструкцию и готовый репозиторий, чтобы проверить свою систему:

• Test Suite: набор «неудобных» датасетов и Unit-тестов (Pytest + DeepEval), которые ломают классический поиск.
• Logic Engine: как внедрить детерминированную логику (Set Difference, Rule Checking) поверх графа для вопросов типа «Чего не хватает?» или «Совместимы ли компоненты?».
• Temporal & Structural Fixes: код для разрешения конфликтов версий документов и проблем инверсии связей.

Это практическое руководство: как превратить «магию» LLM в инженерную, тестируемую систему.

• Как мы потратили 1 000 000 ₽ на ютуб-продюсера и получили нулевой результат.
• Как мы используем ИИ на каждом этапе YouTube-контента: темы, сценарии, обложки, монтаж, описания, звук и рилсы.
• ИИ в исследовании ЦА и тем: как понять, что и для кого снимать. Промпты для анализа боли, конкурентов и трендов.
• Разбор кейса: ролики на 500–600 тыс. просмотров. Кейс нашего канала @SkobeevDigital (YouTube) и других каналов, которые ведем.
• Профит для бизнеса и монетизация: как получать лиды и сколько можно заработать на рекламе в канале.
• Работающие промпты: как писать сценарии с ИИ. Готовые промпты для развлекательных и экспертных роликов.
• Карта контент-завода: как масштабировать один ролик в 10 единиц контента. Гайды, статьи, соцсети, чек-листы — все из одного источника.
• Как создать под эти задачи ИИ-ботов и помощников.
• Что можно внедрить уже сегодня. Чек-лист: ИИ и боты под задачи YouTube.

Во многих областях разметки активно применяются генеративные модели ИИ. Однако в анализе видео такие модели пока уступают классическим алгоритмам компьютерного зрения — особенно когда у задачи нет явного целевого объекта для трекинга.

На примере кейса из Crowd(а) разберем устройство автоматизированного пайплайна для разметки видео и ключевые компоненты кастомного алгоритма трекинга. Кроме того, я рассмотрю «грабли», на которые мы наступили, и покажу, как нам удалось ускорить разметку видео с 7 часов до 30 минут.

Модерация — это сложный, но интересный процесс. Объявления на Авито содержат не только описание и заголовок, но и изображения и дополнительные параметры. В этом докладе я расскажу про особо сложные кейсы модерации, когда при принятии решения необходимо учитывать сразу все составляющие.