Доклады (программа в стадии формирования)
RecSys, поиск, табличные данные (1)
Мастер-класс по работе с геоданными «Кто хочет стать геосайентистом» часть 2
Мы возвращаемся со второй частью нашего МК по гео-данным, который рассказывали в прошлом году https://conf.ontico.ru/lectures/5584936/
В этот раз разберем два практических кейса:
Анализ треков движения с помощью библиотеки Moving Pandas: как очищать данные от выбросов, выявлять аномалии и применять это в аналитике.
Оптимальное размещение объектов с помощью полигона Вороного и гравитационной модели: как прогнозировать потоки клиентов и выбирать лучшие локации для бизнеса.
В программе мастер-класса:
■ анализ пространственных данных и работа с геообъектами;
□ построение траекторий и выявление аномалий;
■ методы определения зон влияния объектов;
□ расчет доступности и потенциала новых локаций;
■ визуализация геоданных.
Какие библиотеки попробуем?
Moving Pandas, Geopandas, Shapely, Folium, Scipy.spatial, NetworkX, OSMnx, H3, Statsmodels и другие.
Доклад принят в программу конференции
GenAI & Perception: генерация и распознавание текстов, музыки, изображений, видео и 3D (10)
OCR в ритейле: одна задача, множество применений
Казалось бы, задача OCR (optical character recognition) достаточно простая, но реальный мир в реальном ритейле может удивить множеством разнообразнейших краевых случаев, потому:
- Поговорим о том, какие более специфичные задачи решаются в более общей задаче OCR в ритейле, какие есть особенности, какие условия. Как вообщем это используется и, что еще важнее, как решаются эти задачи (и какие есть фишки для того, чтобы сделать эти решения лучше)
- Рассмотрим, что сейчас есть из SoTA по этим задачам
- Как это все внедрить, учитывая особенности крупного ритейла (например, работы решения в десятках тысяч магазинов)
Доклад принят в программу конференции
"Стереть" из памяти: машинное разучивание как решение проблем безопасности и приватности
Генеративные модели ИИ демонстрируют поразительные способности во многих сферах деятельности, но их обучение на огромном наборе данных приводит к неизбежному запоминанию нежелательной информации – от приватных данных и авторского контента до опасных знаний. Полное переобучение этих моделей часто является непозволительно дорогим и долгим процессом.
В этом докладе я расскажу о таком перспективном направлении, как машинное разучивание (Machine Unlearning) – попытке научить ИИ "забывать" то, что он знать не должен. Мы разберем основные подходы, пайплайн и метрики оценки, чтобы понять, как эффективно "стирать" данные, не ломая модель.
Доклад принят в программу конференции
Панельная дискуссия "Риски и ошибки AI в SDLC: чему мы научились после эйфории 2024"
В 2024 мы все побежали внедрять AI в Software Developer Life Cycle. Пришло время поговорить о том, что у нас получилось и где мы ошиблись.
Доклад принят в программу конференции
Мастер-класс «Как пробить защиту ИИ своими руками и агентом-хакером»
Современные ИИ-системы становятся всё умнее: они помогают писать код, анализируют финансы, работают как персональные ассистенты. Но там, где есть технологии, есть и злоумышленники. Хакеры научились атаковать ИИ-системы: обходят инструкции, создают вредоносный контент, крадут данные или просто роняют сервисы. На мастер-классе попытаемся взломать ИИ-агента руками и с помощью продвинутых методов: состязательных суффиксов, PAIR, AutoDAN-Turbo – а также в реальном времени защитим систему от угроз.
Доклад принят в программу конференции
Агенты как активные участники современной разработки
Мы уже живем в реальности, когда ИИ-инструменты активно применяют в разработке ПО.
В этой же реальности популярность набирают агентские системы - интеллектуальные системы, которые используют большие языковые модели для выполнения автономных задач.
В докладе расскажем, в каких задачах использование агентов оправдано, в чем разница с базовой автоматизацией на примере платформы SourceCraft.
Доклад принят в программу конференции
Как мы применяем LLM с RAG в экосистеме ML-моделей поддержки ЛеманаТЕХ
С ростом числа обращений в (поддержку)Service Desk «ЛеманаПРО» классические ML-решения перестали покрывать все сценарии. В этом докладе мы расскажем про эволюцию моделей машинного обучения в поддержке "ЛеманаПРО" и как дополнили экосистему поддержки LLM с RAG для человекообразных ответов по Wiki и интеллектуального эскалации к живым специалистам.
Разберём:
- **Архитектуру эволюции:** от классических ML-моделей бустинги и другие классические мл алгоритмы до гибридной системы с LLM.
- **Стратегию внедрения:** зачем RAG для работы с документацией и где классические алгоритмы остаются эффективнее.
- **Подводные камни:** баланс между автоматизацией (статьи, шаблоны) и «очеловечиванием» ответов, контроль галлюцинаций.
- **Перспективы:** интеграция с Problem&Quality Management и кастомизация LLM под домен.
Доклад принят в программу конференции
Stable Diffusion в действии: как Ozon автоматизирует создание контента с помощью генерации одежды
Ozon запустил сервис генерации фото одежды на человеке, который предоставляет продавцам возможность отказаться от профессиональной фотосъёмки и сэкономить на создании фото-контента для карточек товаров. Ядро сервиса — кастомный пайплайн на основе Stable-Diffusion-Inpainting модели, модифицированный под решение задачи переноса одежды на человека (Virtual Try-On) и дообученный на датасете, собранном из изображений в карточках товаров, представленных на Ozon. Сервис работает в асинхронном режиме и интегрирован в процесс создания/редактирования товаров, не ухудшая целевые временные показатели бизнес-процесса.
В фокусе доклада:
- Эволюция постановки задачи: от идеи «перенести любую одежду на любого человека» до строгих требований на множество обрабатываемых категорий одежды и поз для людей.
- Архитектура ML-решения: как менялся пайплайн и сколько Diffusion-моделей нужно, чтобы точно воспроизводить не только базовую форму одежды, но и отличительные детали, в том числе принты и надписи.
- Data-centric подход: почему решили собирать собственный датасет, с какими сложностями столкнулись и почему правильная архитектура пайплайна не единственный ключ к успеху.
- Результаты и вызовы: какого качества уже сейчас удалось достичь и что еще нужно сделать, чтобы полностью отказаться от фотосъёмки.
Доклад принят в программу конференции
Готовим Text2SQL на «Пятёрку»: выжимаем максимум из опенсорсных моделей
Цель Text2SQL — дать доступ к данным каждому:
позволить тысячам пользователей получать аналитику простым вопросом на естественном языке, без необходимости писать сложные SQL-запросы или ждать помощи специалистов. Однако на практике подключение даже продвинутых моделей к реальным корпоративным данным (сложные схемы, сотни таблиц, специфичная логика) сразу выявляет проблемы: низкая точность, непонимание контекста бизнеса, критические ошибки в запросах.
В своем выступлении я разберу наш путь от этих вызовов к эффективному решению:
- Как оценить качество? Метрики и почему базовые подходы не работают на реальных корпоративных данных.
- Данные для обучения: Где взять и как разметить обучающие данные для дообучения под специфику бизнеса.
- Трюки для улучшения рассуждений модели: Применяем Chain-of-Thought, гибридные RAG (с Column/Value Retriever) и агентские подходы для повышения точности и понимания схемы
Доклад принят в программу конференции
Как добавить в LLM аудио-модельность: примеры реализаций
В этом докладе мы разберем, как мы можем обычные большие языковые модели (LLM) превратить в мультимодальные системы, способные работать с аудио. Мы вместе разберем разные способы подачи аудио на вход LLM, рассмотрим как устроены и работают аудиокодеки и энкодеры, а также посмотрим как их можно эффективно итегрировать с LLM. Ну и напоследок обсудим как можно уменьшить время задержки при обработке аудио.
Тезисы:
- Введение в мультимодальные языковые модели
- Архитектурные решения для обработки аудио
- Методы интеграции аудио-модальности в языковые модели
- Способы уменьшить задержку при обработке аудио
Доклад принят в программу конференции
LLM в вашем проде: инструкция по применению
Этот доклад - гайд внедрения LLM в ваш продукт.
В нем я структурировал все методы работы с LLM, которые я усвоил за 3 года практики. Вы узнаете:
- Когда стоит использовать LLM, а когда обойтись более простыми моделями?
- Как сэкономить деньги на внедрении?
- Как должна выглядеть архитектура сервиса с LLM?
- Как оценить качество?
- Какие есть методы улучшения LLM?
Доклад принят в программу конференции
ML Edge — оптимизация обучения и инференса, дистилляция, квантизация, hardware и т.д. (7)
Создание чат-бота с памятью
Ключевые темы доклада:
1) Зачем чат-боту память? Обзор сценариев использования.
2) LangChain: основы работы с памятью и управление диалогами.
3) Обзор подходов по Zero-shot реализации памяти. Суммаризация, extract key-value, RAG, advanced методики. Реализация подходов на LangChain.
4) Как прототипировать решение? Telegram и Streamlit
5) Подключение базы для логирования диалогов
6) Демонстрация возможностей чат-бота.
Доклад принят в программу конференции
Экстремальное сжатие больших языковых моделей
За последние несколько лет был достигнут значительный прогресс в области обработки естественного языка. Современные большие языковые модели способны эффективно решать сложные задачи во множестве приложений - от генерации текста и общения с пользователей до решения задач олимпиадного уровня и дополнения кода. Однако большой размер и значительный объем вычислений затрудняет внедрение сильных моделей из-за высокой стоимости.
Одним из самых эффективных методов уменьшения размера модели и ускорения ее работы является квантизация - представление параметров в некоторой более компактной форме. Однако при сжатии в 8 и более раз стандартные подходы, сжимающие параметры поодиночке слишком сильно ухудшают качество работы языковой модели.
В работе "Extreme Compression of Large Language Models via Additive Quantization" мы предложили новый метод квантизации - аддитивную квантизацию больших языковых моделей, позволяющий более точно представлять параметры модели и тем самым достигать значительно более высокого качества на широком наборе задач. А в последующей работе "PV-Tuning: Beyond Straight-Through Estimation for Extreme LLM Compression" был предложен метод до-обучения, оптимизирующий непрерывные и дискретные параметры, дающий дополнительный прирост в качестве.
Доклад принят в программу конференции
Как мы создали LLM code completion с нуля и смогли заменить Copilot
Большие языковые модели (LLM) для автодополнения кода стали стандартом, но что делать, если Copilot недоступен? В этом докладе разберем, как мы построили свой аналог с нуля: MVP, выбор модели, подходы к тестированию, оптимизация инференса, метрики, файн тюн модели, оптимизацация сбора контекста, фильтрация.
Доклад принят в программу конференции
Федеративное обучение в условиях дефицита памяти на Edge-устройствах
Развертывание современных моделей машинного обучения, даже умеренного размера (~500 тыс. параметров), для федеративного обучения (FL) на массовых edge-устройствах, таких как Wi-Fi точки доступа или IoT-шлюзы, часто неосуществимо из-за экстремальных ограничений по ОЗУ (<256 МБ). Стандартные подходы требуют загрузки всей модели, что превышает доступные ресурсы.
В докладе представляется комплексный подход для решения этой проблемы, включающий выбор квантования для снижения статического размера модели, использование TensorFlow Federated (TFF) для динамической подгрузки слоев модели по требованию во время инференса и обучения, минимизируя пиковое потребление ОЗУ, и применение eBPF для эффективной подготовки данных из сетевого стека ядра ОС с низкими накладными расходами.
Доклад принят в программу конференции
Edge AI: все о видеокамерах с искусственным интеллектом
В комьюнити OpenIPC собрались инженеры, которые любят тратить свое свободное время на челленджовое хобби: реверс-инжиниринг, железо, low-level AI и эксперименты, которые не может себе позволить ни одна коммерческая компания.
Как один из участников проекта я хочу поделиться накопившимся опытом, как можно купить современное железо (или даже сделать самому) и прямо сейчас у себя на столе заглянуть в будущее Computer Vision.
Мы рассмотрим системы на базе чипов NPU c работой от одной батарейки, сдвиг парадигмы анализа видео на анализ метаданных, тюнинг моделей для работы с RAW изображениями и революцию в построении дронов.
Доклад принят в программу конференции
AI/ML на RISC-V: что происходит и чего ожидать
О новой процессорной архитектуре RISC-V говорят все активнее: она привлекает разработчиков своей открытостью, модульностью и гибкостью. Пока высокопроизводительные RISC-V-процессоры можно встретить только как демонстрационные образцы на суперкомпьютерных конференциях, но скорость их развития впечатляет уже сейчас. Эксперты прогнозируют, что в течение 5 лет системы на базе RISC-V возглавят суперкомпьютерный рейтинг Green500 и займут центральное место в сегменте AI/ML.
В докладе обсудим все новинки из мира RISC-V, их возможности для AI/ML и разберемся, почему эта архитектура позволяет организовать гетерогенность на принципиально новом уровне.
Доклад принят в программу конференции
Бенчмаркинг ASR на CPU: как выбрать бэкенд, настроить Triton и не потерять в точности
В докладе будут рассмотрены вопросы сравнительного анализа производительности ASR-модели на CPU при использовании различных бэкендов. Мы детально исследуем различия в работе ONNX Runtime (с поддержкой INT8-квантизации) и OpenVINO (с оптимизациями под AMX-инструкции). Особое внимание уделим влиянию конфигурации Triton Server (батчинг, параллелизм) на итоговую производительность. Представим результаты тестирования на разных CPU-архитектурах.
Доклад принят в программу конференции
Automotive, роботы и промышленность (1)
Как мы разработали систему машинного зрения для детектирования СИЗ и техники
Система машинного зрения позволяют определять наличие или отсутствие СИЗ на человеке при нахождении в той или иной зоне опасности, распознавать человека в опасной зоне, проводить учёт людей, спец. техники, опасных поз людей на производстве.
В разработанной системе есть ядро с основными классическими модулями, а также есть возможность разработки дополнительных модулей детекторов под нужды заказчика. Такая гибкость решения позволяет масштабировать его на различные производственные площадки независимо от специфики деятельности.
Тезисы:
1. Нулевой травматизм – барьеры для реализации концепции
2. Ключевые характеристики системы машинного зрения
3. Ядро и модули системы
4. Кастомизация – быстрая разработка дополнительных модулей и интеграция с ядром системы
5. Технические особенности системы
Доклад принят в программу конференции
Обработка данных и бенчмарки (6)
Разметка данных в 2025: LLM, VLM и RAG
Все больше продуктов строят свои метрики на разметке и обучают свои модели размеченными данными. Возрастает и инструментарий обработки данных. На ряду с классической разметкой людьми, LLM-разметки занимают все большую долю. Внедряются VLM и RAG там где раньше размечали люди. Что теперь можно сразу сделать моделями, а что мы продолжаем делать разметчиками?
Тезисы:
- Способы использования LLM/VLM в разметке
- RAG в разметке и его актуальность на фоне растущих контекстных окон
- Комбинации технологий
Кейсы:
- Разметка и обогащение данных для eCom
- Работа с изображениями и видео
- Классические разметки в AI исполнении
Доклад служит теоретической основой к Мастер-классу «Человек и/или LLM в разметке данных: Практика гибридных решений 2025»
Доклад принят в программу конференции
Панельная дискуссия "Оценка LLM-моделей: почему бенчмаркам нельзя верить"
Современные бенчмарки (MMLU, MMMU, GLUE и т.д.) не отражают реальную эффективность LLM в продакшн-средах — они измеряют узкие навыки на академических данных, игнорируя контекст и мультимодальность. Модели, лидирующие на лидербордах, проваливаются на простых пользовательских запросах из-за переобучения на «игрушечных» датасетах. Мультимодальные задачи (текст+изображение) усугубляют проблему: метрики для генерации описаний не учитывают семантическую согласованность. Одно из решений — открытые стресс-тесты в духе соревнования на арене, где модели соревнуются в реальных диалогах, а не на синтетике. Ведущие исследователи из разных компаний постараются ответить на самые интересные вопросы!
Доклад принят в программу конференции
Мастер-класс «Человек и/или LLM в разметке данных: Практика гибридных решений 2025»
В рамках мастер-класса вы узнаете и самостоятельно попробуете пять ключевых сценариев взаимодействия LLM и человека в разметке данных:
- Прямое использование LLM
- Применение RAG-подхода для сложных инструкций
- Интеграция LLM как одного из исполнителей в команде разметчиков
- Использование LLM в качестве помощника для повышения эффективности человеческой разметки
- Внедрение LLM на этапе проверки и валидации разметки
Решаем проблемы разметки:
- Понижаем стоимость
- Контролируем качество
- Увеличиваем скорость
Доклад принят в программу конференции
Эволюция Pretrain данных для Gigachat: методы и эксперименты
• Обсудим, какие этапы подготовки Pretrain-данных были пройдены ранее и почему потребовались новые улучшения.
• Расскажем о существующих методах фильтрации и представим новые подходы: инструктивные критерии, синтетика на основе QA и их комбинация.
• Покажем, как кластеризация текстов и перераспределение макротопиков помогают управлять тематическим балансом датасета.
• Опишем особенности адаптации фильтрации к русскоязычным данным и модификацию DCLM-пайплайна.
• Поделимся опытом фильтрации и аннотации кода: реализация пайплайна и влияние аннотированного кода на рост качества моделей.
• Расскажем о генерации синтетических LaTeX-данных и их влиянии на улучшение OCR-метрик в мультимодальных моделях.
• В завершение обсудим направления для дальнейшего развития Pretrain
Доклад принят в программу конференции
ИИ расшифровывает код мозга: От реального синапса до цифрового двойника нейрона (и при чем тут мыши с микроскопами на голове?)
Мозг — самая сложная загадка Вселенной, но сегодня у нас появляются невиданные ранее инструменты для ее разгадки. Как собрать и вдохновить молодую команду ученых, готовую штурмовать эту крепость на стыке биологии и IT? В этом докладе мы заглянем "под капот" современной нейронауки и увидим, как искусственный интеллект становится незаменимым партнером исследователя. Поговорим о том, как цифровые технологии, от нейросетей для улучшения качества микроскопических изображений до больших фундаментальных моделей активности нейронов, помогают нам увидеть то, что раньше было скрыто. Почему так важно изучать форму крошечных синапсов — мест контакта нейронов — и как ИИ помогает нам не только их анализировать, но и создавать синтетические копии? Мы разберемся, как искусственные нейросети помогают нам понять реальные, биологические, и почему для этого нам нужны мыши с моделью болезни Альцгеймера и миниатюрными микроскопами на голове. Узнаем, зачем нейробиологам понадобился собственный аналог ChatGPT (нейробиологическая LLM) и как мы научили нейросеть YOLO понимать язык мышиного поведения. Присоединяйтесь к путешествию в мир, где биты и байты помогают расшифровывать биологический код, а данные и метаданные учат нас не только науке, но и порядку!
Доклад принят в программу конференции
GraphRAG: 8 способов укротить расширенный контекст
Стандартные RAG-системы часто не справляются со сложными корпоративными данными, приводя к неточным ответам, упущенным возможностям и замедлению принятия критически важных решений. Это напрямую влияет на эффективность бизнеса и конкурентоспособность. GraphRAG решает эту проблему, используя графы знаний для структурирования информации и выявления скрытых связей, превращая ваши данные из пассива в стратегический актив.
Почему мы рассматриваем 8 различных стратегий GraphRAG? Потому что универсального решения не существует. Разные бизнес-задачи, типы данных (текст, таблицы, изображения), требования к скорости ответа и бюджеты требуют разных подходов для достижения оптимальных результатов. Понимание спектра возможностей – от базового извлечения связей до продвинутых техник вроде графового чанкинга, поиска по сообществам (для выявления клиентских сегментов или скрытых рисков) и гибридных методов – позволяет выбрать наиболее эффективную и экономически оправданную стратегию именно для вашей компании. Это ключ к максимизации ROI от внедрения RAG.
Будут продемонстрированы различные способы "укрощения" расширенного контекста: от базового извлечения сущностей и связей до продвинутых техник, таких как графовый семантический чанкинг, поиск по сообществам и путям, иерархическое резюмирование графа, работа с мультимодальными данными и гибридные подходы, сочетающие графы и векторный поиск.
Мы детально разберем каждый метод, его архитектуру, преимущества и недостатки. На основе сопоставимых бенчмарков (на примере датасетов из областей MedTech и LegalTech) мы покажем, как выбор конкретного способа GraphRAG влияет на метрики точности (Precision, Recall), полноты ответа, скорости и стоимости вычислений. Обсудим ключевые параметры настройки моделей (LLM, embedding), графовой базы данных Neo4j и алгоритмов Graph Data Science.
Участники получат ценные рецепты и рекомендации по выбору и реализации наиболее подходящего GraphRAG-пайплайна для своих задач, чтобы строить более надежные, точные, интерпретируемые и оптимальные по цене RAG-системы.
Доклад принят в программу конференции
Резерв (2)
Виртуальный стилист: создание LLM-агента для подбора товаров и образов
В рамках выступления расскажу о создании виртуального стилиста - продукта на основе LLM, предназначенного для подбора товаров и образов для клиентов. Обсудим процесс генерации диалогов для LLM, а также архитектуру и детали обучения модели для подбора товаров на основе их полнотекстовых описаний. Поговорим о том, как было реализовано внутреннее демо-решение, а в конце доклада рассмотрим несколько примеров использования LLM-стилиста.
Доклад принят в программу конференции
Разработка агентской системы на базе LLM в рамках автоматизации процесса претензионной работы
В рамках модернизации процесса обработки клиентских претензий разработано решение на основе больших языковых моделей. Переход от классической классификации в виду отсутствия готовых датасетов к оркестратору и агентам на базе LLM позволит ускорить принятие решений по кейсам.
Расскажем об:
- попытке решить задачу традиционными методами
- смена подхода на использование LLM
- проблемы и методы их решения с которыми столкнулись при разработке решения
Доклад принят в программу конференции