Мы возвращаемся со второй частью нашего МК по гео-данным, который рассказывали в прошлом году https://conf.ontico.ru/lectures/5584936/

В этот раз разберем два практических кейса:

Анализ треков движения с помощью библиотеки Moving Pandas: как очищать данные от выбросов, выявлять аномалии и применять это в аналитике.

Оптимальное размещение объектов с помощью полигона Вороного и гравитационной модели: как прогнозировать потоки клиентов и выбирать лучшие локации для бизнеса.

В программе мастер-класса:
■ анализ пространственных данных и работа с геообъектами;
□ построение траекторий и выявление аномалий;
■ методы определения зон влияния объектов;
□ расчет доступности и потенциала новых локаций;
■ визуализация геоданных.

Какие библиотеки попробуем?
Moving Pandas, Geopandas, Shapely, Folium, Scipy.spatial, NetworkX, OSMnx, H3, Statsmodels и другие.

Казалось бы, задача OCR (optical character recognition) достаточно простая, но реальный мир в реальном ритейле может удивить множеством разнообразнейших краевых случаев, потому:
- Поговорим о том, какие более специфичные задачи решаются в более общей задаче OCR в ритейле, какие есть особенности, какие условия. Как вообщем это используется и, что еще важнее, как решаются эти задачи (и какие есть фишки для того, чтобы сделать эти решения лучше)
- Рассмотрим, что сейчас есть из SoTA по этим задачам
- Как это все внедрить, учитывая особенности крупного ритейла (например, работы решения в десятках тысяч магазинов)

Генеративные модели ИИ демонстрируют поразительные способности во многих сферах деятельности, но их обучение на огромном наборе данных приводит к неизбежному запоминанию нежелательной информации – от приватных данных и авторского контента до опасных знаний. Полное переобучение этих моделей часто является непозволительно дорогим и долгим процессом.

В этом докладе я расскажу о таком перспективном направлении, как машинное разучивание (Machine Unlearning) – попытке научить ИИ "забывать" то, что он знать не должен. Мы разберем основные подходы, пайплайн и метрики оценки, чтобы понять, как эффективно "стирать" данные, не ломая модель.

Современные ИИ-системы становятся всё умнее: они помогают писать код, анализируют финансы, работают как персональные ассистенты. Но там, где есть технологии, есть и злоумышленники. Хакеры научились атаковать ИИ-системы: обходят инструкции, создают вредоносный контент, крадут данные или просто роняют сервисы. На мастер-классе попытаемся взломать ИИ-агента руками и с помощью продвинутых методов: состязательных суффиксов, PAIR, AutoDAN-Turbo – а также в реальном времени защитим систему от угроз.

Мы уже живем в реальности, когда ИИ-инструменты активно применяют в разработке ПО.
В этой же реальности популярность набирают агентские системы - интеллектуальные системы, которые используют большие языковые модели для выполнения автономных задач.
В докладе расскажем, в каких задачах использование агентов оправдано, в чем разница с базовой автоматизацией на примере платформы SourceCraft.

С ростом числа обращений в (поддержку)Service Desk «ЛеманаПРО» классические ML-решения перестали покрывать все сценарии. В этом докладе мы расскажем про эволюцию моделей машинного обучения в поддержке "ЛеманаПРО" и как дополнили экосистему поддержки LLM с RAG для человекообразных ответов по Wiki и интеллектуального эскалации к живым специалистам.

Разберём:
- **Архитектуру эволюции:** от классических ML-моделей бустинги и другие классические мл алгоритмы до гибридной системы с LLM.
- **Стратегию внедрения:** зачем RAG для работы с документацией и где классические алгоритмы остаются эффективнее.
- **Подводные камни:** баланс между автоматизацией (статьи, шаблоны) и «очеловечиванием» ответов, контроль галлюцинаций.
- **Перспективы:** интеграция с Problem&Quality Management и кастомизация LLM под домен.

Ozon запустил сервис генерации фото одежды на человеке, который предоставляет продавцам возможность отказаться от профессиональной фотосъёмки и сэкономить на создании фото-контента для карточек товаров. Ядро сервиса — кастомный пайплайн на основе Stable-Diffusion-Inpainting модели, модифицированный под решение задачи переноса одежды на человека (Virtual Try-On) и дообученный на датасете, собранном из изображений в карточках товаров, представленных на Ozon. Сервис работает в асинхронном режиме и интегрирован в процесс создания/редактирования товаров, не ухудшая целевые временные показатели бизнес-процесса.

В фокусе доклада:
- Эволюция постановки задачи: от идеи «перенести любую одежду на любого человека» до строгих требований на множество обрабатываемых категорий одежды и поз для людей.
- Архитектура ML-решения: как менялся пайплайн и сколько Diffusion-моделей нужно, чтобы точно воспроизводить не только базовую форму одежды, но и отличительные детали, в том числе принты и надписи.
- Data-centric подход: почему решили собирать собственный датасет, с какими сложностями столкнулись и почему правильная архитектура пайплайна не единственный ключ к успеху.
- Результаты и вызовы: какого качества уже сейчас удалось достичь и что еще нужно сделать, чтобы полностью отказаться от фотосъёмки.

Цель Text2SQL — дать доступ к данным каждому:
позволить тысячам пользователей получать аналитику простым вопросом на естественном языке, без необходимости писать сложные SQL-запросы или ждать помощи специалистов. Однако на практике подключение даже продвинутых моделей к реальным корпоративным данным (сложные схемы, сотни таблиц, специфичная логика) сразу выявляет проблемы: низкая точность, непонимание контекста бизнеса, критические ошибки в запросах.

В своем выступлении я разберу наш путь от этих вызовов к эффективному решению:
- Как оценить качество? Метрики и почему базовые подходы не работают на реальных корпоративных данных.
- Данные для обучения: Где взять и как разметить обучающие данные для дообучения под специфику бизнеса.
- Трюки для улучшения рассуждений модели: Применяем Chain-of-Thought, гибридные RAG (с Column/Value Retriever) и агентские подходы для повышения точности и понимания схемы

В этом докладе мы разберем, как мы можем обычные большие языковые модели (LLM) превратить в мультимодальные системы, способные работать с аудио. Мы вместе разберем разные способы подачи аудио на вход LLM, рассмотрим как устроены и работают аудиокодеки и энкодеры, а также посмотрим как их можно эффективно итегрировать с LLM. Ну и напоследок обсудим как можно уменьшить время задержки при обработке аудио.

Тезисы:
- Введение в мультимодальные языковые модели
- Архитектурные решения для обработки аудио
- Методы интеграции аудио-модальности в языковые модели
- Способы уменьшить задержку при обработке аудио

Этот доклад - гайд внедрения LLM в ваш продукт.
В нем я структурировал все методы работы с LLM, которые я усвоил за 3 года практики. Вы узнаете:

- Когда стоит использовать LLM, а когда обойтись более простыми моделями?
- Как сэкономить деньги на внедрении?
- Как должна выглядеть архитектура сервиса с LLM?
- Как оценить качество?
- Какие есть методы улучшения LLM?

Ключевые темы доклада:
1) Зачем чат-боту память? Обзор сценариев использования.
2) LangChain: основы работы с памятью и управление диалогами.
3) Обзор подходов по Zero-shot реализации памяти. Суммаризация, extract key-value, RAG, advanced методики. Реализация подходов на LangChain.
4) Как прототипировать решение? Telegram и Streamlit
5) Подключение базы для логирования диалогов
6) Демонстрация возможностей чат-бота.

За последние несколько лет был достигнут значительный прогресс в области обработки естественного языка. Современные большие языковые модели способны эффективно решать сложные задачи во множестве приложений - от генерации текста и общения с пользователей до решения задач олимпиадного уровня и дополнения кода. Однако большой размер и значительный объем вычислений затрудняет внедрение сильных моделей из-за высокой стоимости.

Одним из самых эффективных методов уменьшения размера модели и ускорения ее работы является квантизация - представление параметров в некоторой более компактной форме. Однако при сжатии в 8 и более раз стандартные подходы, сжимающие параметры поодиночке слишком сильно ухудшают качество работы языковой модели.

В работе "Extreme Compression of Large Language Models via Additive Quantization" мы предложили новый метод квантизации - аддитивную квантизацию больших языковых моделей, позволяющий более точно представлять параметры модели и тем самым достигать значительно более высокого качества на широком наборе задач. А в последующей работе "PV-Tuning: Beyond Straight-Through Estimation for Extreme LLM Compression" был предложен метод до-обучения, оптимизирующий непрерывные и дискретные параметры, дающий дополнительный прирост в качестве.

Большие языковые модели (LLM) для автодополнения кода стали стандартом, но что делать, если Copilot недоступен? В этом докладе разберем, как мы построили свой аналог с нуля: MVP, выбор модели, подходы к тестированию, оптимизация инференса, метрики, файн тюн модели, оптимизацация сбора контекста, фильтрация.

Развертывание современных моделей машинного обучения, даже умеренного размера (~500 тыс. параметров), для федеративного обучения (FL) на массовых edge-устройствах, таких как Wi-Fi точки доступа или IoT-шлюзы, часто неосуществимо из-за экстремальных ограничений по ОЗУ (<256 МБ). Стандартные подходы требуют загрузки всей модели, что превышает доступные ресурсы.
В докладе представляется комплексный подход для решения этой проблемы, включающий выбор квантования для снижения статического размера модели, использование TensorFlow Federated (TFF) для динамической подгрузки слоев модели по требованию во время инференса и обучения, минимизируя пиковое потребление ОЗУ, и применение eBPF для эффективной подготовки данных из сетевого стека ядра ОС с низкими накладными расходами.

В комьюнити OpenIPC собрались инженеры, которые любят тратить свое свободное время на челленджовое хобби: реверс-инжиниринг, железо, low-level AI и эксперименты, которые не может себе позволить ни одна коммерческая компания.

Как один из участников проекта я хочу поделиться накопившимся опытом, как можно купить современное железо (или даже сделать самому) и прямо сейчас у себя на столе заглянуть в будущее Computer Vision.

Мы рассмотрим системы на базе чипов NPU c работой от одной батарейки, сдвиг парадигмы анализа видео на анализ метаданных, тюнинг моделей для работы с RAW изображениями и революцию в построении дронов.

О новой процессорной архитектуре RISC-V говорят все активнее: она привлекает разработчиков своей открытостью, модульностью и гибкостью. Пока высокопроизводительные RISC-V-процессоры можно встретить только как демонстрационные образцы на суперкомпьютерных конференциях, но скорость их развития впечатляет уже сейчас. Эксперты прогнозируют, что в течение 5 лет системы на базе RISC-V возглавят суперкомпьютерный рейтинг Green500 и займут центральное место в сегменте AI/ML.
В докладе обсудим все новинки из мира RISC-V, их возможности для AI/ML и разберемся, почему эта архитектура позволяет организовать гетерогенность на принципиально новом уровне.

В докладе будут рассмотрены вопросы сравнительного анализа производительности ASR-модели на CPU при использовании различных бэкендов. Мы детально исследуем различия в работе ONNX Runtime (с поддержкой INT8-квантизации) и OpenVINO (с оптимизациями под AMX-инструкции). Особое внимание уделим влиянию конфигурации Triton Server (батчинг, параллелизм) на итоговую производительность. Представим результаты тестирования на разных CPU-архитектурах.

Система машинного зрения позволяют определять наличие или отсутствие СИЗ на человеке при нахождении в той или иной зоне опасности, распознавать человека в опасной зоне, проводить учёт людей, спец. техники, опасных поз людей на производстве.
В разработанной системе есть ядро с основными классическими модулями, а также есть возможность разработки дополнительных модулей детекторов под нужды заказчика. Такая гибкость решения позволяет масштабировать его на различные производственные площадки независимо от специфики деятельности.

Тезисы:
1. Нулевой травматизм – барьеры для реализации концепции
2. Ключевые характеристики системы машинного зрения
3. Ядро и модули системы
4. Кастомизация – быстрая разработка дополнительных модулей и интеграция с ядром системы
5. Технические особенности системы

Все больше продуктов строят свои метрики на разметке и обучают свои модели размеченными данными. Возрастает и инструментарий обработки данных. На ряду с классической разметкой людьми, LLM-разметки занимают все большую долю. Внедряются VLM и RAG там где раньше размечали люди. Что теперь можно сразу сделать моделями, а что мы продолжаем делать разметчиками?

Тезисы:
- Способы использования LLM/VLM в разметке
- RAG в разметке и его актуальность на фоне растущих контекстных окон
- Комбинации технологий

Кейсы:
- Разметка и обогащение данных для eCom
- Работа с изображениями и видео
- Классические разметки в AI исполнении

Доклад служит теоретической основой к Мастер-классу «Человек и/или LLM в разметке данных: Практика гибридных решений 2025»

В рамках мастер-класса вы узнаете и самостоятельно попробуете пять ключевых сценариев взаимодействия LLM и человека в разметке данных:

- Прямое использование LLM
- Применение RAG-подхода для сложных инструкций
- Интеграция LLM как одного из исполнителей в команде разметчиков
- Использование LLM в качестве помощника для повышения эффективности человеческой разметки
- Внедрение LLM на этапе проверки и валидации разметки

Решаем проблемы разметки:
- Понижаем стоимость
- Контролируем качество
- Увеличиваем скорость

• Обсудим, какие этапы подготовки Pretrain-данных были пройдены ранее и почему потребовались новые улучшения.
• Расскажем о существующих методах фильтрации и представим новые подходы: инструктивные критерии, синтетика на основе QA и их комбинация.
• Покажем, как кластеризация текстов и перераспределение макротопиков помогают управлять тематическим балансом датасета.
• Опишем особенности адаптации фильтрации к русскоязычным данным и модификацию DCLM-пайплайна.
• Поделимся опытом фильтрации и аннотации кода: реализация пайплайна и влияние аннотированного кода на рост качества моделей.
• Расскажем о генерации синтетических LaTeX-данных и их влиянии на улучшение OCR-метрик в мультимодальных моделях.
• В завершение обсудим направления для дальнейшего развития Pretrain

Мозг — самая сложная загадка Вселенной, но сегодня у нас появляются невиданные ранее инструменты для ее разгадки. Как собрать и вдохновить молодую команду ученых, готовую штурмовать эту крепость на стыке биологии и IT? В этом докладе мы заглянем "под капот" современной нейронауки и увидим, как искусственный интеллект становится незаменимым партнером исследователя. Поговорим о том, как цифровые технологии, от нейросетей для улучшения качества микроскопических изображений до больших фундаментальных моделей активности нейронов, помогают нам увидеть то, что раньше было скрыто. Почему так важно изучать форму крошечных синапсов — мест контакта нейронов — и как ИИ помогает нам не только их анализировать, но и создавать синтетические копии? Мы разберемся, как искусственные нейросети помогают нам понять реальные, биологические, и почему для этого нам нужны мыши с моделью болезни Альцгеймера и миниатюрными микроскопами на голове. Узнаем, зачем нейробиологам понадобился собственный аналог ChatGPT (нейробиологическая LLM) и как мы научили нейросеть YOLO понимать язык мышиного поведения. Присоединяйтесь к путешествию в мир, где биты и байты помогают расшифровывать биологический код, а данные и метаданные учат нас не только науке, но и порядку!

Стандартные RAG-системы часто не справляются со сложными корпоративными данными, приводя к неточным ответам, упущенным возможностям и замедлению принятия критически важных решений. Это напрямую влияет на эффективность бизнеса и конкурентоспособность. GraphRAG решает эту проблему, используя графы знаний для структурирования информации и выявления скрытых связей, превращая ваши данные из пассива в стратегический актив.
Почему мы рассматриваем 8 различных стратегий GraphRAG? Потому что универсального решения не существует. Разные бизнес-задачи, типы данных (текст, таблицы, изображения), требования к скорости ответа и бюджеты требуют разных подходов для достижения оптимальных результатов. Понимание спектра возможностей – от базового извлечения связей до продвинутых техник вроде графового чанкинга, поиска по сообществам (для выявления клиентских сегментов или скрытых рисков) и гибридных методов – позволяет выбрать наиболее эффективную и экономически оправданную стратегию именно для вашей компании. Это ключ к максимизации ROI от внедрения RAG.
Будут продемонстрированы различные способы "укрощения" расширенного контекста: от базового извлечения сущностей и связей до продвинутых техник, таких как графовый семантический чанкинг, поиск по сообществам и путям, иерархическое резюмирование графа, работа с мультимодальными данными и гибридные подходы, сочетающие графы и векторный поиск.
Мы детально разберем каждый метод, его архитектуру, преимущества и недостатки. На основе сопоставимых бенчмарков (на примере датасетов из областей MedTech и LegalTech) мы покажем, как выбор конкретного способа GraphRAG влияет на метрики точности (Precision, Recall), полноты ответа, скорости и стоимости вычислений. Обсудим ключевые параметры настройки моделей (LLM, embedding), графовой базы данных Neo4j и алгоритмов Graph Data Science.
Участники получат ценные рецепты и рекомендации по выбору и реализации наиболее подходящего GraphRAG-пайплайна для своих задач, чтобы строить более надежные, точные, интерпретируемые и оптимальные по цене RAG-системы.

В рамках выступления расскажу о создании виртуального стилиста - продукта на основе LLM, предназначенного для подбора товаров и образов для клиентов. Обсудим процесс генерации диалогов для LLM, а также архитектуру и детали обучения модели для подбора товаров на основе их полнотекстовых описаний. Поговорим о том, как было реализовано внутреннее демо-решение, а в конце доклада рассмотрим несколько примеров использования LLM-стилиста.

В рамках модернизации процесса обработки клиентских претензий разработано решение на основе больших языковых моделей. Переход от классической классификации в виду отсутствия готовых датасетов к оркестратору и агентам на базе LLM позволит ускорить принятие решений по кейсам.
Расскажем об:
- попытке решить задачу традиционными методами
- смена подхода на использование LLM
- проблемы и методы их решения с которыми столкнулись при разработке решения