Как мы создали LLM code completion с нуля и смогли заменить Copilot

ML Edge — оптимизация обучения и инференса, дистилляция, квантизация, hardware и т.д.

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Это не просто история про то, как из Open Source-компонентов собрать Copilot-помощника для разработчиков. Эти компоненты надо еще допиливать и докручивать, потому что «из коробки» качество не очень. Главная ценность и интерес здесь как раз в том, что и как «допилить» и «докрутить».

Целевая аудитория

Разработчики, MLE-инженеры, архитекторы, DevOps.

Тезисы

Все презентации конференции

Большие языковые модели (LLM) для автодополнения кода стали стандартом, но что делать, если Copilot недоступен?

В этом докладе разберем, как мы построили свой аналог с нуля: MVP, выбор модели, подходы к тестированию, оптимизация инференса, метрики, файн-тюн-модели, оптимизация сбора контекста, фильтрация.

Александр Клаковский

Т-Банк

В IТ 24 года, последние — 8 лет бэкенд-разработчик. Проекты: поиск в Деливери клаб, поиск в Сбермаркете, llm code completion tools в Т-Банке.