Как мы создали LLM code completion с нуля и смогли заменить Copilot
Доклад принят в программу конференции
Целевая аудитория
Разработчики, MLE-инженеры, архитекторы, DevOps
Тезисы
Большие языковые модели (LLM) для автодополнения кода стали стандартом, но что делать, если Copilot недоступен? В этом докладе разберем, как мы построили свой аналог с нуля: MVP, выбор модели, подходы к тестированию, оптимизация инференса, метрики, файн тюн модели, оптимизацация сбора контекста, фильтрация.
В ИТ 24 года, последние 8 лет бекенд разработчик. Проекты: поиск в деливери клаб, поиск в сбермаркете, llm code completion tools в ТБанк
Видео
Другие доклады секции
ML Edge — оптимизация обучения и инференса, дистилляция, квантизация, hardware и т.д.
