AiConf

Создание чат-бота с памятью

ML Edge — оптимизация обучения и инференса, дистилляция, квантизация, hardware и т.д.

Python
Бэкенд / другое
ML

Доклад принят в программу конференции

Целевая аудитория

ML и backend разработчики

Тезисы

Ключевые темы доклада:
1) Зачем чат-боту память? Обзор сценариев использования.
2) LangChain: основы работы с памятью и управление диалогами.
3) Обзор подходов по Zero-shot реализации памяти. Суммаризация, extract key-value, RAG, advanced методики. Реализация подходов на LangChain.
4) Как прототипировать решение? Telegram и Streamlit
5) Подключение базы для логирования диалогов
6) Демонстрация возможностей чат-бота.

NLP разработчик с более чем 8-летним стажем, имел опыт работы и в корпорациях, и в лабораториях, и в стартапах. В данный момент Team Lead NLP команды в RnD B2C Сбербанка, занимаюсь разработкой LLM.

Видео