Выжимаем максимум из опенсорсных моделей и готовим Text2SQL
Дано: желание упростить работу с данными, чтобы пользователь задавал вопрос, сервис превращал его в SQL, выполнял в хранилище и возвращал аналитический ответ. Чтобы рутина уходила в инструмент, а аналитик переставал быть «бутылочным горлышком».
Вроде ничего нового, но в реальной инфраструктуре вскрывается много интересного.
В этой статье Джал Антонов из X5 Tech расскажет, как его команда собирает свой Text2SQL. Что работало, что ломалось, что пришлось выкинуть, где помогли векторные индексы, почему промпты разрослись до десятков тысяч токенов и как они все это решали.