Какие задачи с текстами могут решать LLM
Теги
Если смотреть с высоты птичьего полета, то LLM могут решать такие задачи:
- Генерация текста на основе промпта
- Извлечение структурированных данных из текста
- Генерация текст на основе структурированных данных.
- Классификация текста
- Принятие решений на основе входных данных и вариантов решений.
Рассмотрим каждый вариант более подробно.
Генерация текста на основе промпта
Это самый популярный вариант использования LLM, пишем промпт и получаем ответ от LLM. Применений тут может быть просто бесконечно много - написание писем, текстов, суммаризация текстов, брейншторм, анализ договоров и документов и тд.
Отдельная тема - это креатив, но тут ИИ может быть скорее как инструмент для помощи и усиления креатива автора, в самостоятельное осмысленное творчество искусственный интеллект пока не может. Вернемся к этому когда ИИ научится смешно шутить.
Также не стоит забывать, что LLM это еще и большая база знаний. Например, мы по работе не могли найти в интернете нормальную базу IATA кодов (это коды аэропортов, регионов используемые в авиаперелетах), в которой была бы нормально прописана связь между аэропортом и регионом. То есть код Москвы - MOW, код Внуково VKO, и так по всем аэропортам. Простой запрос в ChatGPT решил наш запрос.
Извлечение структурированных данных из текста
Мое мнение, что основной фишкой LLM является не то, что они могут генерировать текст, а то, что они могут хорошо понимать тексты. Это позволяет решать очень многие задачи гораздо проще.
Например можно написать следующий промпт:
Ты должен отвечать как маркетолог, который оценивает сообщение от твоего подчиненного клиенту.
Ответ ты должен вернуть ТОЛЬКО в виде JSON.
Поля структуры, которые ты должен вернуть:
- has_greetings: поздоровался ли сотрудник с клиентом. true или false
- has_name: назвал ли сотрудник клиента по имени.
- tone: тон письма. Возможные значения: polite - вежливый; neutral - нейтральный; rude - грубый
- has_offer: предложил ли сотрудник услугу или нет. true или false.
- advise: советы по улучшению сообщения если есть
Ниже приведу сообщение сотрудника:
Добрый день, Николай!
Предлагаю вам наши услуги по разработке сайтов, стоимость услуги составляет от 100 тысяч рублей. Высокое качество!
Вам интересно?
DeepSeek на такой запрос ответил:
{
"has_greetings": true,
"has_name": true,
"tone": "polite",
"has_offer": true,
"advise": "1. Добавьте больше деталей об услуге (например, этапы разработки, примеры работ, сроки).\n2. Уточните, чем именно ваше предложение выгодно для клиента (уникальные преимущества).\n3. Замените закрытый вопрос \"Вам интересно?\" на призыв к действию (например, \"Давайте обсудим, как мы можем помочь вашему бизнесу!\").\n4. Укажите контакты для обратной связи."
}
Данную задачу проще решать через API платформ искусственного интеллекта, там можно задать чтобы ответ был в JSON и задать структуру, в которой ИИ должен отвечать.
Таким образом, можно при помощи ИИ извлекать данные из сообщений в нужной вам структуре, которую потом можно использовать как входные данные для запроса к вашим системам. Можно анализировать расшифровки разговоров сотрудников компании с клиентами, если есть расшифровка. Можно анализировать анкеты откликнувшихся на вакансию, применений огромное количество!
Генерация текста на основе структурированных данных
Можно использовать LLM для генерации текстов на основе данных из вашей базы данных.
Что это может быть:
- Генерация описаний товаров на основе их параметров;
- Генерация персонализированных писем клиентам на основе их данных, но тут надо помнить про 152-ФЗ, категорически нельзя передавать персональные данные в публичные LLM. Если хотите работать с ПД, то надо это делать только в локально развернутых LLM и проводить аудит безопасности;
- Если у вас есть какие-то графики, дашборды, отчеты, то можно генерировать анонсы и пояснения к ним, если сделать информацию в отчете понятно для LLM
Классификация текстов
LLM можно попросить классифицировать входящий текст, для этого надо передать в LLM сам текст и список возможных вариантов. Например: вопрос о заказе, вопрос о товаре, просьба переключить на оператора, спам.
Принятие решения на основе возможных вариантов
В LLM можно передать запрос и список возможных вариантов действий, которые можно выполнить. Например, в вашей системе есть API для вызова внутренних сервисов, поиска информации и тд.
Тут может подойти описание методов на основе OpenAPI, но надо понимать, что программисты часто пишут такую документацию не подробно и подразумевается, что читающий знает контекст. Поэтому надо делать документацию именно под LLM и давать модели контекст.
LLM на основании переданной информации, своей цели и вариантов действий может сделать решение или построить цепочку действий для достижения цели.
Построение цепочек обработки данных
Можно строить цепочки, которые могут выполнять комплексные запросы.
Пример:
- Сначала делаем классификацию запроса
- В зависимости от категории отправляем в нужный обработчик, извлекаем из запроса нужные данные или задаем вопрос пользователю. В итоге получаем из запроса пользователя структуру данных для запроса к внутренним системам.
- Полученные наши данные можно оформить или аннотировать текстом и вернуть пользователю.
Это сильно упрощенная схема, но в общем так можно работать.
Не охваченными остались много вопросов, наример, как избегать манипулирования LLM со стороны пользователей, но эта тема для будущих статей.