Периодически на Aftershock разные авторы публикуют свой опыт общения с большими языковыми моделями (LLM), в простонародье именуемые ИИ.

В основном весь опыт общения у пользователей сводится к банальному взаимодействию «вопрос – ответ».

На самом деле LLM можно использовать не только как справочник, причем информация, которую этот справочник дает может быть весьма сомнительного качества по фактологии, т.к. LLM склонны выдумывать.

Многие пользователи просто не знают, как пользоваться теми возможностями, которые LLM предоставляют. Чтобы получать от LLM действительно нужные и полезные результаты – нужно освоить хотя бы азы PROMPT-инжиниринга. Ну и, конечно же, абсолютно точно представлять цель которую надо получить в итоге.

В этой статье я хотел бы показать, как использовать LLM в сфере программирования.

При помощи большим языковых моделей можно создавать (и уже создаются) гигантские программные решения. Для программистов LLM выступают в качестве личного ассистента по кодированию, у которого не «замыливается» глаз и вообще лишен человеческих недостатков, не пропустит ошибки среди тысяч строк кода, предложит более оптимальное решение.

Сегодня LLM встраиваются в рабочие пространства программистов уже как данность.

Но, LLM также дают возможность и обычным пользователям создавать для себя нечто большее, чем они могли себе позволить раньше, в т.ч. и небольшие программы, которые не требуют глубоких знаний кода, библиотек и т.д. Ну или целые проекты - если есть амбиции и стремление.

Как раньше поступал обычный пользователь, если ему требовался небольшой парсер для сбора нужных ему данных с какого-то сайта? Например, он шел на сайт, где обитают фрилансеры-программисты и нанимал одного из них.

Программист не будет работать бесплатно и дешево, поэтому несложный парсер мог обойтись пользователю от 1000 руб. и выше - в зависимости от сложности.

С появлением LLM ситуация полностью и радикально изменилась.

Фактически за копейки, тот же самый пользователь, может абсолютно самостоятельно написать парсер для себя, просто попросив об этом LLM. Нужно лишь правильно попросить, а для этого нужно просто написать PROMPT. Причем PROMPT можно тоже создать при помощи LLM, написав той свои хотелки.

LLM не только не только напишет код для пользователя, но и даст подробные инструкции – как запустить этот код.

Я решил написать статью с демонстрацией такой возможности. На примере создания парсера по сбору комментариев у любого аккаунта Aftershock.

Существует множество площадок для взаимодействия с LLM. В основном они зарубежные и онлайн, в виде веб-страниц.
Например, всем известная штатовская ChatGPT от OpenAi или французская Mistral или китайский DeepSeek. Есть еще Grok от компании Илона Маска, Phi от Microsoft, Gemini от Google и т.д. и т.п. Их много на самом деле.

Есть с закрытым кодом, есть с открытым кодом. С достаточным количеством ограничений, даже при наличии платного аккаунта.

Подавляющее большинство моделей представлено на https://huggingface.co там можно выбрать себе модели по "вкусу" и даже опробовать их в песочницах.

Есть решения для локального использования, такие как Ollama, но они очень зависят от мощности вашего ПК. Понятное дело, что для использования в домашних компьютерах применяются очень сильно "урезанные" в своих возможностях модели LLM. Но для каких-то локальных и несложных задач вполне себе подходят, особенно если их дообучить на нужных тебе данных.

Также есть различные боты. Они, в основном, очень неудобные для полноценного взаимодействия с LLM.

Я использую десктопное приложение MyAsGPT. Канал разработчика здесь. Удобно тем, что не нужны ключи API, не нужно следить за количеством использованных токенов, да и в итоге выходит значительно дешевле, чем пользование онлайн сервисами. При помощи приложения ты получаешь из России доступ к топовым LLM без всяких плясок с бубном. Приложение распознает все форматы текстовых файлов, картинки, может просматривать веб-сайты без проблем. Да, использование не бесплатное, разработчик продает лицензионные ключи на время (1 час, 24 часа, 1 неделя, 1 месяц), считается фактическое время использования программы. Я беру на 24 часа, оплата через Юкасса в Telegram боте. Мне этого хватает надолго, т.к. пользуюсь приложением не более 2-3 часов день. Одного 24-х часового ключа мне хватает на неделю использования.

Бывают, конечно, глюки API, какие-то сбои связи, глюки LLM – не без этого. Но этим грешат все. На площадке OpenAi в часы пик вообще невозможно работать, постоянно проблемы с серверами.

Конечно, каждый может выбрать то, что ему больше по душе и соответствует его задачам и с чем ему удобно работать.

Вернемся к созданию программы – парсера.

Первое, что я делаю это выбираю уже готовый PROMPT программиста на Python. Я хочу, чтобы LLM выдавала мне релевантные моему запросу ответы и писала корректный код.

Следующим шагом я выбираю модель LLM с которой хотел бы работать. По моим наблюдениям и по опыту работы наиболее адекватные результаты в кодировании выдает модель claude-3-5-sonnet-20241022 от компании Anthropic. Она обладает способностями к рассуждению, не стремится внести несанкционированные исправления в код, чем грешат модели от OpenAi и других известных производителей.

Даю ей первый запрос. Он заключается в том, чтобы первым делам парсер спрашивал ссылку на страницу пользователя и открывал страницу с его комментариями.

Получаю ответ от LLM:

Как видим - LLM дала не только какой-то базовый код, но и описание того, что делает код и краткие инструкции по его запуску.

Открываем любую IDE (рабочее пространство для работы с кодом), создаем там новый проект, в проекте создаем файл main.py.

Копируем созданный LLM код, вставляем его в созданный файл.
Запускаем, смотрим результат:

Код работает корректно и без ошибок. Начало положено.
Продолжаем работу по созданию парсера. 

Создаем следующий запрос. Т.к. комментариев может быть очень много,то их наберется не одна страница. Нам нужно определить - сколько всего страниц с комментариями у аккаунта. Чтобы потом парсер прошелся по каждой из них и собрал все комментарии, начиная с самого первого.

Ну и конечно же, спустя секунд 30, получаю готовый код. Копирую, его вставляю. Обратите внимание, как код структурирован, есть комментарии, все расписано подробно и понятно.

И теперь обратите внимание, насколько важно правильно составлять запрос к LLM!

LLM дала тот код, который я от нее просил, в т.ч. она предположила, что в отправленных мной примерах HTML-кода есть и код непосредственно самих комментариев! Поэтому и составила немного неверный код.
Не теряемся! Просто задаем ей вопрос который нас волнует и даем корректирующие инструкции, стараясь очень точно описать результат, который я хочу получить и давай вводные данные, которых достаточно для получения нужного результата. Если не получилось с первого раза, то мы можем отредактировать уже отправленный запрос и отправить его заново.:

Не обошлось, конечно, без: глюков API, глюков LLM, ошибок связи. Не беда.

Либо переотправляем запрос заново при помощи кнопки редактирования сообщения, либо меняем модель LLM на другую и переотправляем запрос. Бывает, что количество контекста в чате уже настолько велико, что долговременная память уже не справляется с обработкой всего этого и тогда происходит обрыв соединения.

В этом случае разработчик рекомендует продолжить разработку уже в новом чате, дав необходимые вводные данные.

Вносим все изменения, которые нам прислала LLM, в код.

Запускаем, тестируем, получаем результат:

На создание парсера, вместе с перекурами и чаепитием, обдумываниями, глюками, и т.д. ушло всего лишь 2,5 часа.

Исходя из стоимости лицензионного ключа в 40руб/час (при покупке 24-х часового ключа), это 100 руб.

100 руб за парсер, за который на биржах фриланса взяли бы не меньше 1500 руб.

Это парсер можно расширять и дальше, включить сборку заголовков статей, ссылок на эти статьи, где находятся комментарии и т.д.

Что можно делать с собранными данными?

Ну, например, проводить анализ.

Так я могу собрать нужные мне данные почти с любого сайта: карточки товаров, отзывы, цены, скидки, результаты матчей по футболу и т.д. и т.п. данных существует огромное множество.

Например, можно собрать данные по конкурентам, проанализировать их карточки товаров, цены, скидки, выявить их маркетинговую стратегию, используемую систему лояльности, выявить их сильные и слабые стороны. И соответственно полученным данным уже применять собственную стратегию на рынке, которая будет использовать в т.ч. и слабые стороны моих конкурентов.

При помощи LLM можно решать совершенно разные задачи.

Люди уже вовсю:

• пишут книги и продают их, например детские сказки. Причем вся книга, включая иллюстрации, создается при помощи нейронных сетей. А книги продаются тысячными тиражами.
• ведут блоги различного формата

.....

Собственно, в этом месте предоставлю слово LLM, пусть она за меня перечислит:

• генерация текстов и контента. LLM создают тексты любой сложности — от блогов и маркетинговых материалов до кода. 2
• Виртуальные ассистенты. Помогают решать повседневные задачи, например, организацию дел. 2
• Интеллектуальный поиск. LLM расширяют возможности поиска, анализируя смысловые запросы вместо простого сопоставления ключевых слов. 2
• Многоязычный перевод. LLM обеспечивают качественный перевод, учитывая контекст и стилистические особенности текста. 2
• Резюмирование длинных текстов. LLM упрощают обработку информации, сокращая объёмные документы до кратких резюме, в которых отражены основные идеи. 2
• Чат-боты. Такие боты на основе LLM стали неотъемлемой частью взаимодействия с клиентами. Они могут имитировать человеческое общение, отвечая на запросы. 2
• Помощь в бизнесе. LLM упрощают создание рекламных кампаний: сочиняют тексты, заголовки или рекламные слоганы на основе анализа трендов и предпочтений аудитории. 1
• Помощь в финансовом секторе. LLM прогнозируют рыночные тренды, анализируют большие объёмы данных и делают инвестиционные рекомендации. 1
• Автоматизация юридических процессов. LLM помогают автоматизировать проверку договоров и создание документов, сократить время на рутинные задачи и снизить риск ошибок. 1
• HR и обучение сотрудников. Создаются персонализированные тренинги и учебные материалы с адаптацией под конкретные потребности и уровень знаний работников. 1

и это только текстовые модели.
А есть еще генеративные модели вроде Stable Diffusion или Flux (генерируют изображения и видео), модели распознавания изображения, модели работающие с базами данных и т.д.