LangChain встречает Gradient: открытый исходный код, безсерверный и быстрый
Когда вы создаете приложения с искусственным интеллектом, правильные инструменты имеют решающее значение. LangChain был основным фреймворком на протяжении многих лет, и его богатая экосистема интеграций помогает разработчикам быстро переходить от идеи к производству.
С langchain-gradient, официальной интеграцией от DigitalOcean для langchain, вы можете соединить безсерверный интерфейс Gradient AI от DigitalOcean с агентами, инструментами и цепочками Langchain.
В этом руководстве вы узнаете, почему langchain-gradient помогает разработчикам улучшить их рабочий процесс агентов, как быстро подключить безсерверное инференс-сервер Gradient к LangChain и как использовать invoke и stream с лаконичными примерами.
Что такое LangChain-Gradient?
Новая интеграция langchan-gradient может улучшить ваши рабочие процессы несколькими способами:
- Простая замена для существующего кода LangChain: замените конечные точки Gradient за несколько строк — без переписывания, без рефакторинга, просто вставьте и работайте.
- Знакомые абстракции LangChain (Цепочки, Инструменты, Агенты): Стройте с помощью уже известных вам примитивов — комбинируйте цепочки, подключайте инструменты и запускайте агентов, не меняя ваш рабочий процесс.
- Выберите из нескольких моделей: мгновенно получайте доступ к нескольким ИИ-моделям с ускоренной GPU, без серверного взаимодействия на DigitalOcean.
- Оставайтесь открытыми и гибкими: пакет полностью с открытым исходным кодом и разработан для работы с последними версиями LangChain и Gradient AI Platform.
У LangChain есть собственная документация по интеграции, а также проект пакета PyPI, который помогает сделать интеграцию бесшовной.
Вы также можете посмотреть короткое руководство с примерами кода, демонстрирующее интеграцию в действии.
Получение ключа API DigitalOcean
Чтобы запустить langchain-gradient, сначала вам нужно получить ваш ключ из консоли DigitalOcean Cloud.
- Войти в консоль облака DigitalOcean.
- Открыть платформу агентов → Безсерверный вывод.
- Нажмите «Создать ключ доступа к модели», назовите его и создайте ключ.
- Используйте сгенерированный ключ в качестве вашего DIGITALOCEAN_INFERENCE_KEY.
Экспортируйте ваш ключ как переменную окружения:
export DIGITALOCEAN_INFERENCE_KEY="your_key_here" Установка LangChain-Gradient
Чтобы установить пакет, выполните следующую команду:
pip install langchain-gradient Доступные функции
-
вызывайте: простые, однократные вызовы
- Используйте это, когда вам необходимо однократное завершение и вы готовы подождать полного ответа перед его обработкой. Он возвращает полную строку/объект сообщения после завершения генерации моделью. Идеально подходит для синхронных скриптов, пакетных заданий или серверных конечных точек, которые отвечают только один раз на запрос.
поток: потоковая передача токенов для отзывчивых пользовательских интерфейсов/логирования
- Используйте это, когда вы хотите частичный вывод по мере его генерации. Он выдает фрагменты/токены постепенно, что позволяет отображать их в реальном времени в терминалах, блокнотах или чатах, и полезен для ведения журналов прогресса или сценариев раннего прерывания.
Используя Invoke
import os from langchain_gradient import ChatGradient llm = ChatGradient( model="llama3.3-70b-instruct", api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"), ) result = llm.invoke( "Summarize the plot of the movie 'Inception' in two sentences, and then explain its ending." ) print(result) - Импорты: ChatGradient — это совместимый с LangChain клиент LLM для Gradient.
-
llm=ChatGradient(…): Создает экземпляр LLM.
- модель: Установите на «llama3.3-70b-instruct». Может быть любая доступная модель с платформы Gradient AI
- api_key: Читает ваш ключ API Inference от DigitalOcean из окружения.
Использование потоковой передачи
from langchain_gradient import ChatGradient llm = ChatGradient( model="llama3.3-70b-instruct", api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"), ) for chunk in llm.stream("Give me three fun facts about octopuses."): print(chunk, end="", flush=True) - llm.stream(“… ”): Запрашивает потоковый ответ на запрос.
- для чанка в …: Итерирует по инкрементальным токенам/чанкам и выводит их в реальном времени.
Это выводит токены по мере их поступления, что идеально подходит для командных интерфейсов, записных книжек или чат-интерфейсов.
Часто задаваемые вопросы
Что такое LangChain?
LangChain — это фреймворк для создания приложений, основанных на больших языковых моделях. Он предоставляет стандартные абстракции (цепочки, инструменты, агенты) и большую экосистему интеграций, чтобы помочь разработчикам быстро собирать приложения с использованием LLM от начала до конца.
Что такое langchain-gradient?
Это официальная интеграция DigitalOcean, которая позволяет приложениям LangChain вызывать безсерверные конечные точки вывода Gradient AI с использованием клиента ChatGradient, совместимого с LangChain.
Какие модели я могу использовать?
Вы можете выбрать из нескольких моделей, размещенных в Gradient (например, варианты Llama). Выберите идентификатор модели из документации Gradient и передайте его ChatGradient через параметр модели.
Как мне пройти аутентификацию?
Создайте ключ доступа к модели в консоли облака DigitalOcean (Платформа агента → Безсерверный вывод), затем экспортируйте его как DIGITALOCEAN_INFERENCE_KEY и передайте его в ChatGradient.
Поддерживает ли это потоковую передачу?
Да. Используйте llm.stream(…) для получения токенов поэтапно — это идеально подходит для командных интерфейсов, блокнотов и чатов. Используйте llm.invoke(…) для простых одноразовых вызовов.
Заключение
langchain-gradient позволяет быстро и практично переходить от идеи к производству. С помощью клиентского интерфейса, знакомых абстракций LangChain и серверной инференции с ускорением на GPU на DigitalOcean вы можете быстро создавать прототипы, получать результаты в реальном времени и масштабироваться без переработки кода. Интеграция является открытым исходным кодом, гибкой и идет в ногу с последними обновлениями LangChain и Gradient, так что вы всегда остаетесь продуктивными.
Добавить комментарий