Безсерверное извлечение данных с помощью платформы Gradient

---

Безсерверная инференция, по праву, является одной из самых обсуждаемых тем как в технических, так и в нетехнических кругах пользователей ИИ, и на это есть хорошие причины. Хотя контроль над каждым аспектом развертывания часто необходим для развертывания собственных моделей, безсерверный подход устраняет головную боль, связанную с обслуживанием и управлением развертыванием моделей и API-эндпоинтов. Это может быть невероятно полезно для множества различных случаев использования агентных больших языковых моделей.

В этом учебном пособии мы покажем, как начать работу с безсерверным выводом на платформе Gradient с использованием API DigitalOcean. Затем мы обсудим некоторые потенциальные случаи использования этой методологии в производственных условиях и повседневных рабочих процессах.

Доступ к безсерверному выводу на платформе Gradient

Чтобы начать, мы можем использовать либо API DigitalOcean, либо облачную консоль. Давайте рассмотрим каждую методику.

Шаг 1а: Создайте ключ API DigitalOcean

Чтобы начать, вам сначала нужно создать свой собственный аккаунт на DigitalOcean и войти в него. После этого перейдите в командное пространство по вашему выбору. Отсюда мы создадим ключ API DigitalOcean. Это поможет нам позже создать токен доступа к нашей модели, поэтому мы можем пропустить этот шаг и перейти к разделу «Шаг 2b: Создание ключа доступа к модели с помощью облачной консоли».

Используйте навигационную панель с левой стороны главной страницы и прокрутите вниз, пока не увидите «API». Нажмите, чтобы открыть главную страницу API. Затем мы можем использовать кнопку в правом верхнем углу, чтобы создать новый ключ.

В странице создания ключа назовите свой ключ по мере необходимости и предоставьте соответствующие разрешения. Для этого вы можете либо предоставить полные разрешения, либо прокрутить вниз до «genai» в выборе пользовательских областей и выбрать все. Затем создайте ключ. Сохраните это значение для последующего использования.

Шаг 2A: Создайте ключ доступа к модели с помощью API

Далее мы собираемся создать ключ доступа для модели для серверного вывода Gradient. Для этого мы можем использовать либо консоль, либо API. Чтобы использовать API, используйте ранее сохраненный API-ключ с помощью следующего запроса curl в вашем терминале. Замените значение для «${DIGITALOCEAN_TOKEN}» на свой собственный.

curl -X POST -H 'Authorization: Bearer $DIGITALOCEAN_TOKEN' https://api.linux-console.net/v2/gen-ai/models/api_keys 

Это выведет наш ключ доступа к модели. Сохраните это значение на будущее. Оно нам понадобится для запроса к модели.

Шаг 2B: Создайте ключ доступа модели с помощью Консоли облака

Если мы хотим использовать консоль, просто перейдите на вкладку платформы Gradient «Безсерверное заключение» в консоли. Как только вы там окажетесь, используйте кнопку в правом нижнем углу, чтобы «Создать ключ доступа к модели».

Затем все, что нам нужно сделать, это назвать наш ключ. Сохраните выходное значение на потом! Оно нам понадобится для безсерверного вывода с Python.

Шаг 3: Генерация текста с помощью Python и безсерверного вывода

С нашим новым ключом доступа к модели мы можем начать запускать безсерверный вывод DigitalOcean с любого компьютера с доступом в интернет! Мы рекомендуем работать из Jupyter Notebook. Следуйте шагам, изложенным в данном руководстве, для получения советов по настройке вашей среды для этой статьи.

Как только ваша среда настроена, откройте новый файл .ipynb IPython Notebook. Используйте приведенный ниже фрагмент кода, чтобы начать генерировать текст, конкретно отвечая на вопрос, какова столица Франции. Измените фрагмент, чтобы отразить измененное значение вашего API-ключа на строке 5.

from openai import OpenAI import os  client = OpenAI(     api_key= **“your_model_access_key_here”**,     base_url="https://inference.do-ai.run/v1" )  stream = client.chat.completions.create(     model="llama3-8b-instruct",     messages=[         {             "role": "developer",             "content": "You are a helpful assistant.",         },         {             "role": "user",             "content": "What is the capital of France?",         },     ],     stream=True,     max_completion_tokens=10 )  for chunk in stream:     if chunk.choices[0].delta.content:         print(chunk.choices[0].delta.content, end="", flush=True) 

Это должно выдать результат «Столицей Франции является Париж». Мы рекомендуем изменить такие значения, как max_completion_tokens, чтобы лучше соответствовать вашему запросу по мере необходимости. Мы также можем изменить значение модели на 10-й строке на любую из доступных моделей, перечисленных в предложениях моделей DigitalOcean Gradient. Этот зоопарк моделей постоянно обновляется, чтобы отражать растущую отрасль, поэтому часто проверяйте обновления.

Примеры использования Serverless AI от DigitalOcean

Теперь, когда мы настроили нашу среду для работы с безсерверным выводом, у нас есть множество возможных действий, которые мы можем использовать с моделью. Из всего, на что способен LLM, мы можем создавать мощные агентные приложения, которые используют силу ИИ модели. Некоторые возможные сценарии использования этого включают:

• Событийно-ориентированные приложения: когда конкретное событие запускает работу LLM, это распространено в агентных сценариях.
• Масштабируемые серверные услуги: Когда вывод на сервере может потребовать бесконечного масштабирования, безсерверные технологии могут гарантировать, что ваши пользователи никогда не будут ждать.
• Обработка данных: пакетные задания и обработка данных могут выполняться эффективно и результативно, не требуя дорогостоящей настройки.
• И многое другое!

Заключительные мысли

Безсерверное инферирование является настоящим решением для компаний, ищущих решения на базе LLM, без необходимости нанимать сотрудников или изучать шаги, необходимые для развертывания собственного сервера. Благодаря платформе Gradient от DigitalOcean доступ к безсерверному инферированию с мощных графических процессоров NVIDIA стал проще, чем когда-либо! Мы призываем всех попробовать новое решение!