Создайте ИИ-агента для автоматизации анализа документов с помощью градиента

---

Введение

В сегодняшней экосистеме SaaS компании регулярно просят заполнять подробные анкеты по безопасности и соблюдению нормативных требований в рамках процессов надлежащей осмотрительности при закупках, регистрации поставщиков или оценках партнерства.

Эти анкеты часто бывают длинными, повторяющимися и связанными с временными ограничениями, что делает их узким местом как для технических, так и для команд по соблюдению нормативных требований. Этот процесс, как правило, занимает от нескольких дней до недели, чтобы завершить их все, в зависимости от сложности вопросов, уровня безопасности компании и объема необходимой документации, согласно исследованию, проведенному компанией Vanta. Ручные усилия приводят к задержкам в циклах продаж, несоответствующим ответам на анкеты и отвлечению ценных технических ресурсов от основной работы по разработке.

Кому нужно это решение?

Это решение на базе ИИ особенно ценно для:

• SaaS компании, переживающие быстрый рост и частые проверки безопасности.
• Команды соблюдения и безопасности перегружены повторяющимися вопросниками.
• Команды по продажам и развитию бизнеса, стремящиеся ускорить закрытие сделок.
• Стартапы с ограниченными ресурсами, которые не могут позволить себе выделенный штат по соблюдению требований.

Преимущества автоматизации анкет с использованием искусственного интеллекта

• Эффективность времени: Уменьшите время ответа с дней до часов.
• Согласованность: Обеспечьте единообразие ответов во всех анкетах.
• Оптимизация ресурсов: Освободите технический персонал для основного развития.
• Масштабируемость: Обрабатывать увеличивающийся объем анкет без увеличения численности персонала.
• Точность: Используйте вашу актуальную документацию для обоснованных ответов.

В этом руководстве вы создадите приложение на базе ИИ, которое использует генерацию с учетом извлечения (RAG) для автоматического чтения и понимания общедоступных юридических, приватных и секьюрити документов компании и для генерации точных ответов на анкеты безопасности. Это решение может сократить время ответа до 80%, обеспечить согласованность во всех представлениях и освободить технические команды для сосредоточения на разработке продукта, а не на административных задачах.

Предварительные требования

Перед тем как продолжить с демонстрацией, убедитесь, что у вас есть следующее:

• Учетная запись DigitalOcean.
• Базовые знания о RAG, API и веб-приложениях.
• Базовое знание Streamlit, Docker, Python 3.10
• Доступ к платформе DigitalOcean Gradient.

Пошаговое руководство по созданию приложения для опроса безопасности на основе искусственного интеллекта

В этом руководстве описано, как:

1. Создайте градиентного агента, используя платформу DigitalOcean.

2. Настройте частную конечную точку для безопасного доступа к API.

3. Создайте приложение Streamlit + Python, которое обрабатывает файлы Excel с вопросами безопасности.

4. Разверните приложение на платформе приложений DigitalOcean.

Почему для автоматизации вопросов безопасности нужен агент ИИ?

Давайте будем честными — никто не любит копаться в юридических и комплайенс-документах. Нужен AI-агент, который сможет эффективно разбираться в сложных вопросах безопасности, извлекать актуальную информацию из плотных юридических документов и генерировать точные, учитывающие контекст ответы — экономя время и снижая вероятность ошибок.

Анкеты по безопасности часто содержат сотни вопросов по различным областям, таким как защита данных, контроль доступа, сетевой безопасность и рамки соблюдения нормативных требований, такие как:

• GDPR (Общий регламент по защите данных): Всеобъемлющий закон Европейского Союза о конфиденциальности данных, который регулирует, как организации должны обрабатывать персональные данные граждан ЕС.
• HIPAA (Закон о переносимости и подотчетности медицинского страхования): законодательство США, которое предоставляет положения о конфиденциальности и безопасности данных для защиты медицинской информации.
• SOC 2 (Контроль за сервисными организациями 2): Процедура аудита, которая обеспечивает надежное управление данными клиентов со стороны поставщиков услуг на основе пяти принципов доверия: безопасность, доступность, целостность обработки, конфиденциальность и приватность.
• ISO 27001: Международный стандарт для систем управления информационной безопасностью (ISMS), который предоставляет системный подход к управлению конфиденциальной информацией компании.
• NIST (Национальный институт стандартов и технологий): Рамочная программа рекомендаций по кибербезопасности для организаций с целью лучшего управления и снижения рисков в области кибербезопасности.
• Закон о защите цифровых персональных данных (DPDP): Всеобъемлющий закон Индии о защите данных, который устанавливает руководящие принципы для обработки цифровых персональных данных, обеспечивая конфиденциальность и безопасность информации граждан Индии.

Ответы на эти вопросы обычно требуют:

1. Поиск в нескольких документах политик
2. Консультирование с различными командами (безопасности, юридической, инженерной)
3. Обеспечение согласованности с предыдущими ответами на вопросы
4. Настройка ответов в соответствии с конкретным контекстом каждого вопроса

Используя платформу Gradient от DigitalOcean с возможностями RAG, мы можем автоматизировать этот процесс, позволив агенту ИИ понять намерение вопроса, искать актуальную информацию в вашей базе знаний и формировать профессиональные ответы, соответствующие реальному состоянию безопасности вашей компании и документации. Это не только ускоряет время ответа с дней до минут, но и обеспечивает большую точность и согласованность всех ответов на анкеты.

Высокоуровневый дизайн платформы Gradient

Высокий уровень проектирования приложения

Практическое руководство

Посмотрите это видео демонстрацию, чтобы увидеть приложение в действии:

Шаг 1 — Создание агента GenAI

Подготовьте документы для соблюдения требований

• Соберите свои публичные юридические и соответствующие документы (например, Политику конфиденциальности, политику ISO, обзор SOC 2).
• Отформатируйте их как файлы Markdown или обычные текстовые файлы для удобного извлечения текста.
• Загрузите эти документы в хранилище DigitalOcean Spaces или сохраните их локально для демонстрации.

Войдите в платформу DigitalOcean Gradient

• Перейдите в раздел Градиенты в вашей панели управления DigitalOcean.

Создайте базу знаний

• Перейдите в раздел “База знаний ” и нажмите Создать базу знаний. Назовите её (например, demo-kb).
• Загрузите свои документы напрямую или подключите корзину Spaces.
• Выберите свою векторную базу данных OpenSearch (вы можете использовать уже существующую).
• Выберите модель эмбеддингов (например, небольшую многиязычную модель для простых задач).
• Запустите задачу индексации, чтобы преобразовать и встроить ваши документы в векторную базу данных.

Создать агент Генеративного ИИ

• Перейдите в раздел “Агенты” и нажмите Создать агента.
• Назовите своего агента (например, demo-agent).
• Выберите базовую модель (например, LLaMA 3 8B).
• Прикрепите созданную вами базу знаний.
• Добавьте пользовательский системный запрос, чтобы форматировать вывод как JSON (полезно для интеграции).
• Сохраните и разверните агента.

Шаг 2 — Конфигурация частной конечной точки

Включить доступ к частному API

• В панели управления агентом, в разделе Ключи доступа к конечным точкам, нажмите на “Управление ключами доступа к конечным точкам” и сгенерируйте новый ключ.
• Сохраните этот ключ доступа надежно в окружающей среде вашего приложения.

Получите URL конечной точки

• Скопируйте конечную точку API с панели управления агента.
• Вы будете использовать это в своем коде Python для отправки запросов.

Шаг 3 — Создание приложения Streamlit + Python

Войдите в свою учетную запись Github и создайте репозиторий с этими файлами. Вам потребуется этот репозиторий Github для развертывания вашего приложения на платформе App в следующих шагах.

Структура приложения

project/ ├── app.py              # Main Streamlit app ├── chatbot.py          # Backend logic for API calls ├── requirements.txt    # Python dependencies ├── Dockerfile          # For deployment 

Создайте файл chatbot.py

Этот python файл будет:

• Загрузите GENAI_ENDPOINT и GENAI_API_KEY из окружения.
• Отправляет POST-запрос с вопросом к API агента.
• Загружает ответ в формате JSON.

import os import requests from dotenv import load_dotenv  load_dotenv()  AGENT_ENDPOINT = os.getenv("AGENT_ENDPOINT") + "/api/v1/chat/completions"  AGENT_ACCESS_KEY = os.getenv("AGENT_ACCESS_KEY")   def ask_question(question):     # Append the user's question to the base prompt     prompt = base_prompt + "nQuestion: " + question     payload = {         "messages": [             {                 "role": "user",                 "content": prompt             }         ]     }      headers = {         "Content-Type": "application/json",         "Authorization": f"Bearer {AGENT_ACCESS_KEY}"     }     response = requests.post(AGENT_ENDPOINT, json=payload, headers=headers)     return response.json()  

Создайте другой файл app.py

Этот python файл будет:

• Позвольте пользователям загружать файл Excel.
• Итерация по каждой строке и отправка вопроса в чат-бот.
• Добавляет ответ, сгенерированный ИИ, и причину в DataFrame.
• Предоставляет кнопку «Скачать CSV» с обновленными ответами.

import pandas as pd import json  def process_security_questions(uploaded_file):     """     Process security questions from an Excel file and get answers using the chatbot.          Args:         uploaded_file: The uploaded Excel file          Returns:         DataFrame with questions and answers     """     try:         df = pd.read_excel(uploaded_file)                  # Find the questions column         question_col_index = None         for i, col in enumerate(df.columns):             if 'question' in str(col).lower():                 question_col_index = i                 break                  if question_col_index is None:             st.error("Could not find a column containing 'question' in its name")             return None                  answers = []         progress_bar = st.progress(0)         num_rows = len(df)                  for i in range(num_rows):             question = str(df.iloc[i, question_col_index])             st.write(f"Processing question {i+1}: {question}")             response = ask_question(question)             try:                 # Parse the JSON response from the agent                 content = response["choices"][0]["message"]["content"]                 print("content", content)                 answer_data = json.loads(content)             except Exception as e:                 answer_data = {                     "answer": "Not Sure",                     "reasoning": "Failed to get a proper response",                 }             answers.append(answer_data)             progress_bar.progress((i + 1) / num_rows)             time.sleep(1)  # Delay to avoid overwhelming the endpoint                  # Add the results to the DataFrame as new columns         df["Answer"] = [a.get("answer", "") for a in answers]         df["Reasoning"] = [a.get("reasoning", "") for a in answers]                  return df     except Exception as e:         st.error(f"Error processing file: {str(e)}")         return None  

Создайте этот Dockerfile

FROM python:3.11-slim-buster  WORKDIR /app  COPY . ./app COPY requirements.txt ./  RUN pip3 install -U pip && pip3 install -r requirements.txt  CMD ["streamlit", "run", "app/app.py"] 

Шаг 4 — Развертывание приложения на платформе приложений DigitalOcean

Ниже приведены шаги для развертывания вашего приложения на платформе приложений:

• Подключите ваш репозиторий GitHub.
• Укажите на вашу ветку и Dockerfile.
• Установите порт сборки (например, 8051) и переменные окружения (AGENT_ENDPOINT, AGENT_ACCESS_KEY).
• Выберите размер экземпляра и регион.
• Разверните и протестируйте ваше живое приложение!

Тестирование приложения

1. Перейдите по URL развернутого приложения.
2. Загрузите файл Excel с вопросами о безопасности.
3. Нажмите “Обработать вопросы”, чтобы получить ответы, сгенерированные ИИ.
4. Просмотрите ответы и аргументацию.
5. Скачайте обновленный CSV с ответами.

Часто задаваемые вопросы

1. Какие типы анкет по безопасности лучше всего подходят для этого решения?

Это решение лучше всего работает с стандартизированными анкетами по безопасности в формате Excel, например, основанными на рамках SOC 2, ISO 27001 или GDPR. Индивидуальные анкеты также хорошо работают, если они структурированы в табличном формате. Для получения дополнительной информации о рамках соответствия посетите платформу доверия DigitalOcean.

2. Насколько точны ответы, сгенерированные ИИ?

Точность зависит от качества вашей базы знаний. При хорошо организованной документации по безопасности, уровень точности обычно превышает 85%. Всегда проверяйте ответы, сгенерированные ИИ, перед отправкой их клиентам. Вы можете повысить точность, следуя лучшим практикам в учебнике RAG от DigitalOcean.

3. Могу ли я настроить ответы ИИ в соответствии с тоном моей компании?

Да, вы можете настроить шаблоны подсказок в конфигурации AI-агента, чтобы они соответствовали стилю общения и терминологии вашей компании. Эта настройка позволяет вам поддерживать консистентность бренда во всех ответах на анкеты.

Чтобы настроить тон:

• Рассмотрите возможность добавления терминологии, специфичной для компании, в вашу базу знаний. Платформа Gradient поддерживает форматы .txt, .html, .md, .pdf, .doc, .json и .csv.
• Добавьте ограничители в агент автоматизации опросника по безопасности.
• Добавьте конкретные инструкции о уровне формальности, технической глубине и корпоративном голосе.
• Включите примеры предпочтительных формулировок для общих концепций безопасности.

Искусственный интеллект затем будет генерировать ответы, которые звучат более аутентично в стиле общения вашей организации. Узнайте больше о эффективной механике запросов в документации платформы Gradient от DigitalOcean.

4. Как мне справиться с вопросами, которые требуют приложений или доказательств?

Т текущее решение ориентировано на текстовые ответы. Для вопросов, требующих доказательств, ИИ может предложить соответствующие документы для прикрепления, но вам нужно будет вручную их включить. Рассмотрите возможность интеграции с DigitalOcean Spaces для хранения и получения документов.

5. Мои данные защищены при использовании этого решения?

Да, при развертывании на платформе Gradient от DigitalOcean ваши данные остаются конфиденциальными. База знаний изолирована в вашем аккаунте, и все обработки происходят в вашей среде. Для дополнительной безопасности рассмотрите возможность внедрения сетей VPC от DigitalOcean и облачных брандмауэров.

6. Сколько времени обычно экономит это решение?

Большинство пользователей сообщают о снижении времени на 70-90% по сравнению с ручным заполнением анкеты. Анкета, которая может занять 8-10 часов при ручном заполнении, может быть обработана менее чем за час с помощью этого решения.

7. Могу ли я интегрировать это с другими бизнес-системами?

Да, это решение можно интегрировать с CRM-системами, платформами для обслуживания запросов или системами управления документами с помощью API. Ознакомьтесь с документацией API DigitalOcean для вариантов интеграции или рассмотрите возможность использования DigitalOcean Functions для безсерверной интеграции.

8. Какие ресурсы мне нужны для эффективного выполнения этого решения?

Для оптимальной работы мы рекомендуем развертывание на платформе DigitalOcean App с тарифным планом не ниже базового. Компонент GenAI работает лучше всего с платформой Gradient от DigitalOcean, которая предоставляет необходимую инфраструктуру для обработки ИИ и управления базой знаний.

Заключение

Заполнение анкет безопасности вручную — это мучение, особенно когда вы делаете это много раз для разных клиентов. С помощью GenAI, RAG, OpenSearch и немного кода на Python, мы автоматизировали весь процесс.

Этот проект не только экономит часы усилий на каждую подачу, но также обеспечивает последовательные и соответствующие ответы, которые отражают реальное состояние безопасности вашей компании. На основе отзывов пользователей команды обычно сокращают время заполнения анкеты на 70-90%, превращая дни работы в часы.

Решение использует платформу Gradient от DigitalOcean для создания интеллектуальной системы, которая:

• Понимает вопросы о соблюдении безопасности в контексте
• Извлекает актуальную информацию из вашей базы знаний
• Создает точные, адаптированные ответы с поддерживающей аргументацией
• Поддерживает последовательность во всех отправках анкеты

Разделяя его на модульные подсистемы (AI-агент + частные API + Python-приложение), решение остается масштабируемым, настраиваемым и простым в интеграции в любой рабочий процесс. Вы можете расширить его для обработки различных форматов опросников, интегрировать с вашей CRM или подключить к системам управления документами.

Более важно, что это показывает, как платформа Gradient от DigitalOcean может быть использована для создания реальных, мощных AI-приложений — без необходимости управлять сложной инфраструктурой или изобретать колесо заново.

Сочетание App Platform для развертывания и Gradient Platform для интеллектуальных решений создает готовое к производству решение, которое растет вместе с потребностями вашего бизнеса.

Готовы автоматизировать процесс обработки вашего анкеты по безопасности? Внедрите это решение сегодня и освободите ценное время для ваших команд по безопасности и соблюдению нормативных требований.

Ссылки

Вы можете найти код этого приложения здесь.