Какими инструментами мы можем пользоваться для работы с ИИ на локальном уровне?

---

Vibe-кодирование, практика использования больших языковых моделей (LLM) для помощи в создании кода или для непосредственного создания кода ими самими, становится всё более популярным — и на это есть веские причины! Vibe-кодирование не только значительно сокращает время работы за счёт автоматизации более простых частей процесса разработки, но и мы всё чаще наблюдаем, как целые проекты создаются с помощью серии тщательно подобранных запросов к LLM.

Для облегчения этого у нас есть постоянно растущая облачная инфраструктура с GPU. Независимо от того, используете ли вы собственный сервис вроде ChatGPT или Anthropic, или размещаете собственную LLM в облаке с помощью платформ, таких как Gradient™ от Linux-Console.net, все эти LLM требуют мощных вычислительных ресурсов GPU для работы. Эти машины являются двигателями, которые приводят в движение разворачивающуюся на наших глазах революцию в области AI-кодирования.

Но что мы будем делать, если не сможем получить доступ к облаку GPU?

В этом руководстве мы стремимся предложить одно решение этого вопроса. Следуйте за нами, пока мы обсуждаем некоторые из лучших вариантов локальных LLM, локальные машины для их запуска и советы по кодированию в автономном режиме, которые вы не найдете нигде больше!

Основные выводы

• Мощность вашего локального компьютера определяет, какую модель вы можете запускать. Мы рекомендуем иметь как минимум 16 ГБ доступной оперативной памяти, чтобы следовать этому руководству.
• Локальное кодирование агентных вибраций теперь возможно благодаря небольшим моделям мышления, таким как Qwen3 2507 и Nemotron Nano v2.
• Начать работу на любой операционной системе легко с местными инструментами, такими как LM Studio и Ollama

Лучшие локальные агентские LLM в сентябре 2025 года

Чтобы начать работу с локальным Agentic-кодированием, существует множество моделей, которые мы можем запускать. Это как хорошо, так и плохо, поскольку иногда бывает трудно понять, какие модели стоит рассматривать. Существует множество версий различных моделей, и они бывают разных размеров, поэтому выбор модели, которая лучше всего подходит для вашего устройства, может представлять дополнительную сложность. Мы тестируем это на MacBook Pro 2021 года с чипом M1 Pro и 16 ГБ оперативной памяти. Давайте рассмотрим некоторые из лучших локальных Agentic LLM, доступных на данный момент, и обсудим, какие из них стоит использовать.

Qwen3 2507

На наш взгляд, Qwen3 является первым местом, с которого стоит начать работу с локальным агентским моделированием. Этот набор моделей не только показывает одни из лучших результатов по множеству различных дисциплин, но и объективно является надежной моделью для агентских задач. Как версии моделей для размышлений, так и версии для инструкций чрезвычайно мощные, а варианты 2507 даже лучше оригиналов.

Мы настоятельно рекомендуем модели Qwen3 2507 в качестве первого выбора для локального агентного моделирования и кодирования настроений. Наш компьютер может работать только с версией на 8 млрд параметров, но модель смешанных экспертов 30b-a3b значительно лучше. По нашему субъективному опыту, Qwen3 оказалось самым удобным для использования в качестве помощника в нашем рабочем процессе программирования.

Немотрон Нано v2

NVIDIA Nemotron Nano v2 также является отличным выбором для агентного моделирования. Модели выпускаются в вариантах на 9 млрд и 12 млрд параметров и являются одними из наших любимых для оптимизации и редактирования кода, а также для vibe-кодирования. Этот набор моделей был полностью обучен с нуля компанией NVIDIA с использованием архитектуры Nemotron-H. Это единая модель для задач как с умозаключениями, так и без них: она отвечает на запросы и задачи пользователей, сначала создавая цепочку рассуждений, а затем формируя окончательный ответ.

В наших тестах мы были очень впечатлены его способностью использовать инструменты, доступные в различных IDE, которые мы использовали. Оно показало результаты, сопоставимые с моделью Qwen3 2507 8b, и способно работать с относительно небольшим объемом видеопамяти, доступной на M1 Pro.

GPT-OSS

Можно сказать, что GPT-OSS от OpenAI — это лучшая на данный момент открытая модель для локальных разработчиков, и мы рекомендуем её всем, у кого есть не менее 24 ГБ видеопамяти на потребительской видеокарте NVIDIA или AMD. Вариант GPT-OSS 20b был обучен с учетом использования именно таких GPU.

GPT-OSS — это замечательная агентная и программная модель. Она показывает невероятно высокие результаты в использовании инструментов, вызове функций по нескольким примерам, рассуждениях цепочкой (CoT) и медицинском тесте HealthBench (даже превосходя проприетарные модели, такие как OpenAI o1 и GPT‑4o).

Хостинг моделей

Существует множество способов размещения локальных моделей в зависимости от нашего случая использования. В этом разделе мы расскажем о наших двух рекомендациях по размещению LLM на локальном оборудовании. Нашими любимыми приложениями для хостинга LLM являются LM Studio и Ollama.

Следите за обновлениями, чтобы получить советы по началу работы с этими инструментами и выбору наиболее подходящего для вас.

ЛМ Студия

Первое приложение, которое мы хотим представить, это LM Studio — инструмент, предназначенный для того, чтобы пользователи могли запускать такие модели, как gpt-oss, Qwen, Gemma, DeepSeek и многие другие на собственном локальном компьютере — приватно и бесплатно. Интерфейс LM Studio одновременно стильный и удобный, с интуитивно понятным пользовательским интерфейсом для выбора, загрузки и запуска языковых моделей через приложение, предоставляя возможность запускать как версии моделей GGUF, так и MLX. Приложение также предлагает множество различных интеграций и параметров индивидуальной сборки, которые делают его еще более полезным, например, RAG.

Мы особенно рекомендуем LM Studio пользователям Mac, так как они смогут максимально использовать возможности этого приложения.

Оллама

Еще один проект, который нам действительно нравится, — это Ollama. Ollama был одним из первых проектов, возникших на базе открытого исходного кода Llama.cpp, и продолжает оставаться одним из самых популярных сервисов LLM, доступных для сообщества с открытым исходным кодом. Нам нравится командная строка Ollama, которая делает взаимодействие с моделями, их загрузку и организацию максимально простым. Она предлагает почти те же возможности, что и LM Studio, включая возможность создания сервера для размещения модели.

Ollama идеально подходит для пользователей Linux, так как позволяет легко взаимодействовать с моделями через командную строку.

Программирование с использованием локальных больших языковых моделей

Программирование с помощью больших языковых моделей, часто называемое vibe coding, становится все более популярным и полезным по мере того, как эти модели становятся все более сложными. Но успешно заниматься этим без доступа к мощной настольной видеокарте или облачным сервисам гораздо сложнее. В этом учебном пособии мы стремимся показать, как модели и сервисы, упомянутые ранее в этой статье, могут использоваться на локальном оборудовании для успешного vibe coding.

VS Code Продолжить

Наш любимый способ взаимодействия с кодом с использованием локальных моделей — это VS Code Continue, интеграция с популярной IDE, которая упрощает использование агентских LLM в процессе программирования. С помощью VS Code Continue мы можем получить доступ к конечным точкам, созданным в LM Studio или Ollama, чтобы взаимодействовать с нашими локальными файлами.

Чтобы начать интеграцию, сначала установите Ollama/LM Studio и Visual Studio Code. После этого, когда вы скачаете модель, которую хотите использовать, на выбранный вами сервис, найдите в браузере расширений VS Code расширение Continue и установите его.

После установки мы можем получить доступ к расширению через боковую панель слева, используя кнопку с логотипом Continue. Отсюда мы можем взаимодействовать с нашей локальной моделью, настроив окно чат-агента для обнаружения моделей из LM Studio и Ollama. Это позволит легко переключаться между моделями, размещёнными в разных приложениях.

Continue имеет три стандартных шаблона, которые агент может использовать для взаимодействия с вами: Agent, Plan и Chat. Первые два имеют доступ к встроенным инструментам, позволяющим работать с файлами, при этом первый более способен к редактированию файлов. Опция Chat просто позволяет нам общаться с моделью с контекстом. Мы достигли больших успехов, используя эти три различных режима для конкретной цели: общаться о содержимом, планировать изменения и использовать Agent для автоматического внедрения этих изменений.

Ограничения Continue на самом деле являются ограничениями используемой модели. По мере того как модели продолжают развиваться, возможности использования инструментов модели будут существенно улучшаться. Мы были действительно впечатлены способностью всех трех моделей улучшать наш код и автоматизировать простые процессы кодирования, когда мы работали офлайн. Мы рекомендуем Continue людям, привыкшим использовать VS Code и его форки, такие как Cursor, особенно на компьютерах с Mac или Windows.

Зед

Нашим другим любимым офлайн-IDE для кодирования является Zed. Zed — это бесплатный и открытый текстовый и исходный редактор кода для Linux и macOS, разработанный компанией Zed Industries для программирования с помощью помощника на основе языковых моделей. Это мощный инструмент для редактирования кода и автоматизации.

Чтобы начать работу с Zed, скачайте файл приложения с их сайта и установите его. После завершения установки откройте приложение и используйте панель файлов для открытия каталога на вашем компьютере, который вы хотите редактировать.

Используя IDE, мы можем общаться с нашими моделями LM Studio или Ollama, размещенными на хостинге, щелкнув по предпоследней иконке внизу справа окна. Выберите модель, которую вы хотите использовать, прежде чем продолжить. После выбора мы можем определить, в каком режиме запускать нашу модель: Write, Ask или Minimal.

Подобно шаблонам из Continue, эти разные профили оснащены разным доступом к инструментам. Конфигурация Write позволяет нам вносить изменения в наши файлы с помощью запросов к модели, Ask может отвечать на вопросы о файлах, а минимальный профиль можно использовать только для общения. Если вы хотите создать больше инструментов и интегрировать их с Zed, мы можем использовать профили для этой цели.

По нашему опыту, Zed — это отличное средство для такой работы. В нём есть превосходные встроенные инструменты, которые делают кодирование с помощью LLM очень простым, включая редактирование и написание нового кода. Мы рекомендуем Zed пользователям Mac и Linux, которые часто работают в пути.

Заключительные мысли

В заключение, мир локальной разработки начинает претерпевать революционные изменения благодаря доступности edge-моделей и приложений, которые делают программирование с использованием этих моделей проще, чем когда-либо. В этой статье мы представили наши любимые модели для редактирования кода, два отличных сервиса для размещения этих моделей, а также наши любимые интеграции в IDE, которые используют эти сервисы для облегчения vibe-кодирования. Мы рекомендуем попробовать все их, чтобы понять, что лучше всего подходит для вашего рабочего процесса.

Спасибо за обучение вместе с сообществом Linux-Console.net.