Перейти к основному содержимому

Общение с локальными моделями ИИ

Почему локальные модели ИИ?​

Ollama запускает модель локально. Вход и хранение чатов используют облако и требуют интернет. Автоматического перехода на облачную модель нет.

Это относится к обычному режиму. В офлайн-режиме всё остаётся на этом компьютере: приложение работает и без интернета, а новые чаты хранятся только локально в зашифрованном виде.

Почему Ollama?​

Ollama — инструмент, который позволяет легко запускать локальные модели ИИ. Он устанавливается отдельно на каждом компьютере, поэтому ограничений по числу пользователей нет — не нужна общая серверная часть.

Установка Ollama​

  1. Перейдите на страницу загрузки Ollama download page
  2. Скачайте версию для вашей операционной системы (Windows или macOS)
  3. Установите Ollama, следуя мастеру установок
  4. После установки Ollama автоматически запустится в фоновом режиме

Установка языковой модели​

После установки Ollama необходимо просмотреть как минимум одну языковую модель:

  1. Откройте интерфейс Ollama (через значок системного трея или терминал)
  2. Скачайте языковую модель по выбору

Рекомендуемая модель​

Предпочитайте модель с возможностями tool и vision:

  • Tool capabilities - модель может использовать все инструменты, доступные в приложении, такие как поиск в интернете и генерация изображений
  • Vision capabilities - модель может анализировать и описывать изображения
Рекомендуемая модель

qwen3-vl:4b-instruct предлагает хорошее сочетание скорости и возможностей инструментов/vision. Установите эту модель через терминал:

ollama pull qwen3-vl:4b-instruct

Выберите вариант -instruct: он отвечает сразу. Обычная qwen3-vl:4b перед каждым шагом долго размышляет и на ноутбуке работает во много раз медленнее. Для небольших локальных моделей приложение использует короткую инструкцию и только те инструменты, которые подходят к вашему вопросу. Если один и тот же шаг раз за разом не удаётся, ИИ останавливается и сообщает, что получилось, а что нет.

Выбор модели в зависимости от аппаратного обеспечения​

Производительность модели в значительной степени зависит от аппаратного обеспечения вашего компьютера:

Аппаратное обеспечениеРекомендация
Ограниченное (8GB RAM, без GPU)Выбирайте меньшие модели (1-4B параметров)
Среднее (16GB RAM, базовый GPU)Модели до 7B параметров
Мощное (32GB+ RAM, современный GPU)Возможны более крупные модели (13B+)
Скорость vs. качество

Маленькая модель обычно быстрее, но может давать менее точные ответы. Экспериментируйте, чтобы найти лучший баланс для вашей ситуации.

Конфигурация в настольном приложении​

Как только Ollama запущен с установленной моделью, настольное приложение обнаружит это автоматически. Затем вы можете в чате выбрать локальную модель как альтернативу облачным моделям.

На начальном экране под полем ввода можно выбрать локальную модель до отправки первого сообщения. Выбранная модель используется с первого сообщения, а позже её можно изменить.

Доступные модели с поддержкой tool/vision​

Полный список смотрите на ollama.com/library. Фильтруйте по моделям с:

  • тегом Tools для возможностей инструментов
  • тегом Vision для распознавания изображений

Популярные варианты:

  • qwen3-vl:4b-instruct - Компактная, быстрая, tool + vision
  • llama3.2-vision - Возможности vision
  • mistral - Быстрые общие задачи

Локальное чтение документов и сканов​

С локальной моделью настольное приложение читает документы на вашем компьютере. Ничего не загружается.

  • Рабочая папка: в одобренной папке ИИ читает Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) и RTF. Старые файлы .doc и .ppt читаются, только если установлен LibreOffice.
  • Сканы и фото: отсканированные страницы PDF, изображения (PNG, JPG, WebP, TIFF) и изображения в файлах Word и PowerPoint читаются с помощью распознавания текста (OCR). OCR поставляется вместе с приложением и распознаёт нидерландский, английский, немецкий и французский. В чате видно, какая страница читается; длинный скан может занять несколько минут. Из одного документа OCR читает не более 100 страниц.
  • Неуверенное распознавание: если распознавание текста неуверенное, ИИ сообщает об этом. Тогда проверьте имена, числа и суммы в оригинале. Рукописный текст, таблицы и схемы распознаются не всегда правильно.
  • Модель изображений: если выбранная модель поддерживает vision (например, qwen3-vl:4b-instruct), она сама просматривает изображения, в которых распознавание текста читает мало или неуверенно. Без GPU это занимает больше времени.
  • Фото с iPhone (HEIC): сначала сохраните их в формате JPEG или PNG.

С облачной моделью приложение тоже читает документы из рабочей папки на вашем компьютере, но прочитанный текст затем отправляется этой модели как часть разговора.

Работа без интернета, в том числе с вложениями в чате: см. Офлайн-режим.

На этой странице