Перейти до основного змісту

Чат із локальними моделями штучного інтелекту

Чому локальні моделі ШІ?​

Ollama запускає модель локально. Вхід і зберігання чатів використовують хмару та потребують інтернету. Автоматичного переходу на хмарну модель немає.

Це стосується звичайного режиму. В офлайн-режимі усе залишається на цьому комп'ютері: застосунок працює й без інтернету, а нові чати зберігаються лише локально в зашифрованому вигляді.

Чому Ollama?​

Ollama — інструмент, який дозволяє легко запускати локальні моделі ШІ. Він встановлюється на кожному комп’ютері окремо, тому немає обмежень за кількістю користувачів — не потрібен спільний сервер.

Встановлення Ollama​

  1. Перейдіть на сторінку завантаження Ollama
  2. Завантажте версію для вашої операційної системи (Windows або macOS)
  3. Встановіть Ollama, дотримуючись майстра встановлення
  4. Після встановлення Ollama працює у фоновому режимі

Встановлення мовної моделі​

Після встановлення Ollama потрібно завантажити принаймні одну мовну модель:

  1. Відкрийте інтерфейс Ollama (за значком системного трея або в терміналі)
  2. Завантажте мовну модель на вибір

Рекомендована модель​

Краще обирати модель з можливостями tool та vision:

  • Tool capabilities - модель може використовуюти всі інструменти, доступні в застосунку, такі як пошук в Інтернеті та генерація зображень
  • Vision capabilities - модель може аналізувати та описувати зображення
Рекомендована модель

qwen3-vl:4b-instruct забезпечує хороший баланс між швидкістю та можливостями інструментів/vision. Встановіть цю модель через термінал:

ollama pull qwen3-vl:4b-instruct

Виберіть варіант -instruct: він відповідає одразу. Звичайна qwen3-vl:4b перед кожним кроком довго розмірковує і на ноутбуці працює в рази повільніше. Для невеликих локальних моделей застосунок використовує коротку інструкцію й лише ті інструменти, що підходять до вашого запитання. Якщо той самий крок раз у раз не вдається, ШІ зупиняється й повідомляє, що вийшло, а що ні.

Вибір моделі залежно від апаратури​

Продуктивність моделі залежить від апаратного забезпечення вашого комп’ютера:

Апаратне забезпеченняРекомендація
Обмежено (8GB RAM, без GPU)Вибирайте менші моделі (1-4B параметрів)
Середнє (16GB RAM, базовий GPU)Моделі до 7B параметрів
Потужне (32GB+ RAM, сучасний GPU)Можливіші більш великі моделі (13B+)
Швидкість vs. якість

Менша модель зазвичай швидша, але може давати менш точні відповіді. Експериментуйте, щоб знайти найкращий баланс для вашої ситуації.

Налаштування у настільному застосунку​

Як тільки Ollama працює з встановленою моделлю, настільний застосунок автоматично її визначає. Потім у чаті ви можете обрати локальну модель як заміну для моделей у хмарі.

На початковому екрані під полем введення можна вибрати локальну модель до надсилання першого повідомлення. Вибрана модель використовується з першого повідомлення й надалі її можна змінити.

Доступні моделі з підтримкою tool/vision​

Перегляньте повний перелік на ollama.com/library. Фільтруйте за моделями з:

  • тегом Tools для можливостей інструментів
  • тегом Vision для розпізнавання зображень

Популярні варіанти:

  • qwen3-vl:4b-instruct - Компактна, швидка, інструменти + vision
  • llama3.2-vision - можливості Vision
  • mistral - швидкі загальні завдання

Локальне читання документів і сканів​

З локальною моделлю настільний застосунок читає документи на вашому комп'ютері. Нічого не завантажується.

  • Робоча папка: у схваленій папці ШІ читає Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) і RTF. Старі файли .doc і .ppt читаються лише тоді, коли встановлено LibreOffice.
  • Скани й фото: відскановані сторінки PDF, зображення (PNG, JPG, WebP, TIFF) і зображення у файлах Word і PowerPoint читаються за допомогою розпізнавання тексту (OCR). OCR постачається разом із застосунком і розпізнає нідерландську, англійську, німецьку та французьку. У чаті видно, яка сторінка читається; довгий скан може тривати кілька хвилин. З одного документа OCR читає щонайбільше 100 сторінок.
  • Непевне розпізнавання: коли розпізнавання тексту непевне, ШІ про це повідомляє. Тоді перевірте імена, числа й суми в оригіналі. Рукописний текст, таблиці та схеми не завжди розпізнаються правильно.
  • Модель зображень: якщо вибрана модель має vision (наприклад, qwen3-vl:4b-instruct), вона сама переглядає зображення, у яких розпізнавання тексту читає мало або непевно. Без GPU це триває довше.
  • Фото з iPhone (HEIC): спершу збережіть їх як JPEG або PNG.

З хмарною моделлю застосунок також читає документи з робочої папки на вашому комп'ютері, але прочитаний текст тоді надсилається цій моделі як частина розмови.

Робота без інтернету, зокрема з вкладеннями в чаті: див. Офлайн-режим.

На цій сторінці