स्थानीय AI मॉडलों के साथ चैट
स्थानीय AI मॉडलों के फायदे क्यों?
Ollama मॉडल को स्थानीय रूप से चलाता है। साइन-इन और चैट संग्रहण क्लाउड का उपयोग करते हैं और इंटरनेट आवश्यक है। क्लाउड मॉडल पर स्वतः स्विच नहीं होता।
यह सामान्य मोड पर लागू होता है। ऑफ़लाइन मोड में सब कुछ इसी कंप्यूटर पर रहता है: तब ऐप इंटरनेट के बिना भी काम करता है और नई चैट केवल स्थानीय रूप से, एन्क्रिप्ट करके सहेजी जाती हैं।
Ollama क्यों?
Ollama एक ऐसी टूल है जिससे आप स्थानीय रूप से AI मॉडल आसानी से चला सकते हैं। इसे हर कंप्यूटर पर अलग से इंस्टॉल किया जाता है, जिससे उपयोगकर्ताओं की संख्या पर कोई प्रतिबंध नहीं है - साझा सर्वर की ज़रूरत नहीं।
Ollama स्थापित करना
- जाएँ Ollama डाउनलोड पेज
- अपने ऑपरेटिंग सिस्टम (Windows या macOS) के लिए संस्करण डाउनलोड करें
- इंस्टॉलर का अनुसरण करके Ollama स्थापित करें
- इंस्टॉल के बाद Ollama पृष्ठभूमि में स्वचालित रूप से रन होगा
एक भाषा मॉडल स्थापित करें
Ollama स्थापित करने के बाद आपको कम से कम एक भाषा मॉडल डाउनलोड करना चाहिए:
- Ollama इंटरफेस खोलें (सिस्टम ट्रे में आइकन या टर्मिनल के माध्यम से)
- अपनी पसंद का भाषा मॉडल डाउनलोड करें
अनुशंसित मॉडल
ऐसा मॉडल चुनें जिसमें टूल और विजन क्षमताएं हों:
- टूल क्षमताएं - मॉडल एप्लिकेशन में उपलब्ध सभी टूल्स का उपयोग कर सकता है, जैसे इंटरनेट खोज और छवि निर्माण
- विजन क्षमताएं - मॉडल छवियों का विश्लेषण कर वर्णन कर सकता है
qwen3-vl:4b-instruct स्पीड और टूल/विजन संभावनाओं के बीच अच्छी संतुलन प्रदान करता है। इस मॉडल को टर्मिनल के माध्यम से इंस्टॉल करें:
ollama pull qwen3-vl:4b-instruct
-instruct संस्करण चुनें: यह तुरंत जवाब देता है। सामान्य qwen3-vl:4b हर चरण से पहले देर तक सोचता है और लैपटॉप पर कई गुना धीमा है। छोटे स्थानीय मॉडलों के लिए ऐप एक छोटा निर्देश और केवल आपके प्रश्न से जुड़े टूल इस्तेमाल करता है। अगर वही चरण बार-बार विफल होता है, तो AI रुक जाता है और बताता है कि क्या सफल हुआ और क्या नहीं।
हार्डवेयर के आधार पर मॉडल चुनना
एक मॉडल का प्रदर्शन आपके कंप्यूटर के हार्डवेयर पर काफी निर्भर है:
| हार्डवेयर | अनुशंसित |
|---|---|
| सीमित (8GB RAM, GPU नहीं) | छोटे मॉडल चुनें (1-4B पैरामीटर) |
| मध्यम (16GB RAM, बेस GPU) | 7B पैरामीटर तक के मॉडल |
| शक्तिशाली (32GB+ RAM, आधुनिक GPU) | बड़े मॉडल संभव (13B+) |
छोटा मॉडल आमतौर पर गति के लिहाज़ से बेहतर प्रदर्शन करता है, लेकिन संभवतः कम सटीक उत्तर दे सकता है। आपकी स्थिति के लिए सबसे अच्छा संतुलन खोजने के लिए प्रयोग करें।
डेस्कटॉप एप्लिकेशन में कॉन्फ़िगरेशन
जैसे ही Ollama रन करता है और किसी मॉडल को इंस्टॉल किया गया हो, डेस्कटॉप एप्लिकेशन यह स्वतः पहचान लेती है। फिर आप चैट में स्थानीय मॉडल को क्लाउड मॉडलों के विकल्प के रूप में चुन सकते हैं।
आरंभिक स्क्रीन पर इनपुट फ़ील्ड के नीचे दिए चयनकर्ता से आप पहला संदेश भेजने से पहले स्थानीय मॉडल चुन सकते हैं। चुना गया मॉडल पहले संदेश से उपयोग होता है और बाद में बदला जा सकता है।
टूल/विजन सपोर्ट के साथ उपलब्ध मॉडलों
पूर्ण सूची देखें ollama.com/library. मॉडलों को फ़िल्टर करें:
- टूल क्षमताओं के लिए
Toolsटैग - छवि पहचान के लिए
Visionटैग
लोकप्रिय विकल्प:
qwen3-vl:4b-instruct- कॉम्पैक्ट, तेज़, टूल + विज़नllama3.2-vision- विज़न क्षमताएंmistral- तेज सामान्य कार्य
दस्तावेज़ों और स्कैन को स्थानीय रूप से पढ़ना
स्थानीय मॉडल के साथ डेस्कटॉप ऐप दस्तावेज़ों को आपके अपने कंप्यूटर पर पढ़ता है। कुछ भी अपलोड नहीं होता।
- कार्य फ़ोल्डर: स्वीकृत फ़ोल्डर में AI Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) और RTF पढ़ता है। पुरानी .doc और .ppt फ़ाइलें केवल तभी पढ़ी जाती हैं जब LibreOffice इंस्टॉल हो।
- स्कैन और फ़ोटो: स्कैन किए गए PDF पृष्ठ, चित्र (PNG, JPG, WebP, TIFF) और Word तथा PowerPoint फ़ाइलों के भीतर के चित्र टेक्स्ट पहचान (OCR) से पढ़े जाते हैं। OCR ऐप के साथ आता है और डच, अंग्रेज़ी, जर्मन और फ़्रेंच पहचानता है। चैट में दिखता है कि कौन-सा पृष्ठ पढ़ा जा रहा है; लंबे स्कैन में कुछ मिनट लग सकते हैं। प्रति दस्तावेज़ अधिकतम 100 पृष्ठ OCR से पढ़े जाते हैं।
- अनिश्चित पहचान: जब टेक्स्ट पहचान अनिश्चित हो, तो AI यह बताता है। तब नाम, संख्याएँ और राशियाँ मूल दस्तावेज़ में जाँचें। हस्तलेख, तालिकाएँ और आरेख हमेशा सही नहीं पहचाने जाते।
- विज़न मॉडल: यदि चुने गए मॉडल में विज़न है (जैसे
qwen3-vl:4b-instruct), तो मॉडल स्वयं उन चित्रों को देखता है जिनमें टेक्स्ट पहचान कम या अनिश्चित पढ़ती है। GPU के बिना इसमें अधिक समय लगता है। - iPhone फ़ोटो (HEIC): पहले उन्हें JPEG या PNG के रूप में सहेजें।
क्लाउड मॉडल के साथ भी ऐप कार्य फ़ोल्डर के दस्तावेज़ आपके कंप्यूटर पर पढ़ता है, लेकिन पढ़ा गया टेक्स्ट तब बातचीत के हिस्से के रूप में उस मॉडल को भेजा जाता है।
इंटरनेट के बिना काम करना, चैट में अटैचमेंट सहित: देखें ऑफ़लाइन मोड।