Ollama ve LM Studio ile İşletim Sisteminizde Tamamen Çevrimdışı (Yerel) LLM Çalıştırma

Ollama, LM Studio ve Yerel Yapay Zeka Masaüstü Devrimi

Özellik ne işe yarar?

ChatGPT veya Claude gibi bulut tabanlı yapay zeka servislerini kullanmak, hassas kod parçalarının, kişisel belgelerin ve şirket içi verilerin üçüncü taraf sunuculara gönderilmesi anlamına gelir. Ayrıca sürekli internet bağlantısı gerektirir ve API kullanım maliyetleri yaratır. Windows, macOS ve Linux işletim sistemlerinde doğrudan çalışan yerel (local) masaüstü yazılımları olan Ollama ve LM Studio, açık kaynaklı Büyük Dil Modellerini (LLM – Llama 3, Mistral, Gemma, Phi-3) tamamen bilgisayarınızın donanımı (GPU/RAM) üzerinde çalıştırmanızı sağlar. \’Ollama\’, komut satırından çalışan hafif ve güçlü bir arka plan servisi sunarken; \’LM Studio\’ ise ChatGPT benzeri şık bir masaüstü kullanıcı arayüzü (GUI), model indirme yöneticisi ve yerel REST API sunucusu sağlar. Bu masaüstü yazılımları sayesinde, uçak modunda bile tamamen çevrimdışı çalışabilen, verilerinizi asla bilgisayarınızın dışına çıkarmayan, tamamen ücretsiz ve sınırsız bir kişisel yapay zeka asistanına sahip olursunuz.

Nasıl uygulanır?

Grafiksel arayüz (GUI) kolaylığı için \’LM Studio\’ uygulamasını resmî web sitesinden (lmstudio.ai) Windows, macOS (Apple Silicon M1/M2/M3/M4 için optimize edilmiştir) veya Linux sürümünü indirin. Kurulumu tamamlayıp uygulamayı açın. Arama çubuğuna \’Llama-3-8B-Instruct\’ veya Microsoft\’un küçük ama güçlü modeli \’Phi-3\’ yazın. Bilgisayarınızın RAM kapasitesine uygun olan kuantize edilmiş (GGUF formatında Q4_K_M önerilir) modeli \’Download\’ butonuna basarak indirin. İndirme bittiğinde üst taraftaki sohbet sekmesine geçin, indirdiğiniz modeli bellege yükleyin (Load model) ve hemen Türkçe sohbet etmeye veya kod analizi yaptırmaya başlayın. Komut satırı (CLI) sevenler için ise \’ollama.com\’ üzerinden Ollama yüklenip terminale \’ollama run llama3\’ yazılması yeterlidir.

İyi sonuç için ipuçları

Yerel modellerde en yüksek kelime üretim hızına (tokens per second) ulaşmak için ekran kartınızın VRAM kapasitesine uygun modeller seçin. Örneğin 8 GB VRAM\’e sahip bir sistemde 7B veya 8B parametreli modeller tam GPU katmanına (GPU offloading) yüklenerek inanılmaz hızlarda çalışır. Apple Silicon Mac kullanıcıları, birleşik bellek mimarisi (Unified Memory) sayesinde 70B parametreli devasa modelleri bile LM Studio üzerinde çalıştırabilirler.

Dikkat edilmesi gerekenler

Yerel LLM çalıştırma işlemi bilgisayarınızın GPU ve CPU donanımlarını yüzde yüz yük altına sokacağı için dizüstü bilgisayarlarda yüksek pil tüketimi ve ısınmaya neden olur; cihazı prize takılı kullanmaya özen gösterin. Modellerin ürettiği verilerin doğruluğunu kontrol edin (hallucination riskini unutmayın) ve model dosyalarının sabit diskinizde yüksek alan kaplayacağını (model başı 4 GB – 40 GB) göz önünde bulundurun.