Rehber · 6 dk okuma
Mac'inizde yerel yapay zekâ çalıştırma
Mac'inizde ciddi bir dil modeli çalıştırmak için gereken her şey zaten var — bulut yok, API anahtarı yok, aylık fatura yok. Bu rehber, bunu yapmanın en kolay üç yolunu, gerçekte ne kadar RAM'e ihtiyacınız olduğunu ve modeli Telegram'da nasıl işe koşacağınızı anlatıyor.
Neden yerel model çalıştırmalı?
İnsanların gerçekte ne sıklıkla önemsediğine göre üç neden:
- Gizlilik. İstekleriniz ve sohbet geçmişiniz makineden asla çıkmaz.
- Ücretsiz. Token başına ücret yok, abonelik yok — sadece elektrik.
- Çevrimdışı çalışır. İnternet yok, sorun yok. Uçak modu dahil.
Ödünleşim donanımda: büyük modeller daha fazla RAM ister ve üst düzey bir bulut API'sinden daha yavaş çalışır. Günlük asistan işlerinin çoğu için — hatırlatıcılar, özetler, taslaklar, soru yanıtlama — iyi seçilmiş bir yerel model gerçekten yeterlidir.
Model çalıştırmanın üç yolu
mlx-serve — Apple Silicon'da en hızlısı
Apple'ın MLX çerçevesi özellikle Apple Silicon'ın birleşik belleği için üretildi ve mlx-serve, ondan OpenAI uyumlu bir sunucu elde etmenin en kolay yolu. Telebot AI'nın varsayılan beynidir — başlatın, botu http://localhost:11234 adresine yönlendirin, o kadar.
pip install mlx-serve mlx-serve
Ollama — tek komut, dev model kütüphanesi
Ollama en popüler yerel çalıştırıcı olmayı hak ediyor: bir kez kurun, sonra büyük bir kütüphaneden herhangi bir modeli tek komutla çekin. Ayrıca OpenAI uyumlu API'yi kutudan çıktığı gibi konuşur.
brew install ollama ollama pull llama3.1 ollama serve
LM Studio — tıkla ve seç
GUI tercih ediyorsanız LM Studio her şeyi temiz bir uygulamaya sarar: model gezme, indirme, sohbet ve yerel bir API sunucusu çalıştırma — terminale hiç dokunmadan.
Ne kadar RAM'e ihtiyacınız var?
Model boyutu dürüst cevaptır — 7 milyar parametreli bir model, tipik nicelemede kabaca 5–7 GB bellek ister, üstüne sistem için yer kalır. M-serisi Mac'ler için kaba rehber:
| RAM | Rahat çalışan model boyutu | İyi seçenekler |
|---|---|---|
| 8 GB | 1–3B parametre | Qwen 2.5 1.5B, Llama 3.2 3B |
| 16 GB | 7–8B parametre | Llama 3.1 8B, Qwen 2.5 7B, Gemma 2 9B |
| 32 GB | 13–14B parametre | Qwen 2.5 14B, Llama 3.3 70B (quantized) |
| 64 GB+ | 30B+ parametre | Qwen 2.5 32B, Mixtral 8x7B, Llama 3.3 70B |
Pratik kural: RAM'inizin yarısına sığan en büyük modeli seçin — kalanı işletim sistemi, tarayıcınız ve botun kendisi için kalır.
Telegram'a bağlama
Yerel bir sunucu çalıştığında, OpenAI uyumlu herhangi bir istemci onu kullanabilir. Telebot AI, Telegram botlarınızı tam da o sunucuya — ya da herhangi bir bulut API'sine — otomatik yedekler, bellek ve hatırlatıcılar, hava durumu ve hisseler gibi 30+ araçla bağlayan bir macOS menü çubuğu uygulamasıdır.
Başlamak yaklaşık iki dakika sürer: uygulamayı indirin, @BotFather tokeninizi yapıştırın ve localhost adresine yönlendirin. Her şey — geçmiş, bellekler, beceriler — Mac'inizdeki ~/.mlx-serve içinde kalır.