Büyük ses modellerinin her zaman Openai (Chatgpt), Antropik (Claude) veya son zamanlarda – Deepseek (R1) gibi büyük bir şirketin sunucusunda kullanılması gerekmez. Performans -Hungry Server modellerinden SO -Called Damıtma'dan kaynaklanan çırpılmış varyantlar da yerel olarak çalışır. Bu, ücretsiz APP LM Studio ile Mac'lerde özellikle kolaydır. Apple-Silikon makineleri için uygundur.
Reklamcılık
Terminale gezisi olmayan bir yükleyici
Ollama gibi daha profesyonel yaklaşımların aksine, LM Studio'daki komut satırına gitmek zorunda değilsiniz. Ancak, isteğe bağlı bir yerel sunucuyu çalıştırmak mümkündür, ancak gerekmez. Uygulama, LLM kullanımını modellerin, kurulumun ve kullanımın keşfedilmesini birleştiren kendi yüzeyine entegre eder. Lama, Deepseek, Qwen ve Mistral dahil olmak üzere bilinen tüm kaynak modelleri mevcuttur. Apple'ın MLX biçimi için modellerin birleşik bellek belleğinin daha iyi kullanımını kullanan optimize olup olmadığını seçebilirsiniz.
Modellerin yeterince çalışması için yeterli güce ve RAM'e ve depolama alanına sahip bir bilgisayara ihtiyacınız vardır. İndirmeniz gereken model boyutları 4 GB'dan başlangıç, ancak 40 GB ve daha fazlası olabilir. Kısa bir testin gösterdiği gibi çıktı oldukça farklı kalitede. Daha küçük modeller, çıktı farklı bir şekilde daha büyük olanlar yerine halüsinasyona eğilimliydi. Deepseek ayrıca, açık kaynak varyantında Çin Hükümeti anlamında bir sansüre sahiptir, örneğin, 1989'daki göksel barış yerine katliam hakkında konuşmayabilir, ancak bununla ilgilenen gözden geçirilmiş modeller vardır.
Fan başlıyor
Büyük bir Deepseek modeliyle bir denemede, en iyi çıktı ara sıra çıktı. Niceleme dahil Lama 70B ile R1'e dayanan bir damıtma varyantıydı. Ayrıca akıl yürütme sürecini gösterir (“düşünme” yi tıklamanız gerekir), yani model “düşüncelerini” alır. Bekleme süresi 20 ila 40 saniyeydi, M3 makinemizin fanı daha sık atladı. Bu, daha küçük modeller için geçerli değildir – sadece 40 GB.
Modelleri denerken, yeterli SSD yerine dikkat etmelisiniz. Model boyutları ile bu hızlı bir şekilde taşabilir. Modeller “Modeller” dizin altındaki “ile sonuçlanır. Uygulama, yeterince hızlı x86 pencere bilgisayarları, kol pencereleri makineleri ve linux için de mevcuttur.
(BSC)
Reklamcılık
Terminale gezisi olmayan bir yükleyici
Ollama gibi daha profesyonel yaklaşımların aksine, LM Studio'daki komut satırına gitmek zorunda değilsiniz. Ancak, isteğe bağlı bir yerel sunucuyu çalıştırmak mümkündür, ancak gerekmez. Uygulama, LLM kullanımını modellerin, kurulumun ve kullanımın keşfedilmesini birleştiren kendi yüzeyine entegre eder. Lama, Deepseek, Qwen ve Mistral dahil olmak üzere bilinen tüm kaynak modelleri mevcuttur. Apple'ın MLX biçimi için modellerin birleşik bellek belleğinin daha iyi kullanımını kullanan optimize olup olmadığını seçebilirsiniz.
Modellerin yeterince çalışması için yeterli güce ve RAM'e ve depolama alanına sahip bir bilgisayara ihtiyacınız vardır. İndirmeniz gereken model boyutları 4 GB'dan başlangıç, ancak 40 GB ve daha fazlası olabilir. Kısa bir testin gösterdiği gibi çıktı oldukça farklı kalitede. Daha küçük modeller, çıktı farklı bir şekilde daha büyük olanlar yerine halüsinasyona eğilimliydi. Deepseek ayrıca, açık kaynak varyantında Çin Hükümeti anlamında bir sansüre sahiptir, örneğin, 1989'daki göksel barış yerine katliam hakkında konuşmayabilir, ancak bununla ilgilenen gözden geçirilmiş modeller vardır.
Fan başlıyor
Büyük bir Deepseek modeliyle bir denemede, en iyi çıktı ara sıra çıktı. Niceleme dahil Lama 70B ile R1'e dayanan bir damıtma varyantıydı. Ayrıca akıl yürütme sürecini gösterir (“düşünme” yi tıklamanız gerekir), yani model “düşüncelerini” alır. Bekleme süresi 20 ila 40 saniyeydi, M3 makinemizin fanı daha sık atladı. Bu, daha küçük modeller için geçerli değildir – sadece 40 GB.
Modelleri denerken, yeterli SSD yerine dikkat etmelisiniz. Model boyutları ile bu hızlı bir şekilde taşabilir. Modeller “Modeller” dizin altındaki “ile sonuçlanır. Uygulama, yeterince hızlı x86 pencere bilgisayarları, kol pencereleri makineleri ve linux için de mevcuttur.
(BSC)