TexnologiyaTexnologiya Xəbərləri
AMD Ryzen AI CPU-ları və Radeon 7000 GPU-ları üçün NVIDIA’nın RTX chat özəlliyi kimi söhbət botu təqdim etdi.
NVIDIA’nın RTX chat təqdimatından sonra, AMD də öz variantını təqdim edib. NVIDIA’nın RTX chat’ının artıq bir rəqibi var çünki AMD, Ryzen AI CPU-ları və Radeon 7000 GPU-ları üzərində işləyə bilən öz LLM-gücündə olan lokalizə edilmiş chat botunu təqdim edib.
Keçən ay, NVIDIA “Chat with RTX” AI Chatbotunu təqdim etdi ki, bu bot RTX 40 və RTX 30 GPU-larında mövcuddur və TensorRT-LLM ilə işləyir. İndi AMD öz LLM-ə əsaslanan GPT Chat botunu təklif edir. Bu chat bot Ryzen 7000 və Ryzen 8000 APU-ları ilə birlikdə XDNA NPU-ları da daxil və son Radeon 7000 GPU-larını da əhatə edir. Bilməyənlər üçün RX 7000 seriyasında da Aİ nüvələri var.
AMD öz avadanlığınızdan istifadə edərək GPT əsaslı LLM-lər tərəfindən dəstəklənən öz lokallaşdırılmış chatbotunuzu idarə etmək üçün quraşdırma təlimatı da paylaşıb.
1. LM Studio-nun düzgün versiyasını yükləyin: Ryzen prosessorları üçün LM Studio – Windows RX 7000 videokartları üçün LM Studio – ROCm technical preview
2. Yüklədiyiniz faylı başladın.
3. Axtarış bölümündə işlətmək istədiyinizdən asılı olaraq aşağıdakı axtarış terminini kopyalayın və yapışdırın:
– Mistral 7b-ni işə salmaq istəyirsinizsə, axtarın: “TheBloke/OpenHermes-2.5-Mistral-7B-GGUF” və onu soldakı nəticələrdən seçin. Adətən ilk nəticə olacaq. Bu nümunədə Mistral ilə gedirik.
– LLAMA v2 7b-ni işə salmaq istəyirsinizsə, axtarın: “TheBloke/Llama-2-7B-Chat-GGUF” və onu soldakı nəticələrdən seçin. Adətən ilk nəticə olacaq.
– Başqa modellər də seçmək olar.
4. Sağ paneldə Q4 K M model faylını tapın və yükləyin.
– Ryzen AI-də əksər modellər üçün Q4 K M tövsiyə edilir. Yükləmənin tamamlanmasını gözləyin.
6. Əgər AMD Ryzen AI CPU’nuz varsa, söhbətə başlaya bilərsiniz.
– Əgər AMD Radeon qrafik kartınız varsa, zəhmət olmasa:
– Sağ tərəfdəki paneldə “GPU Boşaltma” nı yoxlayın.
– Slayderi “Maks”a qədər hərəkət etdirin.
– AMD ROCm-in seçili GPU növü kimi göstərildiyinə əmin olun.
7. Artıq çat hazırdır.