Quantization ve OffLoading Nedir? Büyük Dil Modelini (Mixtral-8x7B) Google Colab Ücretsiz Çalıştır
Вставка
- Опубліковано 21 вер 2024
- WEB sitesi: www.muratkarak...
Github pages: kmkarakaya.git...
Github Repo: github.com/kmk...
Demo Colab Notebook: colab.research...
Sunum PPT dosyası: github.com/kmk...
Erişim Destekli Metin Üretimi : • Erişim Destekli Metin ...
ChatGPT hakkında Herşey içerikleri: • ChatGPT hakkında herşey
Herkes için Yapay Zeka içerikleri: • Herkes İçin Yapay Zeka
Nasıl Sunsam eğitimi: • Nasıl Sunsam: Sıfırdan...
--------------------------------- ILGILI DİĞER İÇERİKLER ------------------------------------------------
Transformerlar Hakkında Herşey: • Transformer Hakkında H...
Yapay Zekaya Nerden Başlasam: • Nerden Başlasam?
Python ile Uygulamalı Yapay Zeka: • Python ile Uygulamalı ...
Keras Eğitimleri: • Keras Eğitimleri
Öğrenci Proje Konuları: • Yapay Zeka ile Öğrenci...
Tüm Türkçe eğitimler: www.youtube.co...
---------------------------------------- EĞİTİM İÇERİĞİ------------------------------------------------------------
🚀 Video Açıklaması: Murat Karakaya Akademi'ye hoş geldiniz! Bu videoda dil modeli optimizasyonunun inceliklerini Quantization ve Off-loading odaklı olarak keşfedeceğiz. 🧠💻
🌐 Ana Noktalar:
- Optimizasyon İhtiyacı: LLM'ler çok büyük! Büyük dil modellerinin (LLM'ler) ortaya koyduğu zorlukları ve optimizasyon stratejilerinin gerekliliğini keşfedin.
- Quantization: Değerleri stratejik olarak azaltarak daha az alan içine sıkıştırma sanatını keşfedin.
- Off-loading: GPU ve CPU arasında hesaplama yükünü paylaşma tekniğini öğrenin ve verimli model yürütme stratejilerini anlayın.
- Demo: Güçlü Mixtral-8x7B modelini Google Colab'ın ücretsiz sürümünde çalıştırma adımlarını takip edin.
🔍 LLM İç Mekanizmalarını Anlama:
- Semantik ilişkileri yakalayan Gömme Katmanı'ndan uzun menzilli bağımlılıkları ele alan Transformer Blokları'na kadar mimariyi keşfedin.
📉 Quantization Adımları:
- Performansı riske atmadan model boyutunu ve hesaplama karmaşıklığını azaltmanın detaylı sürecine dalın.
🔄 Off-loading Teknikleri:
- Model parçalama ve hesaplama görevlerini yönetmek için off-loading kütüphanelerini içeren off-loading yaklaşımını anlayın.
📊 Quantization'ın Faydaları:
- Hassasiyeti azaltarak model boyutunu ve hesaplama maliyetini düşürmenin avantajlarını keşfedin.
💡 Soru-Cevap Oturumu:
- Optimizasyon teknikleri üzerine sorularınızı yanıtlamak için dinamik bir soru-cevap oturumunda kalın.
🔗 Quantized Versiyonlara Erişim:
- Çoğu LLM'nin quantized versiyonlarına HF Bloke'nin hesabından erişebilirsiniz.
🌐 Sohbete Katılın:
- Dil modeli optimizasyon dünyasına birlikte derinlemesine dalmaya ne dersiniz? Düşüncelerinizi, sorularınızı ve deneyimlerinizi aşağıdaki yorumlarda paylaşın. Beğenmeyi, abone olmayı ve bildirim zilini açmayı unutmayın!
📌 Daha Fazlasını Keşfedin:
- Video bağlantısı ua-cam.com/users/li...
- #muratkarakayaakademi #Quantization #Offloading #DilModelleri #MLOptimizasyon #MuratKarakayaAkademi #Mixtral #Quantization #MoE #GoogleColab #YapayZeka #Teknoloji #DerinÖğrenme #mistral #demo
batuhan mutlu
bu sıkıştırmanın bir negatif etkisi var mı?
GEVHERI
iyi aksamlar hocam kolay gelsin
batuhan mutlu
hocam fine-tuning ile ilgili bir ders yapmayı düşünüyormusunuz?
Murat UÇAN
güzel bir ders oldu hocam yine. çok teşekkür ederiz
Mehmet GENÇ
iyi akşamlar hocam
Murat Akpulat
performans artırmak için veri tarafında düzenlemeler yapılıyor mu hocam ?
batuhan mutlu
son olarak bu sunumu paylaşacakmısınız hocam
Murat Akpulat
ders için çok teşekkür ederim :)
batuhan mutlu
çok teşekkürler hocam her zamanki gibi harika bir ders oldu takipteyiz))
Gurur duyuyoruz! Aradığımız ve zar zor bulduğumuz ingilizce kaynakları sizden görmek bizi onurlandırıyor
Motive edici yorumunuz için teşekkür ederim Lütfen öğrenmeye ve yorum yazmaya devam ediniz🙏👍👋
Hocam bizlere Türkçe kaynak sağladığınız için çok teşekkürler. Kanalınızı yeni keşfettim. Videoların devamını bekliyoruz.
Yorumunuz için teşekkür ederim. Devamı gelecek inşallah. öğrenmeye ve yorum yazmaya devam lütfen 👋
Icerikleriniz hayat kurtarici. Emeginiz icin tesekkurler.
Yorumunuz için teşekkür ederim. Öğrenmeye, yorum yazmaya ve paylaşmaya devam lütfen 🙏👍👋
örgün öğrenciniz olmasam da sizden çok değerli bilgiler öğrendim ve öğrenmeye devam ediyorum değerli hocam, ayrıca transformer konusunu sizden dinlemeyi çok isterim umarım fırsatınız olur ve bu konuyu bizlere anlatırsınız.
İsteğinizi not ettim Batuhan bey👍 Elimdeki planlı olan eğitimler bitince transformer mimarisine başlarım. öğrenmeye ve yorum yazmaya devam lütfen 🙏👋
Çok kıymetli bir video, teşekkürler
Yorumunuz için teşekkür ederim. öğrenmeye ve yorum yazmaya devam lütfen 👋
Transformer konusunu sizden dinlemeyi çok isterim hocam. Dersleriniz için çok teşekkür ederim
Teşekkür ederim. İsteğinizi not ettim. Elimdeki planlı eğitimler bitince inşallah transformer konusunda hazırlık yaparım. Öğrenmeye ve yorum yazmaya devam lütfen 👍👋
Transformer konusunu öğrenmeyi çok isterim hocam. Bu ders için de ayrıca teşekkürler.
İsteğinizi not ettim👍öğrenmeye ve yorum yazmaya devam lütfen 🙏👋
@@MuratKarakayaAkademi çok teşekkür ederim hocam. İyi ki varsınız.
İyi ki sizler varsınız!
transformer konusunu anlatırsanız çok seviniriz :)
Yorumunuz için teşekkürler. Aslında uzun süredir aklımda ama bir türlü yapamadım. Öğrenmeye, yorum yazmaya ve paylaşmaya devam lütfen 🙏👍👋
tamamını izledim hocam. ensemble yaklaşımların transformerlara uygulanabildiğini bilmiyodum. Bugünde bişeyler öğrendik.
Faydalı olduğuna sevindim 👍 öğrenmeye ve yorum yazmaya devam lütfen 🙏👋
Emeğinize sağlık, çok teşekkürler hocam. Transformer mimarisi içinde bir video hazırlayabilirseniz çok mutlu olurum bende.
Teşekkür ederim. İsteğinizi not ettim. Elindeki planlı eğitimler bitince transformer ları tartışırız. 👍 öğrenmeye ve yorum yazmaya devam lütfen 🙏👋
tesekkurler
Yorumunuz için teşekkürler. Öğrenmeye, yorum yazmaya ve paylaşmaya devam lütfen 🙏👍👋
Transformers iç yapısını da anlatabilir misiniz
Cevabınız için teşekkür ederim. Not ettim. 👍👋
Hocam çok güzel bir yayın olmuş. Kafamdaki pek çok soruya cevap aldım. Llm modellerinin elasticsearch gibi veritabanlarini kullanması söz konusu olabilir mi?
Teşekkürler. Harika! Veritabanları yerine veri setlerini eğitimde kullanıyoruz. Daha sonra model zaten stocastic olarak cevaplar üretiyor. Yorum yapmaya, içeriği paylaşmaya ve beğenmeye devam etmenizi bekliyoruz 👋
@@MuratKarakayaAkademi Hollanda da Amazon sunucularını yöneten takım lideri arkadaşım böyle birseyden bahsetmişti. Hocam yazar derlemi hazırlıyorum, bazı yerel ağızdan kıymetli kelimeler düşük frekansa sahip, ocr tarafından da zorlukla okunabiliyor. Bunun yanısıra çok sayıda ocr hatası, yazım hatası olan çöp kelimeler de mevcut. Bunları ayırt edecek bir yöntem geliştirmeye çalışıyorum. Bu kapsamda Llm modelleri ilgimi çekiyor, lematizasyon, söz türü isaretlemesi, etiketleme gibi önemli faydaları olabilir. T3 vakfına gönüllü olarak başvurdum.
Evet, LLm modelleri kesinlikle değerli araçlar olabilir. Lematizasyon, söz türü işaretlemesi ve etiketleme gibi özellikler, yazının doğruluğunu ve anlaşılırlığını artırabilir. Bu yöntemleri kullanarak, yerel ağızdan kıymetli kelimeleri belirleyebilir ve OCR hatalarını azaltabilirsiniz. Çöp kelimeleri ayırt etmek içinse belki bir filtreleme veya sınıflandırma yöntemi de kullanılabilir. Başarılar dilerim!
Sonuna kadar izledim hocam :) Emeğinize sağlık, yapay zeka ve özellikle LLM alanında kendimi geliştirmemde katkılarınız çok büyük
Yorum için teşekkürler :) Umarım faydalı olmuştur. öğrenmeye ve yorum yazmaya devam edin lütfen🙏👍👋
Hocam merhaba, bu sektörde uzun yıllardır bulunuyorsunuz ve sormak istediğim bir konu var. Sizce diploma olmadan özellikle NLP ve LLM diğer ünvan ile Data Scientist alanında bilgisayar mühendisliği diploması olmadan alaylı olarak bu sektörde iş bulmak, irellemek mümkün müdür ?
Merhaba Canlı Yayın da konuştuğumuz üzere, evet bence bu alanda bir kaç yıllık bir çalışma ve birikimle meslek sahibi olunur. Hem ihtiyaç var hem de sürekli gelişiyor. Yorumunuz için teşekkür ederim. öğrenmeye ve yorum yazmaya devam lütfen 👋
Tekrar Teşekkürler hocam, 1 hafta önce sorduğum için hala duruyor yorum. Yayında zaten cevapladınız teşekkür ederim tekrardan @@MuratKarakayaAkademi
Yorum yapmaya, içeriği paylaşmaya ve beğenmeye devam etmenizi bekliyoruz 👋
Destek !
Teşekkürler! Lütfen öğrenmeye ve yorum yazmaya devam ediniz🙏👍👋