Цікаво. Треба знову спробувати. Бо я скачував Лама3 і також ще графічну одну нейронку скачував, то в двох випадках на моєму швидкому міні ПК Ryzen 7735hs з інтегрованою в процессор AMD відеокартою але без рідної оперативки для відео а із загальної оперативки, проте вся збірка міні ПК на самій сучасній архітектурі останніх років випуску, що дихають на частоті близько до 4Ггц і сам проц 4.7Ггц - це все дуже і дуже тупило. І схоже, що проблема була саме у відеокарті, а точніше її повній відсутності. 16Гб оперативної, з якої 8 виділив в Біос для відео - зовсім ніяк не повпливало краще на ситуацію. Єдине, що запрацювало без проблем це Ultimate Vocal Remover - це така нейронка, яка дуже круто вирізає голос з пісні, або окремо можна зберегти голос. Поражаюсь як воно це робить. Якась наче фантастика.
10:10 тут є великий недолік - за швидкість Phi3 платимо тим, що вона а)майже не хоче або погано розмовляє укр. мовою та б)у загальних знаннях та відповідях значно поступається усім іншим, що більші від неї. Так, вона краща за Phi2 але та має ті ж самі проблеми. У цьому плані швидка гуглова модель Lama3 і досить приємна в усіх аспектах, вона трохи краща за Phi3 у багатьох сценаріях. 13:59 а ось тут ключовий момент, crucial part, як сказав 1 викладач мені чверть століття тому. Бо швидко відповідають малі моделі і тільки англійською. А ми ж вже балувані як надрозвиненими Gemini / Chat GPT 4o після останніх їх оновлень, так і українською, яку вони доволі добре підтримують (на відміну від 95% моделей що ми ставимо собі локально). А ставити більші моделі немає сенсу, бо ми дуже обмежені як по ЦП так і по ГП. Тож чекати відповідь від 8-16 Гб моделі на середньому процесорі ні в кого терплячки не вистачить, а дешеві старі карти АМД (rx580-6600) не підтримуються майже ніде у оболонках під ШІ, - моя rx-580 (апаратно) працює тільки в "kobold rocm" і дуже швидко порівняно із ЦП - до 68 токенів/сек на генерацію відповіді і 4-6 токеів на вивід відповіді. У той час як ЦП (Хеон v3 2670) це робить навіть на 2-4 Гб моделі близько 5-6 токенів на обидва види роботи (і що дуже неприємно вразило - Core i7 13700Н в друга працює не швидше). То ж, всі, хто хоче погратися у ШІ локально - мають купляти в/карти. Не АМД, а НВ і не нижче за rtx 2060 super (краще одразу 3060 з 12 Гб). Отака сумна правда про локальні ШІ та SD моделі. Проте із такою технікою це приємно та швидко - 27 токенів / сек майже на усіх середніх 4-бітних 4-8 Гб мовних моделях.
Дякую, але не розкрита головна тема: а нащо ставити локально, коли є готове он-лайн. Окрім гіковської цікавості які є приклади використання, що саме в неї треба залити і як само потім використовцвавти? Типу корпоративну доку якусь велику зкормити, щоб новачкам білш чітко відповідь давала?
Корпоративна дока це може бути один з прикладів. А насправді можна натренувати на будь яких власних даних чи даних які генерує ваш бізнес. Тут як би суть, що це відкриті моделі і у вас є повний контроль над процесом.
Дуже хочу побачити відео про створення АІ для визначення об‘єктів відео, фото. Хочу зайнятись агро розпізнаванням і прибиранням сміття, можливо вже є відео і фото бази?
Цікава тема - треба подосліджувати. Думаю що модель Yolo мала б з тим справитись якщо її натрейнити. Треба пошукати можливо є готові датасети. Наразі натрапив на цю статтю - medium.com/ramudroid/computer-vision-for-garbage-detection-136029142b3c
Це про те, що технології доступні всім. І навіть маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду. The one million one-person business це нова реальність:)
Відео про "можна поставити" і крапка. Навіщо?, як ту модель навчити на особистих даних, чи можна вчити на даних українською мовою чи тільки англійська?
Можна натренувати і навчити і спілкуватись українською мовою (звісно англійською буде краще) Тому маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду
Це про те, що технології доступні всім. І навіть маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду. The one million one-person business це нова реальність:)
для пересічних користувачів не зрозуміла різниця між власним і не власним ШІ. шо то таке "навчання на власних данних"? як це робити і нащо? хто про це розповідав?) короче випуск вже не для простих юзерів)
ну яка мета буде першої, не прікалуйся, фейсбук це дно яке ніяк не розвивається, а живе тільки на тому, що була першою соц сіткою. Їхній метавсесвіт провалився, окулус теж до одного місця. Мета взагалі не вигрібають, що робити в цьому світі
✌ СТАВАЙ СПОНСОРОМ - ua-cam.com/channels/y3bfnqKyMGc6S5o4y4nPmg.htmljoin
🫶 ПІДТРИМАЙ КАНАЛ - www.buymeacoffee.com/imatrof
🫡 МЕНТОР ЗА ДОНАТ ЗСУ - www.prjctrmentor.com/mentor/igor-matrofailo
📸 Інстаграм (тут про життя) - instagram.com/imatrof/
Дуже дякую, прям те чого не вистачало :)
І вже ж цікаво скільки слів допоможуть ютубу просунути цей канал :)
Ну це супер круто. Як продовження хочеться побачити як до тренувати чи додати власні інструкції.
Круто! Дякую за відео) ну тоді чекаємо відео, як тренувати подібні моделі?)
Дякую за цікавий огляд!
Крутяк, треба буде спробувати. Єдиний канал, де все дізнаюсь по Ai і завжди цікаво, лайк.
Бомба!
Спробував - працює.
Дякую за відео. Пізнавально і цікаво.
Дякую!
Крутий випуск чекаєм продовження.
Спасибі за огляд. На часі.
Дякую за відео! Як завжди, корисно і цікаво!
Дякую за контент!
Дякую
Скажіть, будь ласка, що за тулзи ви юзаєте для читання та маркування тексту? :) Дуже ефектно і корисно виглядає!
Це плагін для Хрому - Web Highlights - PDF & Web Highlighter
11:05 версія для "силіконових чіпів"?))) хотів би я такі побачити) Оце був би прорив для нейролінка)
І я б теж 🫣
Дякую!
користуюсь GPT4All під windows. Простіша установка.
Дякую, за якісний а головне актуальний, для мене особисто, контент 🤘
Цікаво. Треба знову спробувати. Бо я скачував Лама3 і також ще графічну одну нейронку скачував, то в двох випадках на моєму швидкому міні ПК Ryzen 7735hs з інтегрованою в процессор AMD відеокартою але без рідної оперативки для відео а із загальної оперативки, проте вся збірка міні ПК на самій сучасній архітектурі останніх років випуску, що дихають на частоті близько до 4Ггц і сам проц 4.7Ггц - це все дуже і дуже тупило. І схоже, що проблема була саме у відеокарті, а точніше її повній відсутності. 16Гб оперативної, з якої 8 виділив в Біос для відео - зовсім ніяк не повпливало краще на ситуацію. Єдине, що запрацювало без проблем це Ultimate Vocal Remover - це така нейронка, яка дуже круто вирізає голос з пісні, або окремо можна зберегти голос. Поражаюсь як воно це робить. Якась наче фантастика.
Топчик
Зберігала собі, раптом схочу спробувати
Про аппаратне прискорення цікаво. Чи є, чи ні.
10:10 тут є великий недолік - за швидкість Phi3 платимо тим, що вона а)майже не хоче або погано розмовляє укр. мовою та б)у загальних знаннях та відповідях значно поступається усім іншим, що більші від неї. Так, вона краща за Phi2 але та має ті ж самі проблеми. У цьому плані швидка гуглова модель Lama3 і досить приємна в усіх аспектах, вона трохи краща за Phi3 у багатьох сценаріях.
13:59 а ось тут ключовий момент, crucial part, як сказав 1 викладач мені чверть століття тому. Бо швидко відповідають малі моделі і тільки англійською. А ми ж вже балувані як надрозвиненими Gemini / Chat GPT 4o після останніх їх оновлень, так і українською, яку вони доволі добре підтримують (на відміну від 95% моделей що ми ставимо собі локально). А ставити більші моделі немає сенсу, бо ми дуже обмежені як по ЦП так і по ГП. Тож чекати відповідь від 8-16 Гб моделі на середньому процесорі ні в кого терплячки не вистачить, а дешеві старі карти АМД (rx580-6600) не підтримуються майже ніде у оболонках під ШІ, - моя rx-580 (апаратно) працює тільки в "kobold rocm" і дуже швидко порівняно із ЦП - до 68 токенів/сек на генерацію відповіді і 4-6 токеів на вивід відповіді. У той час як ЦП (Хеон v3 2670) це робить навіть на 2-4 Гб моделі близько 5-6 токенів на обидва види роботи (і що дуже неприємно вразило - Core i7 13700Н в друга працює не швидше).
То ж, всі, хто хоче погратися у ШІ локально - мають купляти в/карти. Не АМД, а НВ і не нижче за rtx 2060 super (краще одразу 3060 з 12 Гб). Отака сумна правда про локальні ШІ та SD моделі. Проте із такою технікою це приємно та швидко - 27 токенів / сек майже на усіх середніх 4-бітних 4-8 Гб мовних моделях.
Дякую за розгорнутий коментар!
Дякую, але не розкрита головна тема: а нащо ставити локально, коли є готове он-лайн. Окрім гіковської цікавості які є приклади використання, що саме в неї треба залити і як само потім використовцвавти?
Типу корпоративну доку якусь велику зкормити, щоб новачкам білш чітко відповідь давала?
Корпоративна дока це може бути один з прикладів. А насправді можна натренувати на будь яких власних даних чи даних які генерує ваш бізнес. Тут як би суть, що це відкриті моделі і у вас є повний контроль над процесом.
Хороше запитання. Мене теж цікавлять юзкейси.
Чекаємо на тестування локальних моделей (llama 3, mixtral) проти комерційних (chatgpt4, gemini)
А як тренувати?
Вже натреновану став. Або fine tunning за допомогою huggingface трансформер
"Постав собі LLM." - Не, в мене пентіум 1
Все що користуємо ми, користує нас.
Д-Дані
Дуже хочу побачити відео про створення АІ для визначення об‘єктів відео, фото. Хочу зайнятись агро розпізнаванням і прибиранням сміття, можливо вже є відео і фото бази?
Цікава тема - треба подосліджувати. Думаю що модель Yolo мала б з тим справитись якщо її натрейнити. Треба пошукати можливо є готові датасети. Наразі натрапив на цю статтю - medium.com/ramudroid/computer-vision-for-garbage-detection-136029142b3c
як OpenAI припинив надавати безкоштовні квоти, перейшов на Hugging Face Hub та Groq.
Не робіть більше, будь ласка, такі заставки (я про текст).
А за відео дякую
Головне, щоб не впало😮
Як в тебе рядок перетворився на стрічку?
Так а навіщо ставити собі локальну ЛЛМ? Яка перевага?
Це про те, що технології доступні всім. І навіть маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду. The one million one-person business це нова реальність:)
Відео про "можна поставити" і крапка. Навіщо?, як ту модель навчити на особистих даних, чи можна вчити на даних українською мовою чи тільки англійська?
Можна натренувати і навчити і спілкуватись українською мовою (звісно англійською буде краще) Тому маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду
Що з ними робити? Для чого автор їх використовує??
Це про те, що технології доступні всім. І навіть маленький бізнес або ж розробники продукту просто і зразу можуть почати використовувати мовну модель для створення нового користувацького досвіду. The one million one-person business це нова реальність:)
👍🇺🇦🇺🇦🇺🇦🇺🇦
для пересічних користувачів не зрозуміла різниця між власним і не власним ШІ. шо то таке "навчання на власних данних"? як це робити і нащо? хто про це розповідав?) короче випуск вже не для простих юзерів)
Випуск дійсно був більш інженерний. Також буду висвітлювати ширші та загальні теми
Чуму послетали підписки? у мене куплений ютьюб, а вже з тиждень став замечати, що на тих на кого був підписаний - злетіла підписка. странно
ну яка мета буде першої, не прікалуйся, фейсбук це дно яке ніяк не розвивається, а живе тільки на тому, що була першою соц сіткою. Їхній метавсесвіт провалився, окулус теж до одного місця. Мета взагалі не вигрібають, що робити в цьому світі
Дякую!