Пару дней назад заметил поддержку rtx 4000 линейки в torchserve. Прошло чуть больше года, прежде чем появится поддержка новой архитектуры видеокарт. На данный момент rtx 4090 является лучшей видеокартой для ML среди всех игровых видеокарт.
Здравствуйте! Спасибо за рекомендации по картам. Подскажите пожалуйста какой CPU выбрать для сборки машины для домашнего машинлернинга? Не хотелось бы чтобы вдруг CPU оказался бутылочным горлышком, но и переплачивать в пустую тоже не хочется. Важно-ли сколько у CPU каналов памяти, 2 или 4? Остальное вроде понятно: больше частота - лучше. Уже от GPU и CPU буду выбирать мать, оперативку и пр. Спасибо!
@@kuliev.vitaly это если деньги позволяют. Я только начал интересоваться темой нейронных сетей и не могу себе похвалить регулярных вливаний на ПК. И это не говоря уже про поганых перекупов которые скупили даже говённые видеокарты.
Можете записать серию лекций с чего начать, какие библиотеки есть и для чего предназначены? Или порекомендуйте какую-то серию лекций, пожалуйста. Хочу научиться автоматически различать что на видео, где человек, а где другой объект. Но даже не знаю с чего начать. Увидел, что есть библиотека YOLOv7 но как она работает, поверх каких других библиотек, как заставить её использовать аппаратные возможности (мне кажется она у меня сейчас не использует видеокарту вообще) - дремучий лес.
Виталий, подскажите вы или пользователи из чата. Стоит ли брать rtx3060 с 12gb для использования чисто дома не для "глобальных" коммерческих проектов, но и не просто посмотреть, а для комфортной работы со stable diffusion. На старой gtx1050ti работает, но не быстро. Будет ли существенный прирост или не стоит.
Да. Зависит от железа в ферме. Желательно иметь больше оперативки, быстрее процессор и широкую шину pcie. При сборке для майнинга обычно на этом экономят.
Подскажите, сейчас еще актуально использовать для машинного обучения и запуска локальных языковых моделей tesla p40 на 24gb? Судя по Compute Capability в 6.1 проблем с Pytorch быть не должно
Вот бы ролик по настройке среды тенсрр флов и пайторч для обучения на видеокартах. Но без привязки к конкретной видеокарте. Так сказать универсальный метод) насколько это возможно
Я думал докупить еще одну 3090 ti. Там есть ряд проблем: охлаждение, размеры корпуса, x8 вместо x16 pcie, переписывание кода для нескольких видеокарт. Все проблемы решаемые, но пока использую решил остановиться на одной видеокарте.
@@kuliev.vitaly а какие преимущества дает нвлинк? Планируется сборка пк на 2х 3090, с линиями pcie решаемо подбором матплаты, а вот насчет SLI режима не уверен, так как сейчас большинство видеокарт идет без разъема под бридж. Да и читал не раз что соединение мостом не дает особого прироста производительности
А может быть bottleneck видеокарты и процессора? Хочу обновить видеокарту до 3060 12gb, но не хочу обновлять всю систему т.к. для моих текущих задач она более чем топ. Проц 3570К, мать с PCI 3, 24gb оперативки.
Здравствуйте! Благодарю за дельное видео без воды. Это сейчас очень ценно. Прошу ответить на вопрос по выбору видеокарт. Так как стойка серверная, то стоит вопрос теслу или квадру. Что лучше для обучения при равной стоимости. так же хочу понять, в соотношении цены/эффективности. Что лучше взять одну Теслу на 32gb или 2 по 16gb.
Надо смотреть тесты на конкретные видеокарты. Насчет теслы или квадро не могу сказать. По соотношению цена/эффективность намного лучше десктопные карты, например rtx 3090, rtx 3090 ti, rtx 4090.
Нет. У сборки torch есть список поддерживаемых архитектур. Там должна быть указана 8.9. Если ее там нет, то можно установить нужную версию torch или сбилдить из исходников. Тогда 4090 будет поддерживаться.
Еще такой вопрос, если оператива меньше видеопамяти карты, например в 4090 у меня 24гб, а оператива 16гб. Может ли оперативная память быть узким местом? Если да, то сколько нужно оперативы, 32 или 64?
Интересный проект. Похоже один из первых у которых есть реальное железо. Может быть интересно. Может это и дешево, но минусы у этого решения тоже значительные: нестабильные ноды, нужно много данных закачивать на арендованный сервер, все закачанные данные доступны владельцу ноды.
Пару дней назад заметил поддержку rtx 4000 линейки в torchserve. Прошло чуть больше года, прежде чем появится поддержка новой архитектуры видеокарт. На данный момент rtx 4090 является лучшей видеокартой для ML среди всех игровых видеокарт.
Здравствуйте! Спасибо за рекомендации по картам. Подскажите пожалуйста какой CPU выбрать для сборки машины для домашнего машинлернинга? Не хотелось бы чтобы вдруг CPU оказался бутылочным горлышком, но и переплачивать в пустую тоже не хочется. Важно-ли сколько у CPU каналов памяти, 2 или 4? Остальное вроде понятно: больше частота - лучше. Уже от GPU и CPU буду выбирать мать, оперативку и пр. Спасибо!
2 канала хватит. Бери топовые десктопного уровня.
Cpuuserbenchmark. На этом сайте можно сравнить производительность процессора. Важен однопоток и 64 потока
@@kuliev.vitaly Спасибо за совет!
Спасибо за новое видео, с удовольствием гляну
Большое спасибо за отличное видео! Всё предельно структурировано и по делу!
Спасибо что расказали про основные моменты. Добавьте так же уведомления в телеграмм, а то из-за алгоритмов ютуба не всегда показывает новые ролики
В телеграм завтра планирую выложить, поздно было.
@@kuliev.vitaly сколько ядер процессора нужно для работы видеокарты серии 3000 от самой младшей до самой старшей?
Сильно от задачи зависит. На 3090 ti от 2 до 6 ядер требуется. Лучше проц хотя бы 8 ядерный взять - он сильно дешевле видеокарты.
@@kuliev.vitaly это если деньги позволяют. Я только начал интересоваться темой нейронных сетей и не могу себе похвалить регулярных вливаний на ПК. И это не говоря уже про поганых перекупов которые скупили даже говённые видеокарты.
@@kuliev.vitaly можете отговорить от покупки RTX 3050 ? Это пожалуй максимум того что я могу себе позволить.
3090 слышал память греется сильно, с этим как обстоят дела?
У 3090 есть такая проблема. В 3090 ti в этом плане лучше
Можете записать серию лекций с чего начать, какие библиотеки есть и для чего предназначены? Или порекомендуйте какую-то серию лекций, пожалуйста. Хочу научиться автоматически различать что на видео, где человек, а где другой объект. Но даже не знаю с чего начать. Увидел, что есть библиотека YOLOv7 но как она работает, поверх каких других библиотек, как заставить её использовать аппаратные возможности (мне кажется она у меня сейчас не использует видеокарту вообще) - дремучий лес.
В планах есть выпуск подобных видео.
Yolo - это нейросеть. Ее реализация может быть в разных библиотеках(tensorflow, pytorch...)
Все четко и кратко
Виталий, подскажите вы или пользователи из чата. Стоит ли брать rtx3060 с 12gb для использования чисто дома не для "глобальных" коммерческих проектов, но и не просто посмотреть, а для комфортной работы со stable diffusion. На старой gtx1050ti работает, но не быстро. Будет ли существенный прирост или не стоит.
Будет быстрее примерно в 2 раза. да и памяти больше. имеет смысл брать
привет, а если выбирать между 2080ti и 3060 12 gb? под stable diffusion
майнинг фермы можно адаптировать для решения таких задач ?
Да. Зависит от железа в ферме. Желательно иметь больше оперативки, быстрее процессор и широкую шину pcie. При сборке для майнинга обычно на этом экономят.
@@kuliev.vitaly amd 3700x + msi x470 +rtx3080 12g
Этого железа достаточно для сборки сервера. 2-4 видеокарты можно будет вставить
@@kuliev.vitaly спасибо ! еще бы нарисовали по комплектухе три уровня по железу по наворочености из адекватных решений .
Посмотри последние виде на канале. Там есть сборка на ам4 и epyc платформах.
Если есть потребность использовать LLM по API, то какой самый бюджетный вариант на данный момент существует?
3090/3090ti. На одной можно 8b модель запустить, на двух 70b квантизованную до 4 бит. Можно на процессоре еще запускать
@@kuliev.vitaly подскажи плз, есть смысл покупать несколько б/у Nvidia Tesla P100 в сервер на старых зионах, чтобы файтюнить и разворачивать модели?
Они слабже и архитектура заканчивает поддержку. Более дешевая альтернатива 3090.
Подскажите, сейчас еще актуально использовать для машинного обучения и запуска локальных языковых моделей tesla p40 на 24gb? Судя по Compute Capability в 6.1 проблем с Pytorch быть не должно
Запускать можно
@@kuliev.vitaly спасибо, а библиотеки все будут доступны, как и у rtx 3090?
Большинство будет работать. В некоторых случаях может потребоваться пересборка библиотеки из исходников.
Вот бы ролик по настройке среды тенсрр флов и пайторч для обучения на видеокартах. Но без привязки к конкретной видеокарте. Так сказать универсальный метод) насколько это возможно
подскажите, а видеокарты допустим за 50к руб хватит для обучения llama 2 и подобных ?
скорее всего самую маленькую версию получится дообучить. бери карту с максимальной памятью, минимум 12гб, лучше больше.
Спасибо за информацию. Планируете ли использовать ее в SLI режиме? Еще вопрос, эффективна ли эта связка (2х 3090ti) в сравнении с 4090?
Я думал докупить еще одну 3090 ti. Там есть ряд проблем: охлаждение, размеры корпуса, x8 вместо x16 pcie, переписывание кода для нескольких видеокарт. Все проблемы решаемые, но пока использую решил остановиться на одной видеокарте.
@@kuliev.vitaly а какие преимущества дает нвлинк? Планируется сборка пк на 2х 3090, с линиями pcie решаемо подбором матплаты, а вот насчет SLI режима не уверен, так как сейчас большинство видеокарт идет без разъема под бридж. Да и читал не раз что соединение мостом не дает особого прироста производительности
А может быть bottleneck видеокарты и процессора? Хочу обновить видеокарту до 3060 12gb, но не хочу обновлять всю систему т.к. для моих текущих задач она более чем топ. Проц 3570К, мать с PCI 3, 24gb оперативки.
Зависит от задачи. Твоя сборка будет вполне сбалансирована
Здравствуйте! Благодарю за дельное видео без воды. Это сейчас очень ценно. Прошу ответить на вопрос по выбору видеокарт. Так как стойка серверная, то стоит вопрос теслу или квадру. Что лучше для обучения при равной стоимости. так же хочу понять, в соотношении цены/эффективности. Что лучше взять одну Теслу на 32gb или 2 по 16gb.
Надо смотреть тесты на конкретные видеокарты. Насчет теслы или квадро не могу сказать. По соотношению цена/эффективность намного лучше десктопные карты, например rtx 3090, rtx 3090 ti, rtx 4090.
Привет. Посдкажи, а если torch пишет что поддерживает 9.0, а rtx 4090 это 8.9. Значит поддержка 4090 есть?
Нет. У сборки torch есть список поддерживаемых архитектур. Там должна быть указана 8.9. Если ее там нет, то можно установить нужную версию torch или сбилдить из исходников. Тогда 4090 будет поддерживаться.
@@kuliev.vitaly в целом торч запускается на моей 4090
если сбилдить из исходников торч будет работать быстрее?
может чуть быстрее будет, пробовать нужно. У меня есть опыт сборки tensorflow из исходников - изменения в быстродействии я не заметил.
Еще такой вопрос, если оператива меньше видеопамяти карты, например в 4090 у меня 24гб, а оператива 16гб. Может ли оперативная память быть узким местом? Если да, то сколько нужно оперативы, 32 или 64?
зависит от сценария использования. в некоторых случаях 16 будет хватать.
есть вопрос , 3070 почему то хуже обучает локально чем p100 (kaggle) , учитывая что cuda больше у 3070. В чем может быть проблема ?
Разная архитектура, разная память. Сравнивать видеокарты по куда ядрам можно только внутри одной архитектуры
Не проще ли арендовать на том же клоре? Аренда копейки стоит
Интересный проект. Похоже один из первых у которых есть реальное железо. Может быть интересно.
Может это и дешево, но минусы у этого решения тоже значительные: нестабильные ноды, нужно много данных закачивать на арендованный сервер, все закачанные данные доступны владельцу ноды.
у тебя есть опыт аренды и длительных рассчетов на нем?
@@kuliev.vitaly арендовал, но не для расчётов. Можно найти с хорошим соединением, стабильным аптаймом и с длительной арендой.
Спасибо за отличный обзор!
Есть какие нибудь подводные камни прт выборе карты в зависимости от производителя?
Например что можно ждать от Palit?
Зависит от конкретной модели. Могут быть проблемы с охлаждением и надёжность. Рекомендую читать отзывы на Яндекс маркете или других площадках.
Хочу кресло как у тебя😅
Уже другое)
Может, глупый вопрос, но вы в свободное время играете на пк?)
Редко, 3-4 раза в год