NAS for 20 HDDs. Part 5. Changing motherboard again, Testing 10 Gbps, Home Assistant on NAS
Вставка
- Опубліковано 13 тра 2024
- Order fast and high-quality production of printed circuit boards: www.pcbway.ru/
Instagram: / electronics_in_focus
All series of the project:
NAS for 20 HDDs. Part 1. Background: • NAS на 20 HDD. Часть 1...
NAS for 20 HDDs. Part 2. Assembly: • NAS на 20 HDD. Часть 2...
NAS for 20 HDDs. Part 3. FreeNAS and tests: • NAS на 20 HDD. Часть 3...
NAS for 20 HDDs. Part 4. Switching to Xeon, increasing volume: • NAS на 20 HDD. Часть 4...
NAS for 20 HDDs. Part 5. Changing mother again, testing 10Gb, Home Assistant on NAS: • NAS на 20 HDD. Часть 5...
00:00 Intro
00:25 Introduction
02:42 Finding the motherboard
08:22 My choice is mat. fees
10:15 Motherboard replacement
16:14 IPMI
28:52 Fan control
32:52 Smart home server on NAS
35:32 Power consumption
36:18 Thermogram
38:34 LAN 10 Gbps
39:40 LAN throughput
41:48 Copying files (SMB)
46:32 NAS video editing
49:36 Ending
50:42 Footages - Наука та технологія
Шикарно! Любимая рубрика! Надеюсь, будет время подробно рассказать про Home Assistant (подключение разных устройств с разными протоколами). Благодарю за труд!
Спасибо за обзор. Качественный монтаж, не скучно, и в целом есть что на ус мотать)
killer feature of IPMI - это возможность подключать образы флоппи-диска или ISO-шки. То есть, система лежит, лезьть на антресоль за домашним серваком неохота, тянуть вниз эту дуру на 15 кг с дисками. (А наверху он потому что там пыли меньше). И вот запускаешь java-клиент, цепляешь ISO-шку через Virtual Storage и грузишься с неё (Live CD). Ну и разбираешься что там случилось с основной ОС. Если на домашнем сервере стоят нормальные фильтры на вдув, то тогда сервер достается только чтобы заменить/почистить фильтры - раз в год. А больше причин его трогать и нет - всё можно делать удаленно.
Спасибо, всегда с большим интересом смотрю ваши ролики.
Очень интересно и полезно. Большое спасибо, Руслан 🙂!
Другой вопрос зачем все эти светопирделки
Благодарю! Очень интересно.
Спасибо огромное за интересный контент! Всегда с удовольствием смотрю Ваш канал! Спасибо!!
Огромное спасибо за профессионально (во всех отношениях и даже в эстетическом) сделанный материал! Прям вдохновлён и думаю приступить к построению своего хранилища. Скажите, нет ли у вас новостей по данному проекту в связи с прошествии ещё одного года использования? Уверен многом будет интересно увидеть продолжение этой серии, даже еси Вы просто поделитесь новостями и мыслями. Спасибо!
Как всегда здравствуй, смотрим ,лайкаем)))
Спасибо за ролик)
спасибо, интересно было
Привет! Спасибо за видео, как обычно на высоте.
А будет ли на канала обзор Mac OS? Фишки, опыт, эмоции, полезные советы?
охуенный сериал про домашний сервак
ждем новых эпизодов!
*Купил новую мать 2011* тут я упал со стула! Крайне рад, что вы решили проблему! Эх, IPMI на китай мамках это анрил. Свой загрузочный ссд можно вернуть в 1й pcie слот, через переходник *pcie to m2*, брал на алике.
П.С. Отдельный респект за саунд ;Р
БлЯстнул умишком или пернул в лужу?
Кстати аналог ip kvm тысячи за 3-4 вполне себе организовать. pikvm на какой-нибудь апельсине. Будет и клава-мышь с видео (hdmi), будет и эмуляция сд привода и даже если за гпио дергать, то кнопки включения/ребута организовать.
Шикарно
Спасибо большое за труд!
Не могли бы Вы подсказать ссылку на скрипт и описание к скрипту который позволяет смотреть температуру и останавливать диски.
Или видео может снимите я думаю много кому было бы интересно!
Красота какая
Эх, комп собрал за 2 штуки баксов. Надо дом строить, и мечтаю теперь о большом насе. Сейчас стоит старый пк, и там 15 дисков крутится, хочется норм корпус и мать и ссд 😂
Сразу напишу, ваши ролики про сервер пересматривал раз по 50, вам респект.
Здравствуйте Руслан. Прекрасно понимаю что из за сложившихся обстоятельств вы сейчас не уделяете время YouTobe, но если есть возможность, не могли бы мне подсказать, конфигурация вашего сервера осталась та же?, я уже давно собрал себе сервер на системе TrueNAS Core но длительное время так и не могу рационально распределить все диски и флешки (то бишь: Что пустить под Cache, что пустить под Logs и т.д. ), прекрасно понимаю, что для дома наверное половины и не надо, но это вот мой личный как-бы так сказать заскок, хочется из мелочи выжать максимум.
В наличии имею:
HDD 3,5 - 3Tb x1 шт. (Используется как MEDIA для хранения фильмов и музыки) Model - ST3000DM001-1ER166
HDD 3,5 - 1Tb x2 шт. (RAID - Mirror) - Model - GB1000EAMYC (Использую для важных файлов)
HDD 2,5 - 1Tb x2 шт. (RAID - Mirror) - Model - ST1000LM049-2GH172 (Использую под облако NextCloud и виртуальные машины)
SSD 2.5 - 60Gb x1 шт. - Model - KINGSTON_SV300S37A60G (Не могу определится, под какие нужды его можно использовать)
SSD 2.5 - 120Gb x1 шт. (Используется для установки приложений Jails) - Model - PNY_CS900_120GB_SSD
USB SSD - 32Gb x1 шт. (Пока что используется как загрузочный носитель)
USB SSD - 60Gb x1 шт. (Использую так же как и вы, для хранения всех настроек)
В перспективе есть план доукомплектовать еще 4-мя SSD или HDD но не знаю пот какие нужды, возможно вы что посоветуете, куда-то добавить или в качестве чего-то установить (Log, Cache или что-то в этом роде)
Буду очень благодарен за любую подскажу, даже если будет информация не от автора видео.
Я тоже только собрал себе новый домашний сервер. Раньше был xpenology 6 с home assistant контейнером но там есть ряд ограничений и обновление странное.
Перешёл на proxmox с отдельной виртуалкой на SSD для home assistant и отдельной виртуалкой для мультимедиа и файлов xpenology 7. Пробовал truenas но он больше для офиса подходит из-за усиленной безопасности и довольно мудрёной настройки. В офисе пару серверов хранения бэкапов на нём по NFS с дедуплекацией.
Jail проброс портов связь хранения, ну не для дома это
35:12 - Так начинается прощание с миникомпьютерами и клубками проводов))
У меня встал вопрос сбора сетевого хранилища и выбора ОС. Но во FreeNas есть вопрос, можно ли обойтись без форматирования жёстких дисков и рейда? Будет один диск на 2тб и хочу также подключить к этому серверу локальный принтер, который хочу расшарить и чтобы могли печатать и сканировать документы.
Также хранить файлы для просмотра тех же фильмов на смарт тв)
на алике есть платы переходники с nvme на ssd (для себя взял, так как на старой матери нет m2 разьема, а в будущем планирую менять мать)
А как на момент записи ролика обстояли дела с уходом дисков в спящий режим штатными средствами? Без скрипта...
результат супер вышел! прям промышленное решение для малого бизнеса. доработать бы связку диски - проц -сеть. иопсы поднять. чтобы можно было с виртуализацией юзать. а то системы хранения ну оч дорогие.
У меня на X10DRi в супер доктор не показывает информацию по винчестерам в рейде, особо не разбирался пока.
Для больших скоростей надо включать Jumbo Frame.
Плюс, имеет смысл настроить количество и размер аппаратных очередей для сетевых адаптеров, сделать привязку к конкретным ядрам. Так же, в линуксе есть ещё настройки так называемого бюджета и поллера. Этим можно повлиять, сколько сетевых пакетов будет обработано за один вызов обработчика прерывания.
И самба - это плохой вариант, т.к. сервер работает в юзерспейсе. NFS мог бы дать получше результат.
Ну, либо действительно iSCSI
@@Igor-rg8xv Для FreeBSD userspace/kernelspace особого значения не имеет, скажем спасибо netgraph. Не надо сюда тащить Linux проблемы.
По поводу лицензии на ipmi, умельцы уже провели реверсинжениринг и в инете можно найти генератор ключей
Точно! ) есть линуксовая утилитка - в нее кормишь номер с сервера - получаешь кей ). Так я вначале думал шляпа какая то, но после скармливания ключа в ipmi - был приятно удивлен!
Почему был выбран именно Home Assistant, а не MajorDoMo? например?
дома собрал себе тоже сервак, накатил CasaOS и Nextcloud, в CasaOS поставил HandBrake приложение, для авто конвертации прокси, заливаю через приложение на IOS nextcloud видосики с айфона в 4к, они автоматом конвертятся в прокси, а по локалки работаю с проксями, потом просто заменяю на оригиналы 4к. Nextcloud использую как хранилище через https с ssl, чтоб клиентам отправлять файлы и видео
Ну, наконец-то купил х10 от супермикро. Для ссд можно купить переходник м2 в pci-e слот.
Просьба еще глянуть NFS. Интересно как там со скоростями. Спасибо
Подскажите пожалуйста, у вас с Мака по протоколу самба хождение по папкам быстрое идет ? И поиск файлов к примеру? У меня с винды все летает, а с мак ужасно тупит. Поиском вообще пользоваться не вариант.
интересно как себя покажет на wifi. с ноутом быть привязанным к проводному адаптеру как-то не айс
Фантастический клёвый перфекционизм! Аж голова "кругом".
И сколько же навскидку по деньгам такое чудо выходит? (не считая затрат своего времени).
Я не пробовал считать, но думаю, что примерно тысяч 80
привет, у вас случайно нет видео, как вы разварачивали TrueNAS с настройками и установкой. ? очень интересно.
В 3 части было кратко
давай 6 часть, с файбер ченел и афа-хранилкой)
Прошу подсказать, как настроить HA для работы на TrueNas с USB стиком. Ничего не получается, а Вы говорите, что гуглится за 3 минуты...
для NVMe дисков есть на али дешевые адаптеры - PCI-E => 2xNVMe. И скорее всего даже загрузка будет работать с него.
Я в компьютерах особо не понимаю но, я как понимаю такое хранилище можно пристроить для хостинга чего нибудь, например сайты, игровые сервера и т.п?
Для хостинга можно пристроить что угодно хоть селерон с 2 гигами, вопрос в потребностях. NAS же обычно это именно хранилище, обеспечивает доступ к файлам и их сохранность, остальное вторично и скорее ради экономии.
Я изначально поставил Home Assistant на свой самосборный NAS, но быстро отказался от такого решения. Причина в том, что обслуживание NAS по любой причине оставляет тебя без умного дома на это время. Да и смешение функциональности увеличивает риски отказа. Поэтому я применил SRP и HA переехал на выделенный комп, который занимается исключительно умным домом. Плюс в контейнерном варианте супервизор HA вечно негодует, он желает единолично всем править.
поддерживаю. тоже отказался. nas к тому же иногда просто надо выключить.
соглашусь, лучше пусть несколько машин стоят и отлично выполняют одну функцию - это куда надежнее
Но ведь если придется обслуживать сервер умного дома то вы тоже без него останетесь, да и чего там обслуживать то? Выдуть пыль раз в год? 15 минут максимум
@@badkun6819 я имел ввиду софтовое обслуживание. Обновления, настройку. Чем больше сервисов, тем больше проблем.
@Michael, да подтверждаю практикой. С завода нет поддержки ECC.
Дано:
- Корпус Fractal Design Define R4 - вентиляторы 2 на вдув 700 об/мин, 1 на выдув 700 об/мин.
- Xeon E5-2620 v3 @ 2.40GHz
- 4 планки Samsung 8Gb ECC
- система стоит на зеркале из китайских SATA SSD KLLISRE 60GB
Пулы:
- Зеркало из 2 x MG08ADA800E , быстрый, ну очень быстрый 😁винт , и холодный - средняя Т~33° + к этому пулу включен кэш SAMSUNG_256EVO970PLUS
- Стрип из 2х зеркал: 2 x SeagateEXOS_ST6000NM0115-1YZ110 холодный - средняя Т~36° и 2 х SeagateEnterprise_ST6000NM0024-1HT17Z как и положено=горячущие - средняя Т~39-42° + к этому пулу включен кэш какой-то SSD SATA на 256Gb
- ну и для Джейлов и "системной периодики" отдельно отведен = KINGSTON SA400S37240G
Мать:
Huananzhi X99-ZD4 с завода есть 4х канал но нет поддержки ECC - печалька. TrueNAS так и показывает на заглавной в разделе память.
Запросил у производителя прошивку с включенным ECC - прошил. TrueNAS стал уже показывать память с поддержкой ECC.
Биос с гитхаба от Кошака пока что не шил. Турбобуст не нужен пока что.
Стоит задача как и у всех = УТОПТАТЬ ТИШИНУ И ЭНЕРГОПОТРЕБЛЕНИЕ.
Можете как-то скинуть биос для zd4 с поддержкой ecc?
@@user-ji1wz1ji6y drive.google.com/file/d/14XbkpG-rvXDDxRUzLaqJ9m-gYDjUaQDs/view?usp=sharing
@@AlexeyPiligrim Спасибо огромное!
@@AlexeyPiligrim А можешь ещё рассказать, куда именно ты за этим обращался? Я просто пробовал на алике писать, меня там не поняли)
@@user-ji1wz1ji6y зачастую наш народ покупает у "перепродаванов", а у них естественно нет ни доков ни поддержки. Поэтому они "включают дурачка", типа не понимающего даже на китайском 🙂. С такими действительно просто бесполезно общаться по тех вопросам и ты остаешься наедине со своими проблемами платы купленной у него.
Возможно мне повезло, но скорее я просто предоставил ТехПо продавца "железобетонные" доказательства и мой "китайский язык" был правильно переведен Гугелем с технического русского. + я брал плату у офф_магазина.
После непродолжительных, но технически насыщенных переговоров - мне была предоставлена ссылка на Китай\123№;%27№"_ять\ диск 🙂где забрал архив с прошивкой.
Вот и всё.
Если используете Plex, советую поставить видеокарту для аппаратного кодирования и декодирования, а так же настроить временные папки в оперативную память. И все таки нужен SSD для кэширования записи
Поддерживаю - кэш очень знатная вещь. По поводу аппаратного декодирования, так вроде там можно его активировать и на проце. Редкий проц не умеет h264/265 и прочие на текущий момент вроде.
Для чего временные папки в памяти?
@@vasyna007 Ксеоны не имеют встроенного видеоядра. Не все конечно, но эти нет
@@anti-spy симлинки временных папок (например от того же plex) в разы увеличивают производительность и отзывчивость. А бонусом - уменьшение нагрузки на ссд и hdd
Можно поподробнее, пожалуйста, про временные папки в оперативу?
Руслан, тебе поможет или iscsi (как ты сказал) или SMD Direct, но дома его сложно реализовать, нужны коммутаторы с поддержкой RDMA, если это ROCE v2, а IWARP сетевушки шиш найдешь
куда пропал? где наш умный дом?
Здравствуйте, а зачем Вы переходите на macOS? Чисто из-за софта или есть какие-то специфические причины? Спасибо, смотрю каждый ваш ролик, прекрасный монтаж, полезная инфа)
Нравится видеомонтажный софт Final Cut Pro, ну и в целом стабильность и красота ОС
расскажите пожалуйста, зачем такие мощности? и очень интересны сценарии применения умного дома.
Да просто в розовых очках наверное
А ну и отсутствие M2 на плате давно не проблема. 5-10 баксов и pci-e переходник на базе. При чем есть и под 1 и под 2 и вроде под 4 накопителя сразу. Единственное не у всех хорошо разведены дифпары и очень много ошибок на линиях (железо само это разруливает) и может проседать скорость, а то и вообще не достигаться заявленных. Тут надо гуглить. Но я 3 штуки разных пробовал и ни на одном не достиг заявленных скоростей. Сую в порт на плате и скорости тут же становятся заявленными.
Реле скорей всего сщелкает не на материнке, а в БП. У меня БП корсар тоже щелкает (именно как элетромеханическое реле) при включении/выключении ПК
Проблема в низкой скорости копирования в том что используется всего 1 ядро ЦПУ, а тк у Вас ЦПУ слабенький то он является узким местом в данном случае... Тоже сталкивался с такой проблемой, тут важна частота на 1 ядро в выборе ЦПУ! Спасибо за Ваши видео и удачи!
Какой бы проц Вы посоветовали для подобного проекта с учетом низкого нагрева?
Я не опытный человек но возможно просто скорость HDD максимальная такая, процессор E5-2630LV3 не слабый для передачи данных , подключено все через PCI 3.0 x8 скорость передачи 7,8 гб/с, Легче думаю 10 гб LAN подключить к другому компьютеру с SSD тогда точно будет ясно вытягивает ли LAN потенциал в реальном использовании. Извиняюсь если написал какую то чушь
посмотрев все ваши 5 роликов понял что это слишком и просто напихал в старый комп 4 жёстких дисков и включаю только когда нужно скинуть файлы или забрать что не будь.
Привет. иногда просматриваю ваш канал... , Для нормального управления IPMI BMi - установите java, IPMI v2.0, пропишите все данные для управления, SUPERMICRO серверные платы - использую с 2003 года - (стабильные, надежные, не глюковые) правда покупаю лицензии к платам(важно обновлять вовремя). Удачи!!!
спасибо за интересный материал! себе собрал попроще уже более 10 лет назад. сейчас ищу замену материнки, поэтому штудирую материалы, где только найду :)
подскажите, пожалуйста, что за вентилятор установлен на raid-контроллер ?
у меня вот такой LSI 9265-8i, греется до 60-62 градусов. хочется охладить еще сильнее.
Это Noctua 40x40 мм
@@rnadyrshin а как он закреплен на радиаторе контроллера?
@@rnadyrshin нашел комплект, а там целый набор для монтажа. еще раз спасибо!
Осталось собрать кластер из трех нод на ceph )
Подскажите пожалуйста где можно найти саунд из видео?
Веб-нтерфейс во время перезагрузки отваливается из-за того, что используете порт в режиме разделения. Чтобы в таком режиме попасть в БИОС, можночерез консольный клиент сказать IPMIке, чтобы при следующей перезагрузке зашла в БИОС. Интерфейс всё равно отвалится, но когда связь восстановится, можно будет отредактировать настройки БИОС.
Что касается хрома, то последняя версия хрома какая-то кривая, она почему-то использует TLSv1, который много где уже отключён. Возможно, дело в этом.
Понял, спасибо!
А как там с ребилдом массива?
Сколько это времени может занять?
Я в прошлых роликах писал, что ceph будет более лучшим выбором, так как там в целом система строить хранилище по каждому диску.
И система может работать и при сбойных дисках.
А в raid5 проблема с ребилдом, время много проходит пока массив соберётся. Все это время у тебя нет возможности использовать систему.
Занять может много. Зависит от скорости, типа и объема дисков. В моем случае примерно будет меньше суток если мертвый диск буду менять на CMR диск и дня 3-4 если на SMR диск.
Не знаю как в RAID5, но в ZFS в конфигурациях RAID-Z при сбое диска и во время ребилда (resilver) пула данные доступны. Просто скорость доступа снижается из-за занятости дисков, но в truenas можно настроить приоритет и расписание ребилда
Да что вы говорите? Каким таким образом данные в raid 5 недоступны при ребилде?
Чувак, возвращайся с видосиками, очень скучаем😢
Доброго дня вам. Я не нашел видео у вас, в котором вы перешли с можордомо на Хоум ассистент. Ранее вы говорили что Хоум ассистент убивает карты памяти, соответственно и SSD тоже умрёт быстро. Какие основные причины были перейти на другую платформу умного дома? Каковы результаты? И можно ли использовать телеграмм бот на Хоум ассистенте?
Я перешел на Home Assistant потому что он шустрее, современнее и главное - надежнее, чем majordomo, который частенько ломался после очередного обновления. В Home Assistant еще не до конца разобрался со сложными сценариями автоматизации, всё простое более менее хорошо работает. Про использование телеграм-бота не знаю, наверняка можно.
Убивает карты любая система умного дома, которая часто пишет на карту. SSD намного надежнее при частой записи, потому что у SSD есть умный контроллер, который реализует алгоритмы выравнивания износа.
@@rnadyrshin спасибо вам за ответ. Можете ли снять обзор на вашу нынешнюю систему умного дома? Стабильно ли работал Хоум ассистент на raspberry?
Ну и дополним слова выше, что в ссд и ram используются кристаллы прошедшие отбор и полностью исправны (или с малым коэффициентом бракованных банок) во флешки же и прочие вещи уходят кристаллы брака. Полную инфу об этом можно посмотреть на канале PRO Hi-Tech.
17:30 IPMI не реализует видеоадаптер, а берет уже обработанный сигнал с видеочипа.
И не понятно почему тест проходил на SMB, ведь TrueNAS поддерживает родной маковский протокол шаринга. Если уж тестировать Microsoft протоколы, то хотя бы с одной стороны был Windows
Разве мак не перешёл на самбу? Давно же уже они отказались от проприетарщины
TrueNAS то поддерживает, а вот Apple от него отказался в пользу SMB
Что за корпус?
На таком процесоре (2630lv3) кто пытался ставить XPENOLOGY? что получилось если да? какой загрузчик?
Тоже интересно
Привет! Подскажи, пожалуйста, а что это за скрипт на остановку HDD в бездействии? Как он называется, где его можно найти? Спасибо.
Вот он: github.com/ngandrass/truenas-spindown-timer
@@rnadyrshin Спасибо!
Загрузочные флешки для FreeNas деградируют быстро (как расходник), может рассмотрите ещё один usb ssd под систему?
Пока не планирую. По идее для частой записи я использую системный датасет на SSD и флешка не должна страдать. Но если умрет - поменяю, это не долго
Интересно, есть ли поддержка Intel Optane на такой материнке? Можно удобно сделать с ним кэш и не бояться внезапных выключений сервера во время его работы
Оптан работает по протоколу нвме как обычный жёсткий диск, "поддержка" нужна только при использовании его в роли умного кэша.
@@imperse, а возможно этой технологией "Intel Optane" задействовать обычный SSD малого объема под кэш или ресурса надолго не хватит?
@@Svejiy_Tihiy_Veter если про функцию кэширования hdd с помощью ssd в потребительских чипсетах и драйверах под них то надо смотреть конкретные чипсеты и драйверы. Вообще подобное можно реализовать разными способами, но редко когда в этом есть смысл.
По поводу отвала веб морды у ipmi я вообще удивился что вы через кабель для сервера смогли на него попасть. 2 интернет разъема 1 это разъем сервера 2 это разъем ipmi.
У нас на всех серверах так.
У меня к сожалению нет доступа к железу. Но поключать ipmi надо отдельным кабелем, это факт.
Обычно в BIOS есть опция доступа Shared или Dedicated, соответственно отдельным портом или через общий. Для безопасности и отказоустойчивости конечно леучше отдельным и vlan кинуть
10:03 обратите внимание на Нижний синий правый порт его через переходник вроде можно до тайп си подтянуть (кстати переходники дешёвые в три ёмкости две массы) на 10 гб тоже.
На 10 гб тоже есть переходники и на них по солиднее обвязка
Этот разъем же уже задействован для флешки и SSD
трэк Janic - Let You Go?
Для портов на передней панели есть переходничек с USB 3.0 на USB 2.0, на том же ebay
Есть, но внутренние порты USB 3.0 уже заняты
Что с энергопотреблением? ;) На счет сжатия, если не ошибаюсь, используется алгоритм lz4 (по умолчанию), он оч эффективен в отношении процессоров время и коэффициент сжатия. Измерять скорость копирования на/с zfs занятие "такое себе" используется кэш в памяти, диски, выделенные под кэш, если таковые настроены И так далее
Да, тест показал, что сжатие влияет слабо.
Про энергопотребление в видео есть отдельный блок
@@rnadyrshin спасибо, не внимателен
Соглашусь. Я бы оперативы туда напихал гиг 100 и подрегулировал кеш. Было бы вообще жуть как красиво.
zstd-сжатие распаковывает много шустрее, и ZFS его поддерживает, по крайней мере под Linux.
iSCSI самый простой протокол для NAS, но добавит работы клиенту, ибо файловую систему будет ваш Mac обслуживать.
Я бы потестировал ещё протоколы NFS и FTP, как более нативные и скоростные, ближе к ядру, у меня на гигабите они давали скорости выше, чем SMB/CIFS.
И ещё для многопоточного копирования использовал rclone, часто имеет смысл.
На тему IPMI, как говорят коллеги о HP, если с сервером какая то проблема - обновляй ILO :).
А почему smb? На Unix нормально работает NFS. Интересно было посмотреть на скорости при копировании по SSH.
По SSH будет довольно грустно: один поток, шифрование софтовое, работа в юзерспейсе.
@@Igor-rg8xv шифрование SSH можно отключить для теста.
@@user-sb3ix8me3e тогда зачем SSH? :) Лучше уж тогда NFS поднять. Ну, либо вообще через netcat (nc) копировать. Вообще, на самом деле, 10Г довольно сложно загрузить передачей одного файла. Там надо серьёзно тюнить сетевую подсистему.
Сколько оперативки сейчас используете и какое общее дисковое пространство сейчас у вас?
ОЗУ 32 Гб, хранилище - 1 пул в режиме RAIDZ2 полезным объемом 32 Тб
@@rnadyrshin получается на 1Тб пространства hhd требуется 1Гб ОЗУ?
А какие задачи у этого наса? Зачем такая монструозность и такое количество дисков? Не рассматривали нас на n100? Для торрентокачалки, сервера умного дома, плекса, более чем.
Долго объяснять, но это всё было в сериях про NAS.
Нужно хранилище, которое вмещает видео-архив 20+ ТБ, обеспечивает высокую скорость последовательного чтения, легко и дешево расширяется добавлением дисков, модульно ремонтируется, поддерживает RAID-5, RAID-6, периодически проверяет данные на целостность и восстанавливает их
Хотел было спросить "зачем память с ЕСС". Ниже в комментариях прочитал, что это полезно для софтового RAID. У меня есть домашний QNAP на 6 дисков. В нем память - обычный SODIMM. NAS раз в неделю запускает скраббинг. Ошибок не находит. Вот теперь думаю, переживать по поводу "исправности данных" или нет.
В данном случае тут связка с ZFS. Память с ECC повышает надёжность.
Да есс память в любом повышает надёжность. Не просто так же этого нет в десктопах..... Спец сегмент, все дела...
@@leatherandsilver350 скорее жадность и производителей и покупателей. Там все таки требуется доп чип на памяти и доп линии на плате, так что поддержка ЕСС обходится чуть дороже обычной, в итоге потребители не горят желанием переплачивать пару процентов за то чего они не понимают, а производителям проще продать её бизнесу за овер 200% чем пытаться объяснять обычным людям зачем им платить больше за ту же память что у соседа но без ECC. По хорошему ECC есть смысл использовать везде.
IPMI реализован на Java. а с Java браузеры работают плохо. надо и в браузере добавлять узлы в надежные и в самой джаве разрешать узлы. плюс хром вообще по умолчанию не поддерживает уже Java. IE или Edge рулит. тоже постоянно испытываю проблемы с доступом к вебке админки серверов.
Вряд ли скорость СМБ влияет. Да, она жрет конечно, но не настолько. На скоростях гигабита - 100% никак, причем я тоже с мака на домашний сервер постоянно копирую. У меня не ТруНАС, сервер на аппаратном RAID-5 8 дисков, WinSrv 2012. Чтение с массива - под 600 гбайт в сек на сервере (и то упор был в ССД наверное, массив может больше), запись поменьше. Т.е. была бы у меня сеть 10гбит - проверил бы, но думаю упор идет в скорость массива. Пора мне тоже покупать сетевухи на 10гбит....
Блин, заказал себе HUANANZHI X99 F8D, в описании написано что поддерживает ECC REG оперативку, теперь интересно работает или эта функция вообще
Работает. А на его плату нужно было просто более старый биос зашить, в новых биосах поддержка ECC отсутствует.
Китайцы пишут ECC REG, чтобы обозначить тип памяти, с которым плата будет работать. Так что 50 на 50
@@rnadyrshin блин .. это изначально серверная платформа. Так что ecc reg память поддерживается 100%. И функция эта на данной плате работает. У меня есть и f8d, и t8d. А на односокетных бывают варианты, где биос собран на базе десктопного биоса, там может не работать. По факту, в более свежих биосах китайских односокетных плат нет поддержки ecc именно по этой причине, стоит подбирать старые биосы.
А как проверить, работает ли четность?
С другой стороны уже два года на фрилансе сижу. Ошибок, связанных с памятью не было. Только была проблема с глючным диском(
@@aciddic79 wmic memphysical get memoryerrorcorrection если 3, значит нет, на сервере с ECC у меня возвращает 6 четыре раза (2 проца, в каждом два контроллера). Либо в аида64 посмотреть.
Звездец конечно, как даже под вентилятором чипы контроллера греются. И это при софтовом рейде. Думалось, что можно прилепить радиатор побольше и пассивом обойтись.
Также, если возможно, просветите с следующем ролике остановку шпинеделй. При активной самбе, там постоянно какая-то сетевая активность будет от бродкастов клиентов. Интересно, насколько это работает. Если захочется делать бэкапы с нескольких домашних машин ночью. (ps: количество раскруток шпинделя за день можно увидеть в смарте).
Я отрубаю шары после того, как закончил ими пользоваться, поэтому активность по SMB останавливается и диски засыпают.
Про радиатор на контроллере уже говорил, что родной радиатор крепко приклеен, отрывать - слишком большой риск
@@rnadyrshin кстати об этом (чот не подумал в прошлом ролике), термоклей, которым приклеены эти радики, на то и термоклей. При нагревании размечается и можно оторвать Радик, почти безболезненно. Главное не торопиться и постепенно. Я бы сделал себе так, будь у меня такая ситуация. Хотя, вообще у меня иной и более геморный принцип. Я в таких случаях перепиливаю охлад. Типо кастом делаю с прямым отводом за пределы корпуса. Эффективность крайне высокая, но не для каждого. Просто рассчитать нужный Радик, выпилить на фрезерном, палирнуть, все в корпус и выдув наружу. Благо сейчас масса разновыдных и по размеру и по толщине кулеров и тубинок от ноутов. (Которые так же можно кастомизировать 😅😅😅)
Греть я пробовал, но всё безуспешно
@@rnadyrshin а как сильно? Там 100+ градусов можно спокойно греть.
hp обычно всегда делали что бы можно только их продукции подключать на плату
Видео интерестное спасибо за контент, но как же все это дорого для того кто чисто для себя использует сервак по типу Sinology
У TrueNas усть версия Scale, со встроенным kubernetes (кажется k3s а не k8s). Если не хочется возиться с kubernetes, можно одним скриптом в автозагрузке, превратить kubernetes в Docker Compouse. После чего, разворачивать там чего угодно. К слову, TrueNas Scale не на FreeBsd, а на Debian.
Круто конечно, но меня в принципе устраивает текущая реализация джейлов в TrueNAS Core
@@rnadyrshin Если бы можно было без гемороя свои контейнеры деплоить, я не стал бы извращаться. Среди имеющихся у truenas контейнеров, нет тех что мне нужны. а с докером, можно использовать разнообразные сервисы, и без необходимости в дополнительных мощностях.
"меняю мать".. родителей не выбирают) вспомнился ролик из прошлой жизни и фраза, что выбираю мебель из икеи, т.к. всегда можно докупить и заменить...
Такого развития событий всё равно тогда никто не мог предположить. Будем действовать исходя из сложившейся обстановки
@@rnadyrshin это уж точно, сюрприз, так сюрприз, хотелось бы чтобы поскорее затихло, и да, остается снова разгребать и выплывать...хорошая идея в видео, не слышал о ней, по поводу IPMI, всё относительно просто, почему-то раньше не была, нужно поискать реализацию на esp, всё вроде бы на нем решается...
16:40 перепрошить BIOS бесплатно из под IPMI не получится Supermicro преусмотрела и продает ключ для вашего MAC/SN платы, но можно в интернетах найти скрипт который генерирует этот ключ и вроде бы до сих пор актуален
50:02 или NFS?
Где купить расширить в корпус для жёстких или где купить такой корпус?
Во второй части я решал эту задачу
думаю сликом жирно для TrueNas, такая конфигурация и режим использования. Как вариант - поставил виртуалку -ProxMox. там создал машину с TrueNas, HomeAssistant, и т.д. И в Proxmox сформировал storage ZFS 30TB и отдал TrueNas. В случае обслуживания hassio не падает. Raid под контролем у ProxMox. Также остальнве виртуалки под контроллем, и удаленным обслуживанием. вся система сидит на отдельном SSD 256.
Самый рабочий вариант 👍🏻
Привет! Дружище скорость измеряется в битах (ботах), а объем(размер файла) в Байтах. 60,5ГБ * 1024 = 61952МБ * 8(размер байта в битовом представлении) = 495616Мб / 145сек ~ 3418Мб/с ~ 3,3(4) Гб/с
А ты не смотрел в сторону виртулизации и контейнеров. У бесплатного проекта Proxmox есть поддержка контейнеров LXC. Каждый контейнер может решать свою задачу. Посмотри может тебе интересно будет и найдешь реализацию в своих проектах. У меня Proxmox как гипервизор, в нем контейнеры NAS, Wireguard, БД, Windows для разных целей и умный дом с управлением через свисток
1) Меня одного смущает просажанная линия 12v при таком низком энергопотреблении (видно в мониторинге через IPMI) ?
2.1) Понять что является слабым местом - SMB или массив очень просто! Заходишь в web gui -> Командный интерпретатор -> копируешь с одного массива на другой данные, а скорость смотришь через Отчёты (в соседнем окне)
2.2) Чисто для справки у меня в пике при копировании с забитого массива на пустой было 1 с хвостиком Гигабайт в секунду оба массивы это шесть 10 tb дисков в RAID-Z (он же по сути RAID 5)
2.3) Так же ты забыл что ZFS ЛЮБЫЕ операции с данными проводит через оперативную паять и далеко не сразу ее очищает, так что данные нужны разные для копирования с сервера и загрузки на сервер
3) на iSCSI никакой оперативной памяти не напасёшься этот протокол ест ее как не в себя !!!
3.1) и да, данные которые лежат на сервере в iSCSI LUN доступны только через этот протокол и не как иначе, что добавляет лишнюю головную боль при определенных сценариях!
такой ты рукастый и продуманный!!! но как ты наносишь термопасту - руки оторвать. столько пузырьков!!! такая похабщина)))) в центр проца делаешь аккуратный холмик, прижимаешь кулером и эта шляпа без полостей начинает выдавливаться по всей соприкасающейся поверхности. что сложного?
Надо было вас звать.
Я для дома склоняюсь больше в сторону ARM архитектуры в виду ее низкого энергопотребления или x86 процессоров с TDP 10-12 Ватт. С количеством диском и их типом (HDD/SSD) в этом плане тоже вопрос актуальный
с ARM вы не получите скоростей. 1гбит/с на CIFS - да, можно, но 2.5/5гбит - уже будет вопрос. А ведь кроме шары захочется чего-то еще, запустить - виртуалки, и т.д.
Насчет потребления - основное будут потреблять диски, а не процессор. У меня на x86 при постоянной отдаче 100мбит/с в p2p сам процессор находится почти все время на самых низких частотах и потребляет 4-5Вт(диски по 4-8Вт каждый в зависмости от RPM). Терять потенциальную хорошую производительность ради того чтобы сэкономить 2-3вт - крайне сомнительно.
С армом есть небольшая проблема - не весь софт на него портирован.
@@vasyna007 непонятно что такого x86-специфичного может понадобиться на NAS
@@user-yd7ds6po4l Сервер 1с в докере )))
@@vasyna007 для дома 1с? :)
Ну наконец-то на супермикру перешли. Купите intel s3700 или s3500.на 128-256гб бу под систему и прочее, абсолютно неубиваемые серверные ссд, хватит на всю жизнь.
Vga из-за kvm, он простой как сапог
2:35 Ну капец - тот случай, когда сначала надо было делать правильно (по инструкции к серверам).
Не заметил в видео RAID был?
Во второй серии про него
с одной стороны конечно круто, а с другой вот мы уже и превысили стоимость готовых решений)
Превысили стоимость готовых решений на 20 дисков? Вы серьезно?
@@vanes3225 а зачем он домой нужен то на 20 дисков? купи просто диски повместительней
В 2022 уже есть смысл PiKVM городить вместо BMC.
В сети опубликован однострочник генерирующий халявные ключи Supermicro из мака BMC.
Plex периодически сканирует библиотеки так, что расмещение его на отдельном ssd не решает проблему пробуждения дисков, если библиотеки находятся на этих дисках
Да, сканирует, если это включено в настройках. А по умолчанию выключено
А почему перешёл именно на макбук? В чем конкретно для тебя плюсы мак ос?
Стильно-модно-молодежно ))) Можете поехать на какой-нибудь более или менее не зашкварный курс или оффлайн конференцию и... вы увидите что кругом у многих людей маки. Типа тренд, как айфон.
@@vasyna007 Ну на вкус и цвет как говорится.Лично я для себя не очень понял зачем мне нужен мак.Для администрирования мне хватает и винды.
@@vanadiumk3852 Будем честны - таких стильных виндовых ноутов (ультрабуков и иже с ними) можно сказать и нет. Админить... можно даже с телефона. Фоторедакторы и видеомонтажеры юзают маки из-за ретины. Админы часто и густо - понтов ради как айфон. Вот все и вкусы. У меня много знакомых админов с маками и... и где-то у них крутится RDP с виндой )))
Потому что Air на M1 получился чрезвычайно хорошим. Достаточно производительный для монтажа видео, бесшумный, без нагрева нижней части ноутбука если его поставить на диван, с хорошей батарейкой, которая держит до 2 рабочих дней. Отличный дисплей и большой удобный тачпад. Но и в целом качество исполнения корпуса, всей механики и т.д.
На какую камеру снимаешь, если не секрет?
Canon M6 mark 2
Скорость 400мбайт на 10 дисках это что-то запредельное. Может просто купи hp smart array p420+ ты удивишься на сколько он быстрее
На самом деле, просто нужно было более старый биос на китайскую плату зашить. В новых биосах китайских односокетных плат ECC не поддерживается. Дело было не в плате, а в биосе
Да? А есть подтверждения этих слов для моей платы?
@@rnadyrshin а какая плата? Я просто отсмотрел, что Атермитер x99.. Факт в том, что между процом и памятью прямая связь, и нет никаких доп контактов. Это просто вопрос инициализации платформы.
@@rnadyrshin на гитхабе Кошака посмотрите для своей платы.
Плата Atermiter X99
Вот такая: aliexpress.ru/item/4000809070542.html
Это все понятно, но откуда такая уверенность, что в старом биосе инициализация памяти будет сделана иначе?
@@rnadyrshin сужу по биосам от хуананжи. У f8 и t8 именно такая история. Просто потом начали делать биосы на основе какого-то десктопного биоса, и поддержка ecc потерялась.
Я бы диски установил через один, вибрации меньше передавались да и не грели бы они друг друга, по поводу ipmi у супермикры есть такие приколы, советую обновить прошивку bmc благо на сайте они в свободном доступе. А поводу миникомпов я всегда был против, проще собрать дома сервачок и хранить все на нем щас благо куча систем виртуализации и контейнеров
Я не вижу смысла ставить диски сейчас через один, если потом, когда их будет 20, все равно придется ставить их рядом.
Прошивка BMC у меня сейчас стоит последняя
@@rnadyrshin поподу самбы убедитесь что у вас включена 3 версия и многопоток