Cara… Parabéns! Eu trabalho em um Provedor de internet de médio porte, mexemos com servidores a todo momento, todo dia, é muito legal poder ver alguém fazendo um projeto “sem fronteiras”, abusando totalmente o limite da imaginação kkkkkkkkk, o conteúdo é sensacional! Ansioso pelo Abdala Flix!
Que irado! Qual velocidade seus clientes atingem? Nossa Internet aqui é link dedicado e bate 2.5 Gbps de Download e Upload!! Acho servidores de internet MUITO irados
@@AbdalaBrothers Em caso de Link dedicado, basicamente podemos entregar a velocidade que o cliente desejar! Temos Equipamentos com portas de até 100GE (Gbps) é claro, que o custo para entregar isso a um cliente é enorme, esse tipo de porta é comumente utilizada para entrega de link entre provedores! Ou para empresas que possuem um consumo enorme, de Médio, Grande porte. A maioria dos clientes assinam planos básicos, 100, 300, 500 mbps… perto do que estão fazendo por ai, é velocidade pra criança hahahaha, quase como uma bicicleta, contra um foguete.
Quero compartilhar um pouco do que sei sobre armazenamento e processamento para ajudar a esclarecer alguns pontos importantes. Vamos começar pela parte da computação. Assim como em qualquer computador, o processamento é feito de forma organizada, ou seja, os dados entram numa fila para serem processados. Quando usamos processadores com mais núcleos, isso ajuda a acelerar o processo. Mas, quando conectamos os discos via PCI Express, há um limite de velocidade. Por exemplo, na versão PCIe Gen4, com 16 faixas (x16), temos uma velocidade de 64 GBps (32 GBps para cada direção). Isso significa que, ao rodar várias máquinas virtuais (VMs) e outros sistemas no mesmo sistema de arquivos, podemos acabar criando filas que impedem o uso total dessa capacidade. Sobre os discos e sua performance, é importante saber que cada modelo tem um limite de operações por segundo, ou IOPS. Sempre que lemos ou gravamos dados em um disco, estamos realizando essas operações. Por exemplo, um disco SAS de 20TB pode ter cerca de 80 IOPS, mas esse número cai quando o disco precisa lidar com leituras e gravações simultâneas. Discos SSD chegam a 3000 IOPS, enquanto NVMe pode alcançar 30 mil IOPS. Então sempre consideramos como ponto 1 milissegundo, para dizer qual é a performance de um disco. Você pode se perguntar: “Mas o fabricante diz que meu disco faz 100 mil ou 300 mil IOPS!” Sim, mas esses números não consideram a latência - que é o tempo que o disco leva para responder. Quanto maior a latência, mais tempo o processador precisa esperar. Imagine um processador aguardando de 30 a 60 milissegundos para processar algo - isso pode causar lentidão nas aplicações, mesmo que o disco esteja transferindo dados a 20 GBps. Por isso, ao planejar um projeto desse tipo, precisamos pensar em todos esses detalhes. Um último ponto é o tamanho do bloco de dados no sistema de arquivos, que afeta o número de IOPS que mencionamos. Por exemplo, se temos 10 discos de 20TB, com uma média de 80 IOPS por disco, isso nos dá um total de 800 IOPS, o que se traduz em uma velocidade de 104 MBps. Claro, isso é uma estimativa simples, já que o sistema também usa memória para cache e isso pode mascarar um pouco os números. Quando falamos em ZFS, que é um dos sistemas de arquivos mais completos, ele organiza os IOPS em várias camadas, especialmente com RAIDZ ou DRAID. Só que, com tanto poder, vem a necessidade de mais processamento, então o consumo de CPU é alto. Espero ter ajudado a esclarecer!
Bro, testa com fio direto no Debian. Teu “the flash” vai ser mais importante pro vfx que trabalha com sequência de imagens. Um cara fez maior confusão aí, mas citou iops/latencia e é isso que conta. O que vc tá usando pra compartilhamento, samba? Fala com Vavá de mpio se suas estações de trabalho tiverem dois Nics de 10g ou superior. No mais, excelente trabalho, continuem!
Quero vê as próximas partes não entendo mais imagino que seja rápido o server Queria sabe da internet de vcs como funciona a Net no estúdio se usam 1 ou mais de 1 internet se é rápida
se a pool nao estiver em formato ZFS coloque pois ela usa um pouquinho da memoria RAM como CACHE o que acelera leitura e escrita de arquivos pequenos da uma olhada no tamanho da ZFS arc aumente pra 32gb e alem disso tem um processo de leitura e escrita que diminui erros de leitura escrita e evita perda de arquivos
Porque os Seagate são os melhores HDDs do mundo, os que menos dão problema e além de tudo os IronWolf tem 5 anos de garantia de recuperação de dados caso seu disco corrompa
Essa questão do arquivo de 1 giga alcançar 28 gigas ocorre pela questão de diferença do cluster em si, e o quanto ele se resolve com a cópia e gravação pra um setor dos discos!
poha, to a dois meses montando um servidor aqui com proxmox tbm, so que com hd horrivel e rede horrivel. deu ate vontade de desistir agora... vlw ai kkkkk
Hum sera que esse serve da pra por o Minecraft sem exceder a memória de leitura e gravação 😂😂😂😂😂😂. Será que cabe os meus 2kb de dadosd e Excel sem exceder a memória 🤣🤣🤣🤣
Todas as Pools de todos os servers estão configuradas com paridades, ou seja, o Antonov 2 pode perder ate 4 HDDs e 2 SSDs antes de perder qualquer dado. O Antonov 1 (Backup Server) pode perder até 2 HDDs antes de perder qualquer dado Se qualquer HDD ou SSD falhar, a equipe da MG Data é notificada e nós avisa imediatamente para que compremos novas unidades e elas sejam substituidas no sistema. Mas eles me falaram que no Data Center deles, esses HDDs ironwolf da Seagate, quando usados 100% 24/7 costumam ter uma vida util de aprox 7 anos, oq é bizarrrroooooo, pq por exemplo, os nossos nao vão ser usados 24/7 100%
Parte 5 ele já deixou o spoiler, abdalaflix kkkk
so apareceu o som da netflix kkkk doido ja com essa parte 5
Opsss 🤫🤫🤫
Acredito q será feito com Jellyfin ou Emby (acho q será JF, mas tomara q seja nenhum desse pra descubri novas opções)
Cara… Parabéns! Eu trabalho em um Provedor de internet de médio porte, mexemos com servidores a todo momento, todo dia, é muito legal poder ver alguém fazendo um projeto “sem fronteiras”, abusando totalmente o limite da imaginação kkkkkkkkk, o conteúdo é sensacional! Ansioso pelo Abdala Flix!
Que irado! Qual velocidade seus clientes atingem?
Nossa Internet aqui é link dedicado e bate 2.5 Gbps de Download e Upload!! Acho servidores de internet MUITO irados
@@AbdalaBrothers Em caso de Link dedicado, basicamente podemos entregar a velocidade que o cliente desejar! Temos Equipamentos com portas de até 100GE (Gbps) é claro, que o custo para entregar isso a um cliente é enorme, esse tipo de porta é comumente utilizada para entrega de link entre provedores! Ou para empresas que possuem um consumo enorme, de Médio, Grande porte. A maioria dos clientes assinam planos básicos, 100, 300, 500 mbps… perto do que estão fazendo por ai, é velocidade pra criança hahahaha, quase como uma bicicleta, contra um foguete.
Cara surreal, cada dia que eu assisto vcs eu começo a saber aonde e como quero está daq à alguns anos, vcs são feras
Pra quem trabalho com ISP e opera servidores diariamente, é um conteúdo muito rico!
Sou entusiasta e ver videos como esse é um sonho, e proxmox é um ótimo virtualizador!
To amando o Proxmox, velocidades absurdas
Depois desse vídeo, minha GT 610 até pediu férias! 😂 Vocês dominam o caos como ninguém.
seu canal é ótimo meu amigo
Mano que canal massa, to preso aqui! Quase um tec-porn hahahaha, sonho de todo produtor! PARABÉNS MANO!🤍
essa série está bem legal! Será que sou só eu que sempre teve o sonho de montar tudo de mais top que existe??!!!!!!!😆😆
Quero compartilhar um pouco do que sei sobre armazenamento e processamento para ajudar a esclarecer alguns pontos importantes.
Vamos começar pela parte da computação. Assim como em qualquer computador, o processamento é feito de forma organizada, ou seja, os dados entram numa fila para serem processados. Quando usamos processadores com mais núcleos, isso ajuda a acelerar o processo. Mas, quando conectamos os discos via PCI Express, há um limite de velocidade. Por exemplo, na versão PCIe Gen4, com 16 faixas (x16), temos uma velocidade de 64 GBps (32 GBps para cada direção). Isso significa que, ao rodar várias máquinas virtuais (VMs) e outros sistemas no mesmo sistema de arquivos, podemos acabar criando filas que impedem o uso total dessa capacidade.
Sobre os discos e sua performance, é importante saber que cada modelo tem um limite de operações por segundo, ou IOPS. Sempre que lemos ou gravamos dados em um disco, estamos realizando essas operações. Por exemplo, um disco SAS de 20TB pode ter cerca de 80 IOPS, mas esse número cai quando o disco precisa lidar com leituras e gravações simultâneas. Discos SSD chegam a 3000 IOPS, enquanto NVMe pode alcançar 30 mil IOPS. Então sempre consideramos como ponto 1 milissegundo, para dizer qual é a performance de um disco.
Você pode se perguntar: “Mas o fabricante diz que meu disco faz 100 mil ou 300 mil IOPS!” Sim, mas esses números não consideram a latência - que é o tempo que o disco leva para responder. Quanto maior a latência, mais tempo o processador precisa esperar. Imagine um processador aguardando de 30 a 60 milissegundos para processar algo - isso pode causar lentidão nas aplicações, mesmo que o disco esteja transferindo dados a 20 GBps.
Por isso, ao planejar um projeto desse tipo, precisamos pensar em todos esses detalhes.
Um último ponto é o tamanho do bloco de dados no sistema de arquivos, que afeta o número de IOPS que mencionamos. Por exemplo, se temos 10 discos de 20TB, com uma média de 80 IOPS por disco, isso nos dá um total de 800 IOPS, o que se traduz em uma velocidade de 104 MBps. Claro, isso é uma estimativa simples, já que o sistema também usa memória para cache e isso pode mascarar um pouco os números.
Quando falamos em ZFS, que é um dos sistemas de arquivos mais completos, ele organiza os IOPS em várias camadas, especialmente com RAIDZ ou DRAID. Só que, com tanto poder, vem a necessidade de mais processamento, então o consumo de CPU é alto.
Espero ter ajudado a esclarecer!
ouro!
Chega até a ser satisfatório assistir os seus vídeos do quão estupidamente bons eles são
Valeu bro! A gnt dedica muito tempo de gravação e edição pra tentar o melhor de conteúdo tech pra vcs, então nao se esquece de inscrever 😜
Se ele tivesse contado o que era o episódio 5 não teria ficado tão na cara como a sonoplastia do abdalaflix. Kkk parabéns pelo excelente trabalho.
Abdalaflix vindo aí, essa parte me deixou muito curioso. Sou novo no canal e tá sendo um paraíso para mim, já que sou nerd.
Utilize um software de macro agendada pra executar o teste ao mesmo tempo, seria como de 2 ou mais pessoas fizessem a mesma coisa ao mesmo tempo
Simplesmente insano! 😮
Chegou a melhor parte do dia!
🫶🏼🫶🏼🫶🏼
Muito bom esse projeto. Gostaria de saber quais os sistemas usados dentro do proxmox para file server e servidor de arquivos 1:09
Setup insano, proxmox é vida!
Muito legal a estrutura fisica dos servidores! Um dia quero fazer uma igual
poderiam fazer um vídeo sobre sistemas 5.1 desde os ´piores´ até os ´melhores´
Bro, testa com fio direto no Debian. Teu “the flash” vai ser mais importante pro vfx que trabalha com sequência de imagens. Um cara fez maior confusão aí, mas citou iops/latencia e é isso que conta.
O que vc tá usando pra compartilhamento, samba? Fala com Vavá de mpio se suas estações de trabalho tiverem dois Nics de 10g ou superior. No mais, excelente trabalho, continuem!
esse projeto é insano
Projeto foda!
Quero vê as próximas partes não entendo mais imagino que seja rápido o server
Queria sabe da internet de vcs como funciona a Net no estúdio se usam 1 ou mais de 1 internet se é rápida
Boa noite campeão, qual a velocidade das interfaces de rede das máquinas?
Olá, poderia descrever qual as configurações de storage esta usando? Zfs, lvm, lvm-thin e etc ?
Keep pushing!
LFG!!!!
se a pool nao estiver em formato ZFS coloque pois ela usa um pouquinho da memoria RAM como CACHE o que acelera leitura e escrita de arquivos pequenos
da uma olhada no tamanho da ZFS arc aumente pra 32gb e alem disso tem um processo de leitura e escrita que diminui erros de leitura escrita e evita perda de arquivos
Ta em ZFS, no caso agora tem 512gb de RAM sendo usado de Cache L2ARC hehe
@@AbdalaBrothers por default o zfs consome 50% de memória no proxmox. Vocês alteraram?
@@ghcoelho22 Eu sim, e muita memoria para deixar ir embora.
@@luc101215 e longe de ter 1PB, tirando as paridades dos discos e colocando os ssds vai ficar em 500 a 600 TB.
Video foda! Vcs usam youtube modo claro?
Imagina jogar Minecraft nessa máquina kkkkkk
Brothers qual o modelo dos Seagates que vcs usaram nesse servidor? Estou montando um mais modesto e estou pesquisando os HDDs Abraço
Porque os Seagate são os melhores HDDs do mundo, os que menos dão problema e além de tudo os IronWolf tem 5 anos de garantia de recuperação de dados caso seu disco corrompa
E qual o sistema de fileServer que vocês tá usando ?
o sistema top, pena não ser prático e barato, mas porque não coloca uma gpu no servidor e trabalha direto das vm logo, acho que seria mais pratico.
É pratico, so ligar pro pessoal da MG Data e eles resolvem tudo, vc nao precisa fazer nada hahaha
é bom para ver filmes em alta definição...
Exato, AbdalaFlix jaja vem ai
Essa questão do arquivo de 1 giga alcançar 28 gigas ocorre pela questão de diferença do cluster em si, e o quanto ele se resolve com a cópia e gravação pra um setor dos discos!
Crl 😮 agora a pergunta que não quer calar, qual provedor de Internet vocês usam, e quais são as velocidade de download e upload
Posso fazer um video sobre isso, mas nossa Internet bate 2.5 Gbps de Donwload e de Upload
@@AbdalaBrothers calalio 😲
top
nn seria possível iniciar os 4 testes de uma vez com um só comando por meio do SSH? 09:50
Seria, só nao deu tempo kkkk de qlqr maneira, 28GB/s WTF?!?!?!?
Seria, só nao deu tempo kkkk de qlqr maneira, 28GB/s WTF?!?!?!?
Uma forma tbm seria criar um script e agendar. Que aí eles iniciariam ao mesmo tempo
poha, to a dois meses montando um servidor aqui com proxmox tbm, so que com hd horrivel e rede horrivel. deu ate vontade de desistir agora... vlw ai kkkkk
Cuidado com o Xandão kkkkkkkkkk 🤣
Já que pensam em fazer uma "Netflix" porque não fazer um braindstorming de uma "Game Cloud" Já que está mais que comprovado que potencia não falta!!.
ele falou o nome do xandão eu : tá doido que esse video caia né kkkkkkkkk
Jaja ele manda bloquear aqui já que nossa Internet bate 2.5 Gbps de download e upload HAHAH
Qual o contato do pessoal (empresa) que ajudou vocês?
Os melhores do Brasil!!! Não sei o que faria sem eles, nada dessas otimizações e VMs seriam possíveis
MG Data,
mgdata.com.br/site/
Hum sera que esse serve da pra por o Minecraft sem exceder a memória de leitura e gravação 😂😂😂😂😂😂.
Será que cabe os meus 2kb de dadosd e Excel sem exceder a memória 🤣🤣🤣🤣
Tem que criar um macro e clickar nos 4 de uma vez
A pergunta q ñ quer calar Roda Crysis em 4K 144😝FPS.
será se roda minecraft?
Pode ser uma pergunta idiota, mas seria possível testar a performance dessa máquina para jogos?
Seria um teste muito engraçado, mas nem tem GPU, teria que pegar a RTX4090 do PC gamer do simulador, da até pra fazer
nao entendi nada. mas achei bom
As vezes eu fico assim tb 😂
E se um hd/ssd falhar
Todas as Pools de todos os servers estão configuradas com paridades, ou seja, o Antonov 2 pode perder ate 4 HDDs e 2 SSDs antes de perder qualquer dado.
O Antonov 1 (Backup Server) pode perder até 2 HDDs antes de perder qualquer dado
Se qualquer HDD ou SSD falhar, a equipe da MG Data é notificada e nós avisa imediatamente para que compremos novas unidades e elas sejam substituidas no sistema.
Mas eles me falaram que no Data Center deles, esses HDDs ironwolf da Seagate, quando usados 100% 24/7 costumam ter uma vida util de aprox 7 anos, oq é bizarrrroooooo, pq por exemplo, os nossos nao vão ser usados 24/7 100%
@@AbdalaBrothers Show de bola e obrigado pelas informações
Alexandre de Moraes??? 😂😂😂 Pelo amor!
Correndo do careca
primeiro
falow flaow e nao mostrou nada. canal bost