Meus parabens meu camarada vc me ajudou bastnte .ficou muito om ua explicaçao .Esse eo primeiro video demorado que explicou tudo e tirou varias duvidas . eu ja vi videos demorados que explicam nada no final mas o seu esta de parabens !!!!
Adeilton Junior O Squid nativamente não faz cache de páginas com conteúdo dinâmico. Testei diversas funções que o permite com scripts storeurl, porém tive problemas, as vezes o conteúdo entregue não era atualizado. Testei ferramentas com o Thunder e Speedr, até funciona bem pois o método de cacheamento é diferente do Squid por usar um banco de dados para reescrever e armazenar essas URLS, mas quanto trata-se de youtube que hoje usa protocolo HTTPS, tive vários problemas de carregamento nos vídeos. Tomei a decisão de usar um cache simples, porém funcional que não me traga problemas e aumentei o link.
Adeilton Junior O Squid só faz cache de conteúdo estático, porém com alguns programas que podem ser usados integrados ao squid, normalmente o StoreURL que é capaz de reescrever as URLS e armazená-las tratando-as como se fosse de um mesmo host, o e aplicando alguns refresh paterns. Porém com o pfSense ainda não implementei fiz com um servidor Debian rodando o Squid 2.7 e funcionou. Só não cacheava UA-cam, mas parece que já tem uma forma de forçar a navegação do UA-cam HTTPS em HTTP tornando assim possível o cache.
+HelpInfo Tutoriais como fazer a forças a navegação do UA-cam HTTPS... o pfSense ja tem como fazer cache de HTTPS sera....estou querendo montar na minha rede esse pfSense igual vc fez ai no vídeo, eu uso thunderCache e não estou muito feliz com ele não..
Erlindo Pereira Bom, nenhuma cache faz HTTPS, o que o Thunder e alguns outros caches fazem é enganar os sites usando uma técnica de reposição dos Headers nas requisições HTTP em sites como UA-cam, fazendo o mesmo pensar que se está usando um browser incompatível com HTTPS e assim abre em HTTP fazendo o cache.
ola Marcelo, tenho uma duvida, tenho controle de QOS na rede e notei que toda vez que um host usa o cache ele a sai limitado, tem como o que for de cache nao passar pelo queues? obrigado.
Não Thadeu, a forma é diferente, estarei postando uns vídeos hoje ensinando em paralelo e como gateway principal. Fique de olho! Abraços e obrigado pela visita ao canal!
Excelente vídeo! Parabéns... Gostaria de tirar uma dúvida, já fiz todos passos feito no tutorial porem, tenho um problema o conteúdo em cache sai também no Link de Internet isso na mesma velocidade da largura de banda do meu link e não do meu cache full, por favor poderias me ajudar ?
Obrigado! Hoje eu uso uma versão diferente da que foi postada no vídeo. Para marcar os pacotes é importante sinalizar ao squid para que essas marcações ocorram. No caso do Squid3 qos_flows local-hit=0x30 ou no caso do squid 2.7 tcp_outgoing_tos 0x30 all; zph_mode tos; zph_local 0x30; zph_parent 0; zph_option 136; Qualquer coisa pode perguntar
+Nielton Rodrigues Olá amigo, nesse caso as configurações mudam em relação a marcação de pacotes pois os parametros de configuração são diferentes. Nesse caso no campo de configuração adicional vc deve colocar esse parametro. qos_flows local-hit=0x30 e suprimir tcp_outgoing_tos 0x30 all; zph_mode tos; zph_local 0x30; zph_parent 0; zph_option 136; ok?
+Marcelo Santos , Obrigado por responder! É o seguinte estou usando o Brazilfw em paralelo com 01 hd - 1TB (sistema e cache/squid 3.1.20) , o PFsense disponibiliza desta função? Em relação as regras onde mudaria as marcação de pacotes, onde posso esta pesquisando sobre isto?
+Adalgildo Sousa Olá amigo, bom primeiramente é necessário criar a partição e formatar esse hd logicamente. Verifique o espaço disponível com o comando df -h e depois coloca 80% desse espaço livre no campo Hard Disk Cache Size do web admin. Lembre-se de adicionar ao fstab para que a montagem do HD ocorra na incialização do sistema. Eu explico no vídeo como criar a partição, formatar e montar. Grande abraço!
+MrLaion32 Somente conteúdo estático com essa configuração, mas existem alguns caches que fazem que são "free" porém ainda estão em fase de testes e algumas coisas acabam apresentando problemas. Um deles é o Raptor Cache
+Marcelo Santos obrigado pela atenção , eu resolvi o problema com a marcação de pacotes TOS , estou usando o a ultima versão estavel do pfsense e o squid 3.4. a duvida que tenho agora e quanto ao cache do pfsense , a versão 3.4 do squid tem log em tempo real , eu tenho agora a marcaçao dos pacotes TOS e eles estão saindo pela regra queue tree só que no relatorio do squid os urls saem sempre como TCP_miss/200 não tenho nenhum hit que é o que deveria aparecer quando o conteudo sai do cache , então fico na duvida , quem esta mentindo a saida queue do mikrotik ou o squid ou esta tudo funcionando corretamente.
+Marcelo Santos quanto ao cache dinamico , eu lamento não que ainda não haja uma solução em cima do squid do pfsense , montei um laboratorio virtual no meu pc e estou recolhendo conhecimento e tentando entender uma forma de fazer cache dinamico , vou fazer alguns teste com o raptor cache , mais uma vez obrigado pela atenção, se eu conseguir fazer um cache dinamico eficiente publico a solução no meu canal do youtube. abraço
+Nielton Rodrigues Eu não sou um expert no assunto mas eu acredito que as regras TOS pelo menos as do pfsense são as preferiveis para realizar testes ja que aqui (digo no meu caso utilizando o pfsense) esta funcionando muito bem no MK
parabens marcelo otimo trabalho fiz aqui como vc descreveu no video ficou show, agora vou correr atraz de como cachear arquivos .(mp2|mp3|mid|midi|mp[234]|wav|ram|ra|rm|au|3gp|m4r|m4a) se poder dar uma dica agradecemos
Tira uma duvida por favor. Tem como liberar um site para um determinado ip? Olhando o log do pfsense ele não mostra o ip do usuario e sim da rb (tipo que a rb esta acessando o site)
A vídeo aula mais recente PfSense + Mikrotik, excelente iniciativa, parabéns. 2 perguntas...* é preciso liberar a rede no squid? * Se tira o cabo de rede do PfSense, há navegação por parte dos usuários?
Luis Carlos Sousa Obrigado Luis pelo elogio. Sim, é necessário liberar as redes que terão acesso ao Squid. Em 32:57 tem esse passo. Eu prefiro liberar somente as rede que passarão por ele, mas também pode ser feita uma liberação total colocando todas as faixas de ips privados. Sobre tirar o cabo de rede (ou se a máquina simplesmente desligar)? Sim os usuários perderão navegação porque o Mikrotik está encaminhando os clientes para ele. O que pode ser feito é colocar uma regra no Mikrotik em Newatch para monitorar o IP do pfSense de 1 em 1 segundo, caso caia, ele desligar o redirecionamento no Mangle. Uso aqui assim e funciona muito bem. Abraços!
sim, funciona. -R é uma opção do comanda para aplicar as permissões recursivamente, quer dizer que vai aplicar na pasta e nas subpastas da principal, mas vc precisa informar a o nível de permissão para tal. Ele dessa forma não funciona. Tente por ex: chmod -R 777 nomedapasta Onde 777 é permissão total, escrita, leitura e execução
Primeiramente parabéns pelo trabalho! Eu queria fazer server DNS e Cache ao mesmo tempo, o PFsense daria esta possibilidade para integrar com o meu mikrotik ou teria que ter duas maquinas uma para o DNS e outra CACHE.
+Ray Silva Olá! Sim, vc poderia usar a LAN tranquilamente, usei a WAN nesse vídeo apenas por contar com uma única interface, por isso a necessidade de liberar as portas no firewall que nativamente são fechadas para WAN, e renomeei a mesma para LAN. Abraços!
amigo , primeiramente parabens pela video aula , muito esclarecedora . segundo fiz tudo conforme o video só que a unica coisa que não funcionou foi a marcação TOS . nao sei como resolver . teria alguma coisa que pode ser alterado nesse marcação para que ela venha a funcionar?
+MrLaion32 Olá amigo! É necessário saber qual a versão do Squid que vc está utilizando para que eu possa dizer como fazer a marcação. Pois os parâmetros mudam de acordo com a versão.
Muito boa sua vídeo aula, parabéns por compartilhas seu conhecimentos, estou tendo problemas para criar os diretórios sera que podia me dar uma forcinha? já dei permissão já reiniciei e nada. Quando passo o comando squid -z ele retorna FATAL: storeUfsDirParse: invalid size value Squid Cache (Version 2.7.STABLE9): Terminated abnormally. CPU Usage: 0.004 seconds = 0.000 user + 0.004 sys Maximum Resident Size: 0 KB Page faults with physical i/o: 0 Abort
Eu fiz assim: cd / chmod -R 777 /cache1 chmod -R 777 /cache2 chown -R proxy:proxy /cache1 chown -R proxy:proxy /cache2 squid -z FATAL: storeUfsDirParse: invalid size value Squid Cache (Version 2.7.STABLE9): Terminated abnormally. CPU Usage: 0.004 seconds = 0.000 user + 0.004 sys Maximum Resident Size: 0 KB Page faults with physical i/o: 0 Abort confirma pra mim, para ver se fiz certo por favor, desde ja agradeço pela atenção.
+jpdeJesus Moreira Ótima pergunta! Sim, vc pode fazer das duas maneiras, mas quando o acesso é distribuído em HD's a velocidade de acesso ao conteúdo do cache melhora significativamente em casos em que os acessos partem de muitos clientes simultâneos. Recomendo o uso de 2 HD's ou mais dependendo de sua rede. Como o cache é estático não vejo necessidade de mais do que isso.
opa chegando pra somar em
Boa tarde Irmão ainda no aguardo
Meus parabens meu camarada vc me ajudou bastnte .ficou muito om ua explicaçao .Esse eo primeiro video demorado que explicou tudo e tirou varias duvidas . eu ja vi videos demorados que explicam nada no final mas o seu esta de parabens !!!!
Parabéns pelos videos são muitos esclarecedores.
Se você poduer colocar mais videos tenho certeza que todos vão gosta....
Olá, desde já agradeço por compartilhar. Me diz uma coisa. No Caso de paginas dinâmicas na porta 80? qual o comportamento do cache!
Adeilton Junior O Squid nativamente não faz cache de páginas com conteúdo dinâmico. Testei diversas funções que o permite com scripts storeurl, porém tive problemas, as vezes o conteúdo entregue não era atualizado. Testei ferramentas com o Thunder e Speedr, até funciona bem pois o método de cacheamento é diferente do Squid por usar um banco de dados para reescrever e armazenar essas URLS, mas quanto trata-se de youtube que hoje usa protocolo HTTPS, tive vários problemas de carregamento nos vídeos. Tomei a decisão de usar um cache simples, porém funcional que não me traga problemas e aumentei o link.
Adeilton Junior O Squid só faz cache de conteúdo estático, porém com alguns programas que podem ser usados integrados ao squid, normalmente o StoreURL que é capaz de reescrever as URLS e armazená-las tratando-as como se fosse de um mesmo host, o e aplicando alguns refresh paterns. Porém com o pfSense ainda não implementei fiz com um servidor Debian rodando o Squid 2.7 e funcionou. Só não cacheava UA-cam, mas parece que já tem uma forma de forçar a navegação do UA-cam HTTPS em HTTP tornando assim possível o cache.
+HelpInfo Tutoriais como fazer a forças a navegação do UA-cam HTTPS... o pfSense ja tem como fazer cache de HTTPS sera....estou querendo montar na minha rede esse pfSense igual vc fez ai no vídeo, eu uso thunderCache e não estou muito feliz com ele não..
Erlindo Pereira Bom, nenhuma cache faz HTTPS, o que o Thunder e alguns outros caches fazem é enganar os sites usando uma técnica de reposição dos Headers nas requisições HTTP em sites como UA-cam, fazendo o mesmo pensar que se está usando um browser incompatível com HTTPS e assim abre em HTTP fazendo o cache.
Excelente vídeo aulas. Parabéns ...bem explicado :)
ola Marcelo, tenho uma duvida, tenho controle de QOS na rede e notei que toda vez que um host usa o cache ele a sai limitado, tem como o que for de cache nao passar pelo queues? obrigado.
Amigo, o mesmo procedimento para o pfSense 2.3.1 (acho que vem com Squid 3) ?
Não Thadeu, a forma é diferente, estarei postando uns vídeos hoje ensinando em paralelo e como gateway principal. Fique de olho! Abraços e obrigado pela visita ao canal!
Não conseguiu postar ainda os videos?
Ola faz cache https?
cara tem como diponibilizar um link para downloand dessa sua versão do pfsense. não encontro em lugar algun
vc ainda consegui fazer isso hoje me 2020?
quando eu do o comando dmesg não aparece meu hd,poderia me dizer porquer ?
Excelente vídeo! Parabéns... Gostaria de tirar uma dúvida, já fiz todos passos feito no tutorial porem, tenho um problema o conteúdo em cache sai também no Link de Internet isso na mesma velocidade da largura de banda do meu link e não do meu cache full, por favor poderias me ajudar ?
Obrigado! Hoje eu uso uma versão diferente da que foi postada no vídeo. Para marcar os pacotes é importante sinalizar ao squid para que essas marcações ocorram. No caso do Squid3 qos_flows local-hit=0x30 ou no caso do squid 2.7
tcp_outgoing_tos 0x30 all;
zph_mode tos;
zph_local 0x30;
zph_parent 0;
zph_option 136;
Qualquer coisa pode perguntar
Poderia informar se funcionaria com o SQUID 3.5 com suas configurações?
+Nielton Rodrigues Olá amigo, nesse caso as configurações mudam em relação a marcação de pacotes pois os parametros de configuração são diferentes. Nesse caso no campo de configuração adicional vc deve colocar esse parametro.
qos_flows local-hit=0x30
e suprimir
tcp_outgoing_tos 0x30 all;
zph_mode tos;
zph_local 0x30;
zph_parent 0;
zph_option 136;
ok?
+Marcelo Santos , Obrigado por responder! É o seguinte estou usando o Brazilfw em paralelo com 01 hd - 1TB (sistema e cache/squid 3.1.20) , o PFsense disponibiliza desta função? Em relação as regras onde mudaria as marcação de pacotes, onde posso esta pesquisando sobre isto?
Boa dica como seria no squid3 as regras e a instalação tem alaguna aula sobre o squid3 com mikrotik
OTIMO VIDEO VC PRESTA SERVIÇOS ONLINE AJUDARIA A CONFIGURAR SQUID E MK COM CLIENTES PPPOE
Marcelo qual seria o calculo no squid para o HD de 4TB ?
+Adalgildo Sousa Olá amigo, bom primeiramente é necessário criar a partição e formatar esse hd logicamente. Verifique o espaço disponível com o comando df -h e depois coloca 80% desse espaço livre no campo Hard Disk Cache Size do web admin. Lembre-se de adicionar ao fstab para que a montagem do HD ocorra na incialização do sistema. Eu explico no vídeo como criar a partição, formatar e montar. Grande abraço!
4TB de cache fica é lento
Faz cache de conteudo dinâmico?
+MrLaion32 Somente conteúdo estático com essa configuração, mas existem alguns caches que fazem que são "free" porém ainda estão em fase de testes e algumas coisas acabam apresentando problemas. Um deles é o Raptor Cache
+Marcelo Santos obrigado pela atenção , eu resolvi o problema com a marcação de pacotes TOS , estou usando o a ultima versão estavel do pfsense e o squid 3.4. a duvida que tenho agora e quanto ao cache do pfsense , a versão 3.4 do squid tem log em tempo real , eu tenho agora a marcaçao dos pacotes TOS e eles estão saindo pela regra queue tree só que no relatorio do squid os urls saem sempre como TCP_miss/200 não tenho nenhum hit que é o que deveria aparecer quando o conteudo sai do cache , então fico na duvida , quem esta mentindo a saida queue do mikrotik ou o squid ou esta tudo funcionando corretamente.
+Marcelo Santos quanto ao cache dinamico , eu lamento não que ainda não haja uma solução em cima do squid do pfsense , montei um laboratorio virtual no meu pc e estou recolhendo conhecimento e tentando entender uma forma de fazer cache dinamico , vou fazer alguns teste com o raptor cache , mais uma vez obrigado pela atenção, se eu conseguir fazer um cache dinamico eficiente publico a solução no meu canal do youtube. abraço
+MrLaion32 , Olá bom dia, eu poderia implementar no MK as regras do Speedr TOS 10 e 12? ou vc usou outro método para fazer os testes?
+Nielton Rodrigues Eu não sou um expert no assunto mas eu acredito que as regras TOS pelo menos as do pfsense são as preferiveis para realizar testes ja que aqui (digo no meu caso utilizando o pfsense) esta funcionando muito bem no MK
Bom dia,tenho 2hds na maquina fisica onde instalei o pfsense,mas o mesmo só reconhece um,sabe me dizer por quer ?
muito bom, tutorial sensacional, me ajudou muito.
parabens marcelo otimo trabalho fiz aqui como vc descreveu no video ficou show, agora vou correr atraz de como cachear arquivos .(mp2|mp3|mid|midi|mp[234]|wav|ram|ra|rm|au|3gp|m4r|m4a) se poder dar uma dica agradecemos
Tira uma duvida por favor.
Tem como liberar um site para um determinado ip? Olhando o log do pfsense ele não mostra o ip do usuario e sim da rb (tipo que a rb esta acessando o site)
A vídeo aula mais recente PfSense + Mikrotik, excelente iniciativa, parabéns.
2 perguntas...* é preciso liberar a rede no squid? * Se tira o cabo de rede do PfSense, há navegação por parte dos usuários?
Luis Carlos Sousa Obrigado Luis pelo elogio. Sim, é necessário liberar as redes que terão acesso ao Squid. Em 32:57 tem esse passo. Eu prefiro liberar somente as rede que passarão por ele, mas também pode ser feita uma liberação total colocando todas as faixas de ips privados. Sobre tirar o cabo de rede (ou se a máquina simplesmente desligar)? Sim os usuários perderão navegação porque o Mikrotik está encaminhando os clientes para ele. O que pode ser feito é colocar uma regra no Mikrotik em Newatch para monitorar o IP do pfSense de 1 em 1 segundo, caso caia, ele desligar o redirecionamento no Mangle. Uso aqui assim e funciona muito bem. Abraços!
compartilha ai essa regra de verificação no mikrotik ai, parceiro.
Tem as regras do mikrotik pra passar
Muito bom o vídeo amigo!!!
o comando chmod -R ??? não funciona
sim, funciona. -R é uma opção do comanda para aplicar as permissões recursivamente, quer dizer que vai aplicar na pasta e nas subpastas da principal, mas vc precisa informar a o nível de permissão para tal. Ele dessa forma não funciona. Tente por ex: chmod -R 777 nomedapasta
Onde 777 é permissão total, escrita, leitura e execução
obrigado funcionou, vlw
Meu ssh não funciona, estou usando o fpsense com vmware, alguém teve esse problema?
Primeiramente parabéns pelo trabalho! Eu queria fazer server DNS e Cache ao mesmo tempo, o PFsense daria esta possibilidade para integrar com o meu mikrotik ou teria que ter duas maquinas uma para o DNS e outra CACHE.
Olá, obrigado pela vídeo aula. Conteúdo de qualidade.
Agora sobre a interface do pfsense você usou a interface WAN, poderia estar utilizando a LAN?
+Ray Silva Olá! Sim, vc poderia usar a LAN tranquilamente, usei a WAN nesse vídeo apenas por contar com uma única interface, por isso a necessidade de liberar as portas no firewall que nativamente são fechadas para WAN, e renomeei a mesma para LAN. Abraços!
amigo , primeiramente parabens pela video aula , muito esclarecedora . segundo fiz tudo conforme o video só que a unica coisa que não funcionou foi a marcação TOS . nao sei como resolver . teria alguma coisa que pode ser alterado nesse marcação para que ela venha a funcionar?
+MrLaion32 Olá amigo! É necessário saber qual a versão do Squid que vc está utilizando para que eu possa dizer como fazer a marcação. Pois os parâmetros mudam de acordo com a versão.
Bom dia. Parabéns pelo vídeo, ficou ótimo.
Tenho uma dúvida, como faço o particionamento se colocar 2 HDs de 500GB cada (tamanho, pastas)?
amigo me passa teu email pra vermos se da pra trocar umas ideias e negociar um serviço dependendo da nossa conversa!
olá amigo, envie um e-mail para marcelo_jck@hotmail.com. Atendo por Whatsapp +55 22 9 9899 4028
Muito boa sua vídeo aula, parabéns por compartilhas seu conhecimentos, estou tendo problemas para criar os diretórios sera que podia me dar uma forcinha? já dei permissão já reiniciei e nada. Quando passo o comando squid -z ele retorna FATAL: storeUfsDirParse: invalid size value
Squid Cache (Version 2.7.STABLE9): Terminated abnormally.
CPU Usage: 0.004 seconds = 0.000 user + 0.004 sys
Maximum Resident Size: 0 KB
Page faults with physical i/o: 0
Abort
Olá amigo! Obrigado por acompanhar os vídeos! Tente aplicar as permissões depois que montar a unidade no diretório. Aplique o chown e o chmod.
Eu fiz assim:
cd /
chmod -R 777 /cache1
chmod -R 777 /cache2
chown -R proxy:proxy /cache1
chown -R proxy:proxy /cache2
squid -z
FATAL: storeUfsDirParse: invalid size value
Squid Cache (Version 2.7.STABLE9): Terminated abnormally.
CPU Usage: 0.004 seconds = 0.000 user + 0.004 sys
Maximum Resident Size: 0 KB
Page faults with physical i/o: 0
Abort
confirma pra mim, para ver se fiz certo por favor, desde ja agradeço pela atenção.
Boa tarde esse cache e paga??
prezado, é necessário 4 partições ou "4 HDs" ou não?, pode fazer as partições em um só HD?, parabéns pelo vídeo!
+jpdeJesus Moreira Ótima pergunta! Sim, vc pode fazer das duas maneiras, mas quando o acesso é distribuído em HD's a velocidade de acesso ao conteúdo do cache melhora significativamente em casos em que os acessos partem de muitos clientes simultâneos. Recomendo o uso de 2 HD's ou mais dependendo de sua rede. Como o cache é estático não vejo necessidade de mais do que isso.