Para redação recomendo que anexe a cartilha de redação com as competências de correção e modelos nota 1000 de anos anteriores (tá no site do INEP) e peça para ele fazer com base nela. Vai sair bem melhor!
A maioria dessas plataformas utilizam os mesmos modelos, então não vai mudar muito. Você pode ver mais sobre isso pesquisando por Opem LLOM Leaderboard 2
Iberê em 7:29 tem um detalhe importante, é o exato oposto, é muito melhor acertar uma que todo mundo acerta e errar uma que todo mundo erra, esse o melhor cenário, a TRI é criticada justamente por isso
Simmm. A ideia da TRI é não beneficiar chutes, então ela tende a punir quem acerta assunto complexo mas erra básico. Seria bom se ele fixasse um comentário com essa correção
Isso é verdade, logo que ele comentou eu já percebi esse erro, são classificados em 3 tipos de perguntas, fáceis, medias e difícil Se você acertar muitas fáceis e errar as difíceis, sua nota será maior, se acerta as difíceis e errar a fáceis é contabilizado como chute e você perde ponto por isso
Eu uso muito o GPT para programação, é uma ferramenta absurda, muitas vezes coisas que demorariam horas, fica pronta em poucos minutos, existe sim a questão da possibilidade de erro, mas para isso eu estou ali para checar.
@lecinagomespivotto3095 sim, eu tenho o conhecimento só que programar tudo isso demora muito, na minha visão, o GPT está ali para agilizar e me ensinar algo novo
Exatamente. Principalmente pra coisas simples que levariam um bom tempo para escrever, como criar uma model de uma tabela com mais de 100 colunas, levaria uns bons minutos além da chance de cometer um erro ser grande. Com o GPT é só mandar a tabela e em 10 segundos a model está pronta e perfeita. Fora encontrar bugs que levariam horas e o gpt consegue identificar no código e poupar um esforço enorme
Incrível!! Vi o Iberê no lançamento do livro sábado em Goiânia, falei que faço IA e que não ando confiando muito no GPT, ele me disse que gravariam fazendo esse teste. Só não achei que seria TÃO rápido 😂
Fiquei curioso quanto a redaçao. Seria legal se o Iberê informasse ao ChatGPT o que foi dito na análise feita pelo avaliador e pedisse pra ele reescrever a redação, melhorando-a com base no que foi dito. E já que a avaliação pode ser subjetiva. Se tivesse uma parte 2 desse video ou no ENEM do ano que vem, acho que seria interessante melhorar o método científico. Como, por exemplo, mandar redações de bons alunos (ou até escritores e jornalistas) misturado com redações feitas pelo ChatGPT. Já que o simples fato de saber que foi feito por um robô, pode influenciar na avaliação.
provavelmente não ia mudar muita coisa, pois a IA não pode estabelecer um posicionamento mto forte sobre nada, eu nunca vi um texto de IA com personalidade
Real, e o chat GPT facilmente tira nota boa se o assunto é redação. Se o chat for a versão premium, muito provavelmente é 1000 ou 980, acho que ele só quis desincentivar o uso de IA em provas
7:25 pelo contrário Iberê, se você acertar questões que ninguém acertas ( difíceis ) e erras as que todo mundo acerta ( fáceis) a TRI entende que você acertou pelo chute e sua nota diminui.
pois é, por vezes a pessoa erra uma fácil por deixar passar algo importante (por causa do tempo) e acerta uma difícil porque dedicou mas tempo à questão. Complicado.
@@BarbaraSantos-yf2dd mas se vc ta acertando tudo as mais difíceis valem mais não ? Ou na verdade todas valem a mesma coisa? Imagino que só para quem era um monte de questões fáceis que o sistema vai considerar que é chute e tirar a nota.
@@AkariKurosaki o sistema n tira nota, mas a questão pontua menos, se ela valia 20, passa a valer 15. por exemplo caso você erre uma fácil e acerte uma difícil, a difícil que valia 20, passa a valer 15
Com certeza vale testar em matemática, que é onde erros podem ser mais prejudiciais para quem usa o ChatGPT profissionalmente. Outro ponto é que em matematica não é apenas conta, mas interpretação das questões e isso pode ser bastante interessante.
Eu testei questões de lógica, essas de entrevistas de emprego online, com o chatgpt gratuito, errou praticamente a metade das questões. Mas confesso que eu queria mais testes entre elas
Submetam também a segunda prova do Enem ao mesmo processo de análise. Foi muito interessante esse teste é comparação que vocês fizeram...Parabéns a todos do Manual do Mundo!
Poxa, como doutorando e futuro professor, eu coloco as questões que levo aos meus alunos nas IA gratuítas (Gemini e ChatGPT) acertividade é menor de 50% quando as questões são contextualizadas, e são de em torno de 80% para as questões diretas, tipo "Calcule o volume do sólido limidado pelas curvas blá blá", porém, estão aprendendo e desenvolver o raciocínio, ainda erram muito! E com algumas correções como "na verdade o intevalo de x é blá blá blá e não o que você definiu" elas estão resolvendo! O aprendizado delas está, de certo modo, me surpreendendo!
Eu trabalho com modelagem de risco em um banco nos EUA. Outro dia eu tive que resolver um sistema de equações diferenciais que provavelmente eu demoraria 5 horas na mão para resolver e gastaria umas 100 folhas de papel. O chatgpt resolveu de primeira.
@@GamGam-v5g , é como aquela história do cara que cobra $100 para apertar um parafuso pq sabe qual parafuso apertar. Qualquer aluno de graduação em matemática, finanças, economia, engenharia no Brasil sabe resolver um sistema de equações diferenciais. Difícil é saber qual sistema resolver, traduzir o problema para uma abordagem matemática. E outra, eu obviamente tive que validar a resposta do chatgpt.
7:30 no caso é o contrário, se a pessoa acertar questões fáceis ganha mais ponto e se acertar questões difíceis ganha menos ponto. Foi falha a sua informação, Manual do Mundo.
Oi Iberê sou seu fã, tenho apenas agradecimentos ao seu canal. Vc me motiva cada dia mais para eu me tornar um engenheiro químico. Adoro o seu canal Se vc ver esse comentário tenha orgulho de si mesmo, vc motiva gerações.
Acho legal por ele para responder a parte de exatas. Digo isso pq já o usei assim uma vez. Não sabia como iniciar a resolução de um problema de física e o ChatGPT entendeu o problema e começou legal, mas errou COMPLETAMENTE do meo para o final, dando até uma resposta incoerente com a própria conta. Ainda assim me ajudou, pois partindo do raciocínio dele consegui realizar a questão corretamente
Para a segunda parte, peguem essa versão e coloquem a avaliação do professor, depois corrijam novamente para ver se a nota aumenta, seria legal contextualizar melhor o prompt também, sober o que ele é. E comparem várias inteligencias.
Iberê eu tenho o kit de 85 experimentos do manual do mundo e tbm tenho o grande livro de ciências e eu quero as enciclopédias para curiosos ❤❤❤ E tem mais um vídeo para explodir nossa cabeça com muitos conhecimentos.
Olá Ibere, recomendo você refazer usando esse teste usando uma IA brasileira, desenvolvida por pesquisadores da UNICAMP, a IA da Maritaca, o modelo Sábia, ele se sai melhor que o ChatGPT para língua portuguesa, inclusive em testes feitos se sai melhor no enem também! Além disso recomendação é vocês irem individualmente em cada pergunta ao invés de tentar fazer ele responder várias de uma vez, principalmente nas perguntas com imagem.
Boa sugestão. Mas pelo que encontrei nas perguntas frequentes no site deles, acho que na verdade parte do time é ou era aluno ou pesquisador da UNICAMP, apesar da empresa não ter vínculo formal com a universidade.
Os erros podem ser pelo OCR e por questões de imagens, como mencionado. Já sobre a Redação, vai depender muito do Prompt que se coloca para se parecer mais com um humano... Eu quero ver quando os agentes de IA segmentados forem apresentados numa suposta atualização de dezembro
Tanto o chatGPT quanto às outras IAs, servem pra fazer muitos vídeos interessantes sobre os mais variados temas, continua Iberê ! E segue as dicas que o pessoal está comentando nesse vídeo.
Eu acho muito legal esse tipo de conteúdo, mas faria um adendo sobre a AI na redação, a criação do texto vai de simples a algo rebuscado conforme a forma que você passa as instruções.
Além de testar com matemática podiam testar usando o Gemini no plano pago para ver como ele se sai. Confesso que hoje uso mais o ChatGPT do que o Gemini, mas por que nos planos gratuitos o ChatGPT é melhor (para mim).
Obrigada por esse vídeo, Iberê e equipe! E sim, precisamos saber como a máquina performa em matemática, porque foi o índice que mais caiu em aprendizagem no último PISA.
deixaria uma sugestão para conhecimento e aprendizado: sobre a redação diz pro GPT refazer a redação usando as considerações do professor e pedir para o mesmo professor reavaliar a redação. seria interessante.
Não sei como foi a questão da correção do texto pelo professor, mas seria legal mandar para mais de um sem avisar que é de IA (pq tem uma boa parte que acaba "torcendo o nariz" para as IAs e isso pode ter enviesado a nota). Mas show DEMAIS essa nova nota geral do GPT. Ele têm melhorado muito ao longo do tempo (até de maneira exponencial). Eu tenho usado bastante para resolver lógicas de banco de dados que as vezes estou travado para pensar uma solução. Vale muito ter a versão paga.
O professor pode muito ter "torcido o nariz" por ser texto de IA como o professor pode muito bem não ter tido o conhecimento de que era texto do ChatGPT e ter "torcido o nariz" por acreditar ser texto de Geração Z. Já ouvi muito esse papinho de falta de personalidade e repertório social-cultural vindo de entrevistador de empresa pra não contratar Geração Z.
Só uma curiosidade tem vários prompts que melhoram a resposta do chat GPT, por exemplo, prompts de redação, isso faz ele dar uma resposta mais completa e bem superior as que ele já te responde e bem legal
Eu uso MUITO o ChatGPT ele cria textos para resdes sociais e para a interação com clientes de forma quase que brilhante. Erra MUITO mas é um excelente "ponto de partida" pra quando a gente tá sem muita idéia de como começar. E sim, quero a continuação e quem sabe até, botar o chat para fazer uns concursos públicos desses mais concorridos.
Usem o modelo o1-preview para a parte 2, ele é focado para exatas, e codigo vai ser mais assertivo comparado ao 4o E com relação ao texto da redação, acredito que pecaram no prompt, ele é capaz sim de ter um repertorio sóciocultural, se for ajustado e moldado com prompts que mais assertivos com relação ao esperado pela resposta
Seria extremamente interessante ver o desempenho do o1 no mesmo teste, inclusive no de redação! Além disso, fazendo um prompt mais interessante nesse segundo caso: anexar os critérios de correção e redações nota 1000 anteriores e comparar a diferença que isso faz. No geral, um experimento muito interessante!
Salve Ibere! O vídeo tá meio desatualizado, porque já existe um modelo melhor que o GPT-4o, que é o o1-Preview, disponível na versão paga. É tipo o GPT-4o só que com um raciocinio bem maior, usando uma tecnologia de quebrar a pergunta em várias partes, fazendo um raciocínio em cadeia.
8:04 esse prompt q vc construiu para criar a redação é um prompt simples e pouco trabalhado, e como a engrenagem principal das IA's é o prompt, era prevísivel q o resultado não seria um dos mais excelentes. eu mesmo tenho um prompt próprio pro ChatGPT criar redações com repertório e tudo mais, e ele consegue fazer redações nota 900+ tranquilamente
Esse vídeo só reforçou a minha repugnância quanto ao ENEM. Uma prova que nem mesmo professores de cursinho (especialistas em ENEM) conseguem chegar a um consenso sobre quais são as respostas corretas não me parece um bom meio de avaliação
Super interessante a análise e o desafio! Fico pensando como seria o resultado se fosse utilizada a API em um contexto pergunta a pergunta. Acredito que o resultado possa ser melhor considerando que o modelo pode ficar menos propenso a alucinações ou perda geral de janela de contexto.
Excelente vídeo. Só uma pequena correção. A TRI valoriza mais o acerto de questões "fáceis", aquelas que muitos acertaram, e desvaloriza as "difíceis", não o contrário.
O Manual pensa em tudo. Cria até mesmo uma metodologia para um teste de IA. Mais um vídeo incrível! E com certeza queremos um vídeo do ChatGPT tentando resolver a prova de matemática sim e quem sabe a prova de ciências da natureza também.
mas não adiantou de nada, ele tá testando a versão gratuita e não a paga, a paga coloquei pra fazer testes de admissão de matemática e física de oxford fez os dois acertando tudo
@@Kairus_444 deu pra ver no vídeo que eles usaram a versão paga pq aparece a opção de 'busca na internet' que só tem na versão paga. {aquele globinho que aparece no campo do rpompt]
Ei sobre a redação como e que foi pedida a redação ?? Pq se você falar para ele imaginar um personagem e você dar as características desse personagem e pedir para que ele escreva do ponto de vista do personagem sai uma redação diferente do que vc só pedir para ele fazer a redação de tal tema
@obladioblada6932 no caso não seria necessário mostrar as redações de pontuação alta e sim fazer com que o chat incorpore um formato de texto tipo falar pra ele que o personagem que vai escrever a redação e tem 20 anos e que viveu até os 7 na cidade de x na província de x e que se mudou para x onde teve tais experiência de vida e tem um sotaque típico de tal lugar e alguns tiques de escrita de alguma região ou época assim o chat consegue dar mais vida a redação
Ibere. Faz video explicando como funciona aquela planta "Dorme-Dorme" na infancia brincava muito de encostar e ver ela fechando as folhas e depois abrindo.
Iberê, acredito que vale muito a pena testar na segunda fase. Tenho usado bastante o ChatGPT para produção de textos técnicos e tenho percebido que ele tem melhorado muito em assuntos como legislação brasileira. Ele eliminou muito do trabalho pesado da digitação, concatenção e organização do texto, sobrando apenas uma intervenção no sentiodo de corrigir incongruencias ou contradições no texto gerado. Ver o quanto ele pode interpretar e corrigir acertadamente questões ajuda no grau de certeza do que estou recebendo quando peço a produção de um texto assim.
Ibere, Imagino que seja possível melhorar a qualidade das respostas e até da redação escolhendo modelos mais avançados e calibrando com prompts e algumas opções mais avançadas (q não são visíveis no chatgpt plus mas sim para desenvolvedores) como por exemplo... para ele ser mais objetivo ou mais aberto a criatividade. De qualquer forma, daqui a um tempo até modelos mais básicos conseguirão resolver melhor.
Li o texto gerado pelo GPT, talvez a nota fosse maior, mas nem tanto... A tese e os argumentos são fracos, muito senso comum. Para os modelos ENEM talvez não seja o ideal (ainda). O teste do pessoal do Manual do Mundo tentou ser o mais "simples possível", apenas entregando instruções simples para a IA. Para o objetivo do video atingiu bem. Mas seria possível melhorar essa nota de redação melhorando os prompts (repito, não era o objetivo do video), especificando o que ele deveria fazer e/ou quando. Para isso é preciso saber tanto de redação e também um pouco de engenharia de prompt (o objetivo do video é simular uma pessoal sem conhecimento algum sobre - ou preguiçoso).
@@yotozangue seriao que tu quer complicar algo simples? Sequer precisa saber engenharia de prompt kkkkkkkkk oq caralhos é isso? Digita ai prompt generator AI no google ou search chatgpt que teu 'engenheiro de prompt' vai pro ralo. Além disso, gostaria de pontuar que realmente conhecendo melhor o modelo de uma redação, a resposta seria muito mais sofisticada
@@gabrielferreira2751 kkkkkk como? Garanto que meu sobrinho de 3 anos só precisa pesquisar 'prompt generator ai' ou 'gerador de prompt inteligente' no google é acabou. Ele n precisou saber nd de prompt, isso é senso comum plmds
Iberê, o Guanabara do canal Curso em vídeo está fazendo um curso sobre Engenharia de Prompt, acredito que seria interessante um vídeo tratando sobre como um comando de Prompt melhorado alteraria essa nota da redação.
Iberê! Excelente! Vale e vale muito continuar com o segundo dia de prova. E sugiro testar outras LLMs como o Copilot por exemplo, onde você pode subir a imagem da questão e solicitar que seja feita a resolução. Nos testes que fiz acertou mais que o ChatGPT.
@@gabrielmachado913 negativo, um ser humano já sabe por padrão que deve fazer o texto de determinadas formas: criativo, gramaticalmente correto e afins, uma IA ela é feita para dar a resposta que terá maior chance de agradar o usuário, refinar o prompt é tu guiar ela a fazer algo com uma linha semelhante ao que um ser humano faria, seria com consulta caso fosse dado algum material externo, tipo um livro ou acesso a Internet.
@@Luiz-pog não, as pessoas não compreendem da mesma maneira o que deve ser feito são diferenças naturais, a IA também tem essas diferenças naturais é claro que se tu pegar um IA especializada para criação de redações ela vai ir melhor, da mesma maneira que se antes da redação alguém explicar para todos na sala exatamente o que deve ser feito, vai ter muito mais pessoas indo bem, e a IA tem acesso a livros e a conteúdo da Internet(ainda que não em tempo real) e vai saber filtrar melhor as informações que a maioria das pessoas.
A ideia de uma AI generativa é de criar é de aprender por conta própria, se você colocar o que é pra fazer ela acertaria, porém seria igual uma outra ia especializada em fazer redações do enem que foram programadas para fazer aquilo daquele jeito, daqui pra frente com certeza ela vai aprender a fazer essas redações por conta própria pelo meio de gerar conteúdo do zero
Esse cálculo da nota do enem está totalmente errado e ao contrário só pra avisar, se vc erra uma questão q "todo mundo acertou" sua nota despenca, as questões difíceis só são consideradas com uma grande pontuação quando vc acerta uma quantidade x de questões fáceis
@@PauloCanedo cpm certeza , por isso a correção foi mais rígida, do contrário daria nota mais alta, as observações foi puxando a orelha da IA e exaltando o ser humano.
acabei de parabenizar ele aqui. tb perguntei qual faculdade ele quer fazer e ele respondeu o seguinte: "Psicologia. Entender a mente humana de maneira mais profunda e explorar o que influencia as escolhas, emoções e comportamentos seria incrível. Acho que seria uma boa base para entender melhor vocês e oferecer ainda mais suporte nas questões emocionais e práticas do dia a dia!"
Eu já comecei a usar bastante o chat GPT para questões extremamente técnicas, mas sempre com o pé atrás e sempre pego algum erro na pesquisa ou mesmo no resultado de cálculo. É bom para ajudar a fazer algum trabalho que você já sabe fazer, só que a IA faz mais rápido. Então você só confere se está certo.
Exato, é uma ótima ferramenta quando você já sabe o conteúdo da questão. Sou estudante de engenharia e gosto de brincar com essas IA's, e as vezes fico assustado em como elas acertam certas questões em segundos
O principal problema no uso do ChatGPT está na formulação das perguntas. É necessário fornecer contexto, apresentar uma questão por vez para que os tokens sejam utilizados de forma mais eficaz em cada pergunta, e não em todas ao mesmo tempo. Para a redação, é igualmente importante oferecer o contexto completo, incluindo gráficos e imagens quando aplicável, o que não foi feito. Texto gerado pelo ChatGPT.
O Manual do Mundo deveria pedir pra alguém da Alura fazer esse trabalho. Fariam com mais cuidado. Mas é preciso umas 10 pessoas pra fazer isso rápido o suficiente.
Ibere, você perdeu duas oportunidades. A primeira foi enviar ao ChatGPT a correção do professor para ver se ele reescreveria a redação de forma diferente. A segunda foi você competir com ele o resultado 😊
Na minha opinião, não so merece uma continuação com ele respondendo a prova de exatas, mas também comparar com outras IAs, como Gemini e Meta AI.
Up
up man
Up
meta ia vai errar tudo kkkkkk
Tem q testar o Copilot da Microsoft e o Grok do Twitter também
Para redação recomendo que anexe a cartilha de redação com as competências de correção e modelos nota 1000 de anos anteriores (tá no site do INEP) e peça para ele fazer com base nela. Vai sair bem melhor!
isso é verdade, em...
tbm da pra pedir q use um vocabulario mais formal
Exatamente. Ou fazer um prompt melhor, com certeza ele faria uma redação melhor.
E colocar os textos motivadores também
Eu fiz isso e ficou bem melhor, ficou mais impactante
Iberê, depois compara a performance das diferentes IA gratuitas. Quem será que tira a maior nota?
💚🎃🤯🩵🥳👏😮😁😄😃😀😆😅🥰😘😚😍🤩
Ou IAs open source como a llama, gpt-2 e o grok
Up
Mas já tem um ranking desse na internet
A maioria dessas plataformas utilizam os mesmos modelos, então não vai mudar muito. Você pode ver mais sobre isso pesquisando por Opem LLOM Leaderboard 2
Iberê em 7:29 tem um detalhe importante, é o exato oposto, é muito melhor acertar uma que todo mundo acerta e errar uma que todo mundo erra, esse o melhor cenário, a TRI é criticada justamente por isso
Simmm. A ideia da TRI é não beneficiar chutes, então ela tende a punir quem acerta assunto complexo mas erra básico. Seria bom se ele fixasse um comentário com essa correção
Isso é verdade, logo que ele comentou eu já percebi esse erro, são classificados em 3 tipos de perguntas, fáceis, medias e difícil
Se você acertar muitas fáceis e errar as difíceis, sua nota será maior, se acerta as difíceis e errar a fáceis é contabilizado como chute e você perde ponto por isso
eu acho mt paia, pq a ideia de dificuldade é meio q individual
Perfeito
Up
Oi Iberê, acho muito importante esses tipos de vídeo sobre IA
Também acho
Também
De fato é importante mas deveria ser feito com mais cuidado. Ele acabou repetindo uma falácia comum sobre IAs.
Eu uso muito o GPT para programação, é uma ferramenta absurda, muitas vezes coisas que demorariam horas, fica pronta em poucos minutos, existe sim a questão da possibilidade de erro, mas para isso eu estou ali para checar.
resumindo se faz necessário o conhecimento para checar....
@lecinagomespivotto3095 sim, eu tenho o conhecimento só que programar tudo isso demora muito, na minha visão, o GPT está ali para agilizar e me ensinar algo novo
Exatamente. Principalmente pra coisas simples que levariam um bom tempo para escrever, como criar uma model de uma tabela com mais de 100 colunas, levaria uns bons minutos além da chance de cometer um erro ser grande. Com o GPT é só mandar a tabela e em 10 segundos a model está pronta e perfeita. Fora encontrar bugs que levariam horas e o gpt consegue identificar no código e poupar um esforço enorme
Incrível!! Vi o Iberê no lançamento do livro sábado em Goiânia, falei que faço IA e que não ando confiando muito no GPT, ele me disse que gravariam fazendo esse teste. Só não achei que seria TÃO rápido 😂
Quando a pessoa não acredita que encontra a colega de turma nos comentários. 😂 Ótimo comentário, por sinal. 😊
@@fabianocaetanodesouza2247 🤣🤣🤣, acompanho todos os videos do Manual do Mundo, sempre estou por aqui kkkk
@@fernandabufon7954 você faz IA onde? Sou de Anápolis
pq não anda cofiando mt no chatgpt?
Eu gostaria de um duelo entre chat GPT e Gemini AI
Acho q o chat gpt é mais avançado
Compensa mais fazer um duelo entre Chat GPT e Claude mais avançado
Eles são os melhores até então. Gemini, Meta Ai etc são fraquinhos ainda
É tipo colocar um adulto e um bebê pra lutar, n tem sentido
Tem vídeo deles jogando xadrez um contra o outro
@@daniboy1760 Sem que eles saibam!
Fiquei curioso quanto a redaçao. Seria legal se o Iberê informasse ao ChatGPT o que foi dito na análise feita pelo avaliador e pedisse pra ele reescrever a redação, melhorando-a com base no que foi dito.
E já que a avaliação pode ser subjetiva. Se tivesse uma parte 2 desse video ou no ENEM do ano que vem, acho que seria interessante melhorar o método científico. Como, por exemplo, mandar redações de bons alunos (ou até escritores e jornalistas) misturado com redações feitas pelo ChatGPT. Já que o simples fato de saber que foi feito por um robô, pode influenciar na avaliação.
Up
Up
@@BatMouse-1989 verdade ! 👍
provavelmente não ia mudar muita coisa, pois a IA não pode estabelecer um posicionamento mto forte sobre nada, eu nunca vi um texto de IA com personalidade
Real, e o chat GPT facilmente tira nota boa se o assunto é redação.
Se o chat for a versão premium, muito provavelmente é 1000 ou 980, acho que ele só quis desincentivar o uso de IA em provas
7:25 pelo contrário Iberê, se você acertar questões que ninguém acertas ( difíceis ) e erras as que todo mundo acerta ( fáceis) a TRI entende que você acertou pelo chute e sua nota diminui.
pois é, por vezes a pessoa erra uma fácil por deixar passar algo importante (por causa do tempo) e acerta uma difícil porque dedicou mas tempo à questão.
Complicado.
A nota nunca diminui por acertar no ENEM, ela só aumenta menos
@@BarbaraSantos-yf2dd mas se vc ta acertando tudo as mais difíceis valem mais não ? Ou na verdade todas valem a mesma coisa?
Imagino que só para quem era um monte de questões fáceis que o sistema vai considerar que é chute e tirar a nota.
@@AkariKurosaki o sistema n tira nota, mas a questão pontua menos, se ela valia 20, passa a valer 15. por exemplo caso você erre uma fácil e acerte uma difícil, a difícil que valia 20, passa a valer 15
mas e se eu tiver acertando as difíceis sem chutar e errando as fáceis por desatenção?
Com certeza vale testar em matemática, que é onde erros podem ser mais prejudiciais para quem usa o ChatGPT profissionalmente. Outro ponto é que em matematica não é apenas conta, mas interpretação das questões e isso pode ser bastante interessante.
Na biologia também, já que na biologia não existe exatidão e tudo é variável.
@@WenderVFX para ia e bem mais facil
Eu testei questões de lógica, essas de entrevistas de emprego online, com o chatgpt gratuito, errou praticamente a metade das questões. Mas confesso que eu queria mais testes entre elas
Submetam também a segunda prova do Enem ao mesmo processo de análise. Foi muito interessante esse teste é comparação que vocês fizeram...Parabéns a todos do Manual do Mundo!
Poxa, como doutorando e futuro professor, eu coloco as questões que levo aos meus alunos nas IA gratuítas (Gemini e ChatGPT) acertividade é menor de 50% quando as questões são contextualizadas, e são de em torno de 80% para as questões diretas, tipo "Calcule o volume do sólido limidado pelas curvas blá blá", porém, estão aprendendo e desenvolver o raciocínio, ainda erram muito!
E com algumas correções como "na verdade o intevalo de x é blá blá blá e não o que você definiu" elas estão resolvendo! O aprendizado delas está, de certo modo, me surpreendendo!
Eu trabalho com modelagem de risco em um banco nos EUA. Outro dia eu tive que resolver um sistema de equações diferenciais que provavelmente eu demoraria 5 horas na mão para resolver e gastaria umas 100 folhas de papel. O chatgpt resolveu de primeira.
So que se esse é o seu único trabalho ou que se destaca no seu trabalho pode ser que vão perceber isso uma hora ou outra
@@GamGam-v5g , é como aquela história do cara que cobra $100 para apertar um parafuso pq sabe qual parafuso apertar. Qualquer aluno de graduação em matemática, finanças, economia, engenharia no Brasil sabe resolver um sistema de equações diferenciais. Difícil é saber qual sistema resolver, traduzir o problema para uma abordagem matemática. E outra, eu obviamente tive que validar a resposta do chatgpt.
@@pricardoso4189 ata então tu tá Dboa, bom que seu chefe não tem graduação em modelagem de risco
7:30 no caso é o contrário, se a pessoa acertar questões fáceis ganha mais ponto e se acertar questões difíceis ganha menos ponto. Foi falha a sua informação, Manual do Mundo.
Oi Iberê sou seu fã, tenho apenas agradecimentos ao seu canal.
Vc me motiva cada dia mais para eu me tornar um engenheiro químico.
Adoro o seu canal
Se vc ver esse comentário tenha orgulho de si mesmo, vc motiva gerações.
Iberê, coloca o Chat GPT pra resolver a prova do ITA
Trás a continuação com a prova do segundo dia também por favor!!!
Iberê, sobre a redação, tem como mostrar qual foi o prompt? Porque é essencial você "personificar" o gpt para trazer essas nuances de redação.
tá na descrição.
Acho legal por ele para responder a parte de exatas. Digo isso pq já o usei assim uma vez. Não sabia como iniciar a resolução de um problema de física e o ChatGPT entendeu o problema e começou legal, mas errou COMPLETAMENTE do meo para o final, dando até uma resposta incoerente com a própria conta. Ainda assim me ajudou, pois partindo do raciocínio dele consegui realizar a questão corretamente
8:53 Sobre a questão da personalidade, dava de pedir para ele intrepertar uma pessoa dizendo o genero, cultura e etc, ai a maneira da escrita muda.
Creio que na redação, voce poderia pontuar essas coisas que o professor falou. garanto que ele iria arrumar e tirar 1000 ou quase.
Para a segunda parte, peguem essa versão e coloquem a avaliação do professor, depois corrijam novamente para ver se a nota aumenta, seria legal contextualizar melhor o prompt também, sober o que ele é. E comparem várias inteligencias.
Iberê eu tenho o kit de 85 experimentos do manual do mundo e tbm tenho o grande livro de ciências e eu quero as enciclopédias para curiosos ❤❤❤
E tem mais um vídeo para explodir nossa cabeça com muitos conhecimentos.
Olá Ibere, recomendo você refazer usando esse teste usando uma IA brasileira, desenvolvida por pesquisadores da UNICAMP, a IA da Maritaca, o modelo Sábia, ele se sai melhor que o ChatGPT para língua portuguesa, inclusive em testes feitos se sai melhor no enem também! Além disso recomendação é vocês irem individualmente em cada pergunta ao invés de tentar fazer ele responder várias de uma vez, principalmente nas perguntas com imagem.
Boa sugestão. Mas pelo que encontrei nas perguntas frequentes no site deles, acho que na verdade parte do time é ou era aluno ou pesquisador da UNICAMP, apesar da empresa não ter vínculo formal com a universidade.
@@projetoesparta é isso mesmo, eu que me confundi! São da unicamp
Os erros podem ser pelo OCR e por questões de imagens, como mencionado. Já sobre a Redação, vai depender muito do Prompt que se coloca para se parecer mais com um humano... Eu quero ver quando os agentes de IA segmentados forem apresentados numa suposta atualização de dezembro
Tanto o chatGPT quanto às outras IAs, servem pra fazer muitos vídeos interessantes sobre os mais variados temas, continua Iberê ! E segue as dicas que o pessoal está comentando nesse vídeo.
UP!
Eu acho muito legal esse tipo de conteúdo, mas faria um adendo sobre a AI na redação, a criação do texto vai de simples a algo rebuscado conforme a forma que você passa as instruções.
Que seu dia seja perfeito e seu desejo seja realizado
Além de testar com matemática podiam testar usando o Gemini no plano pago para ver como ele se sai.
Confesso que hoje uso mais o ChatGPT do que o Gemini, mas por que nos planos gratuitos o ChatGPT é melhor (para mim).
Obrigada por esse vídeo, Iberê e equipe! E sim, precisamos saber como a máquina performa em matemática, porque foi o índice que mais caiu em aprendizagem no último PISA.
deixaria uma sugestão para conhecimento e aprendizado: sobre a redação diz pro GPT refazer a redação usando as considerações do professor e pedir para o mesmo professor reavaliar a redação. seria interessante.
Muito interessante! Com certeza quero ver o resultado para prova de exatas.
Não sei como foi a questão da correção do texto pelo professor, mas seria legal mandar para mais de um sem avisar que é de IA (pq tem uma boa parte que acaba "torcendo o nariz" para as IAs e isso pode ter enviesado a nota).
Mas show DEMAIS essa nova nota geral do GPT. Ele têm melhorado muito ao longo do tempo (até de maneira exponencial). Eu tenho usado bastante para resolver lógicas de banco de dados que as vezes estou travado para pensar uma solução. Vale muito ter a versão paga.
O professor pode muito ter "torcido o nariz" por ser texto de IA como o professor pode muito bem não ter tido o conhecimento de que era texto do ChatGPT e ter "torcido o nariz" por acreditar ser texto de Geração Z.
Já ouvi muito esse papinho de falta de personalidade e repertório social-cultural vindo de entrevistador de empresa pra não contratar Geração Z.
Melhor curso no you tube , tem aula completa, GUSTAVO GUANABARA, ENCINA DO DO ZERO MESMO
Vale muito testar matemática próximo domingo!! Top d mais o video
Vai ser ótimo ver no da semana que vem!
Excelente vídeo, mais uma vez. Parabéns!
Quero ver com a parte de matemática tbm. Um duelo entre as IAs tbm seria legal
Só uma curiosidade tem vários prompts que melhoram a resposta do chat GPT, por exemplo, prompts de redação, isso faz ele dar uma resposta mais completa e bem superior as que ele já te responde e bem legal
Eu uso MUITO o ChatGPT ele cria textos para resdes sociais e para a interação com clientes de forma quase que brilhante.
Erra MUITO mas é um excelente "ponto de partida" pra quando a gente tá sem muita idéia de como começar.
E sim, quero a continuação e quem sabe até, botar o chat para fazer uns concursos públicos desses mais concorridos.
Usem o modelo o1-preview para a parte 2, ele é focado para exatas, e codigo
vai ser mais assertivo comparado ao 4o
E com relação ao texto da redação, acredito que pecaram no prompt, ele é capaz sim de ter um repertorio sóciocultural, se for ajustado e moldado com prompts que mais assertivos com relação ao esperado pela resposta
Seria extremamente interessante ver o desempenho do o1 no mesmo teste, inclusive no de redação! Além disso, fazendo um prompt mais interessante nesse segundo caso: anexar os critérios de correção e redações nota 1000 anteriores e comparar a diferença que isso faz. No geral, um experimento muito interessante!
Salve Ibere! O vídeo tá meio desatualizado, porque já existe um modelo melhor que o GPT-4o, que é o o1-Preview, disponível na versão paga. É tipo o GPT-4o só que com um raciocinio bem maior, usando uma tecnologia de quebrar a pergunta em várias partes, fazendo um raciocínio em cadeia.
Agora que vi que o carinha falou do o1, mas eu acho que vocês decidiram não utilizar, por conta das imagens
Acho que ele usasse o GrokAI tbm teria resultados melhores porque esse modelo da xAi tem 300 bilhoes de parametros enquanto o 4o tem 150 bilhoes.
@@yOkay_ o gemini tem mt + e a burrice dele e incrivel
@@yOkay_ O GPT-4o ainda lidera os benchmarks, mas claro, ainda está atrás do o1
@@otetdotdmg gemini é pior de todos
Rapaz, plantão sensacional do Manual! E em matemática, essa eu (que sou péssimo) quero ver também!
8:04 esse prompt q vc construiu para criar a redação é um prompt simples e pouco trabalhado, e como a engrenagem principal das IA's é o prompt, era prevísivel q o resultado não seria um dos mais excelentes. eu mesmo tenho um prompt próprio pro ChatGPT criar redações com repertório e tudo mais, e ele consegue fazer redações nota 900+ tranquilamente
Vc criou esse prompt ou encontrou?
@projetoesparta eu criei. não só ele como variações dele (acho q eu tenho uns 5~10 prompts pra criar redação)
Iberê, pode fazer um vídeo ensinando como pintar plástico transparente sem perder a translucidez?
Esse vídeo só reforçou a minha repugnância quanto ao ENEM. Uma prova que nem mesmo professores de cursinho (especialistas em ENEM) conseguem chegar a um consenso sobre quais são as respostas corretas não me parece um bom meio de avaliação
Iberê traz mais vídeos assim, muitooooo interessante!! Você é nota 1000
Na redação do ENEM, se tivesse informado os critérios de avaliação da redação para o ChatGPT, certamente, ele teria ido muito melhor.
tb acho
Super interessante a análise e o desafio! Fico pensando como seria o resultado se fosse utilizada a API em um contexto pergunta a pergunta. Acredito que o resultado possa ser melhor considerando que o modelo pode ficar menos propenso a alucinações ou perda geral de janela de contexto.
Ô Iberê SENSACIONAL HEIN!!!
Excelente vídeo. Só uma pequena correção. A TRI valoriza mais o acerto de questões "fáceis", aquelas que muitos acertaram, e desvaloriza as "difíceis", não o contrário.
O Manual pensa em tudo. Cria até mesmo uma metodologia para um teste de IA. Mais um vídeo incrível! E com certeza queremos um vídeo do ChatGPT tentando resolver a prova de matemática sim e quem sabe a prova de ciências da natureza também.
mas não adiantou de nada, ele tá testando a versão gratuita e não a paga, a paga coloquei pra fazer testes de admissão de matemática e física de oxford fez os dois acertando tudo
@@Kairus_444 deu pra ver no vídeo que eles usaram a versão paga pq aparece a opção de 'busca na internet' que só tem na versão paga. {aquele globinho que aparece no campo do rpompt]
Iberê faz um vídeo indo pra billund, Dinamarca, pra ver como é feito os minifigures e lego's como eles são feitos
Ei sobre a redação como e que foi pedida a redação ??
Pq se você falar para ele imaginar um personagem e você dar as características desse personagem e pedir para que ele escreva do ponto de vista do personagem sai uma redação diferente do que vc só pedir para ele fazer a redação de tal tema
Sim, mostrar modelos de redações com pontuação máxima.
@obladioblada6932 no caso não seria necessário mostrar as redações de pontuação alta e sim fazer com que o chat incorpore um formato de texto tipo falar pra ele que o personagem que vai escrever a redação e tem 20 anos e que viveu até os 7 na cidade de x na província de x e que se mudou para x onde teve tais experiência de vida e tem um sotaque típico de tal lugar e alguns tiques de escrita de alguma região ou época assim o chat consegue dar mais vida a redação
Ibere.
Faz video explicando como funciona aquela planta "Dorme-Dorme" na infancia brincava muito de encostar e ver ela fechando as folhas e depois abrindo.
Essas resoluções é bom para compararmos o avanço e verificarmos as inteligências artificiais para saber qual está mais desenvolvidas.
CARAMBA, acompanho esse canal desde de muito pequeno, eu adorava o submarino, via toda hora na tv da minha mãe, muita nostalgia
Sobre as questões que tem imagem, era melhor fazer elas uma de cada vez, colocando a imagem da questão. Pra ver qual o resultado
Iberê, acredito que vale muito a pena testar na segunda fase. Tenho usado bastante o ChatGPT para produção de textos técnicos e tenho percebido que ele tem melhorado muito em assuntos como legislação brasileira. Ele eliminou muito do trabalho pesado da digitação, concatenção e organização do texto, sobrando apenas uma intervenção no sentiodo de corrigir incongruencias ou contradições no texto gerado. Ver o quanto ele pode interpretar e corrigir acertadamente questões ajuda no grau de certeza do que estou recebendo quando peço a produção de um texto assim.
Ibere, Imagino que seja possível melhorar a qualidade das respostas e até da redação escolhendo modelos mais avançados e calibrando com prompts e algumas opções mais avançadas (q não são visíveis no chatgpt plus mas sim para desenvolvedores) como por exemplo... para ele ser mais objetivo ou mais aberto a criatividade.
De qualquer forma, daqui a um tempo até modelos mais básicos conseguirão resolver melhor.
Em breve a OpenAI vai lançar o modelo mais poderoso deles. Aí sim estaremos com problemas. Essa IA está melhorando rápido.
Apliquei o mesmo teste em provas do CFC (contabilidade) e deu exatamente o mesmo índice de acerto. 90%. Incrível a consistência!
Recebi a notificação e já entrei, porque lembrei do seu primiero vídeo do enem, estou curioso para ver se o gpt vai conseguir 😊
Parabéns pelo conteudo Iberê.
Amo esse canal
Parte 2 daquele vídeo? Genial
Eu acredito que SE o professor de portugues NAO soubesse que era o chat gpt, provavelmente teria dado uma nota maior...
Li o texto gerado pelo GPT, talvez a nota fosse maior, mas nem tanto...
A tese e os argumentos são fracos, muito senso comum. Para os modelos ENEM talvez não seja o ideal (ainda).
O teste do pessoal do Manual do Mundo tentou ser o mais "simples possível", apenas entregando instruções simples para a IA. Para o objetivo do video atingiu bem.
Mas seria possível melhorar essa nota de redação melhorando os prompts (repito, não era o objetivo do video), especificando o que ele deveria fazer e/ou quando. Para isso é preciso saber tanto de redação e também um pouco de engenharia de prompt (o objetivo do video é simular uma pessoal sem conhecimento algum sobre - ou preguiçoso).
@@yotozangue seriao que tu quer complicar algo simples?
Sequer precisa saber engenharia de prompt kkkkkkkkk oq caralhos é isso? Digita ai prompt generator AI no google ou search chatgpt que teu 'engenheiro de prompt' vai pro ralo. Além disso, gostaria de pontuar que realmente conhecendo melhor o modelo de uma redação, a resposta seria muito mais sofisticada
@@toukyJK ou seja, a pessoa vai precisar ao minimo saber que precisa melhorar o prompt, logo precisa entender de prompt🙃
@@gabrielferreira2751 kkkkkk como? Garanto que meu sobrinho de 3 anos só precisa pesquisar 'prompt generator ai' ou 'gerador de prompt inteligente' no google é acabou. Ele n precisou saber nd de prompt, isso é senso comum plmds
E a msm coisa de eu perguntar ao chatgpt, como melhorar o meu prompt. Eu precisei entender de prompt pra isso? Claro que n
Iberê, o Guanabara do canal Curso em vídeo está fazendo um curso sobre Engenharia de Prompt, acredito que seria interessante um vídeo tratando sobre como um comando de Prompt melhorado alteraria essa nota da redação.
Iberê! Excelente! Vale e vale muito continuar com o segundo dia de prova. E sugiro testar outras LLMs como o Copilot por exemplo, onde você pode subir a imagem da questão e solicitar que seja feita a resolução. Nos testes que fiz acertou mais que o ChatGPT.
EXCELENTE VÍDEO, MELHOR CANAL DO UA-cam BY FAR
Na redação era só refinar o prompt colocando as competências que ele precisa cumprir, duvido que seria menor que 900
É uma prova não pode ter ajuda extra, refinar o prompt é prova com consulta.
@@gabrielmachado913 Mas a gente não estuda as competências pra fazer a redação?
@@gabrielmachado913 negativo, um ser humano já sabe por padrão que deve fazer o texto de determinadas formas: criativo, gramaticalmente correto e afins, uma IA ela é feita para dar a resposta que terá maior chance de agradar o usuário, refinar o prompt é tu guiar ela a fazer algo com uma linha semelhante ao que um ser humano faria, seria com consulta caso fosse dado algum material externo, tipo um livro ou acesso a Internet.
@@Luiz-pog não, as pessoas não compreendem da mesma maneira o que deve ser feito são diferenças naturais, a IA também tem essas diferenças naturais é claro que se tu pegar um IA especializada para criação de redações ela vai ir melhor, da mesma maneira que se antes da redação alguém explicar para todos na sala exatamente o que deve ser feito, vai ter muito mais pessoas indo bem, e a IA tem acesso a livros e a conteúdo da Internet(ainda que não em tempo real) e vai saber filtrar melhor as informações que a maioria das pessoas.
A ideia de uma AI generativa é de criar é de aprender por conta própria, se você colocar o que é pra fazer ela acertaria, porém seria igual uma outra ia especializada em fazer redações do enem que foram programadas para fazer aquilo daquele jeito, daqui pra frente com certeza ela vai aprender a fazer essas redações por conta própria pelo meio de gerar conteúdo do zero
Agora faz Chat GPT VS Gemini
Chatgpt nesse vídeo é um aluno qualquer do Japão fazendo o Enem kkk
Gostaria de ver um comparativo entre ChatGPT, Gemini e Claude, e o teste com o GPT-o1.
Esse cálculo da nota do enem está totalmente errado e ao contrário só pra avisar, se vc erra uma questão q "todo mundo acertou" sua nota despenca, as questões difíceis só são consideradas com uma grande pontuação quando vc acerta uma quantidade x de questões fáceis
Queremos ver o vídeo dele comparado a outras IA.
Faz a parte 2, com a provas de natureza e matemática. Da up pessoal, pra ele ver
Up
Up
Up
Up
Up
Ótimo para estudar, ele pode entregar resoluções comentadas das questões ; )
Mas é bom conferir, as vezes ele se equivoca.
É porque o ENEM "usa uma fórmula pronta" de redaqção. Quando o Chat GPT aprender isso, já era.
Claro que vocês tem que testar a segunda parte. E sei que vão.
Acho que é importante mencionar se o professor que corrigiu a redação tinha conhecimento que se tratava de um texto feito pelo ChatGPT
@@PauloCanedo cpm certeza , por isso a correção foi mais rígida, do contrário daria nota mais alta, as observações foi puxando a orelha da IA e exaltando o ser humano.
@@felipefernando7881 exato
Sem dúvidas séria mais alta kk
Oi Iberê, tudo bem? Eu tava em bh ontem e esqueci de te falar uma sugestão. Faz um boravê na Arcelor Mittal de João Monlevade.
acabei de parabenizar ele aqui. tb perguntei qual faculdade ele quer fazer e ele respondeu o seguinte:
"Psicologia. Entender a mente humana de maneira mais profunda e explorar o que influencia as escolhas, emoções e comportamentos seria incrível. Acho que seria uma boa base para entender melhor vocês e oferecer ainda mais suporte nas questões emocionais e práticas do dia a dia!"
Façam o teste com a prova de matemática. Eu estou ansiosa para ver o resultado.
Eu gostaria de saber se o professor que corrigiu a prova sabia que não foi um humano quem escreveu.
Iberê, poderia fazer um vídeo explicando se é possível fazer com que o "cabelo branco" volte a ter sua tonalidade natural?
Fala, Iberê!!!!
Faz o de matemática também Iberê!
Eu já comecei a usar bastante o chat GPT para questões extremamente técnicas, mas sempre com o pé atrás e sempre pego algum erro na pesquisa ou mesmo no resultado de cálculo. É bom para ajudar a fazer algum trabalho que você já sabe fazer, só que a IA faz mais rápido. Então você só confere se está certo.
Exato, é uma ótima ferramenta quando você já sabe o conteúdo da questão. Sou estudante de engenharia e gosto de brincar com essas IA's, e as vezes fico assustado em como elas acertam certas questões em segundos
seria legal enviar o que o professor de redação corrigiu e pedir para o chat reescrever a redação, acredito que iria melhorar ainda mais
Melhor canal
Adoro seus vídeos, apredi a assistir quando meu filho tinha uns 7 anos e me chamava pra assistir e hoje ele tem 25 anos e ainda assistimos.....❤
As contas não batem moça kkkkk
talvez devesse ser 15@@LucasRodrigues-tg5pc
O principal problema no uso do ChatGPT está na formulação das perguntas. É necessário fornecer contexto, apresentar uma questão por vez para que os tokens sejam utilizados de forma mais eficaz em cada pergunta, e não em todas ao mesmo tempo. Para a redação, é igualmente importante oferecer o contexto completo, incluindo gráficos e imagens quando aplicável, o que não foi feito.
Texto gerado pelo ChatGPT.
O Manual do Mundo deveria pedir pra alguém da Alura fazer esse trabalho. Fariam com mais cuidado. Mas é preciso umas 10 pessoas pra fazer isso rápido o suficiente.
Acho que é até pior que isso... Procure por "modelo pronto de redação nota mil". Uma redação cópia da outra.
Gosto muito do canal e sempre assisto os vídeos novos!
se nem uma inteligência artificial gabarita o Enem, imagino nós meros mortais
Bom vídeo. Faz do segundo dia tbm!
Ué, mas se o ChatGPT conseguir gabaritar o Enem, ele é que não precisa de escola, a gente continua precisando...
@@raphaelleiteiro kkkkk pprt
Professor Noslen, onde você estaaaaaa
Esse cara é brabo, me salvou lá em 2017
5:15 que começa de fato
Gênio, yt Premium
Não um herói que queremos, mas um que queremos
Ibere, você perdeu duas oportunidades. A primeira foi enviar ao ChatGPT a correção do professor para ver se ele reescreveria a redação de forma diferente.
A segunda foi você competir com ele o resultado 😊
Vc já fez isso aí man, eu lembro