천재 수학자가 밝혀낸 ‘정보’의 비밀 | 10분만에 정보 이론 이해하기
Вставка
- Опубліковано 24 вер 2024
- 책 '저글러, 땜장이, 놀이꾼, 디지털 세상을 설계하다'을 소개합니다!
본 영상은 공학한림원의 지원을 받아 제작되었습니다.
클로드 섀넌과 정보 이론에 대해 소개하는 책인데요.
알고 보면 정보 이론 참 재밌습니다!
사람들이 많이 알지는 못하지만, 레전드 수학자였던 클로드 섀넌을
한 번 만나봅시다!
👇🏻더 자세한 내용은 책을 통해 확인해보세요:)
coupa.ng/bB5I1U
위 구매링크로 도서를 구입하시면
책그림이 다음 콘텐츠를 제작하는데 소정의 도움이 됩니다:)
책그림 | 과학, 공학, 정보 이론, 클로드 섀넌
![정보이론 한 번도 안들어보신 분들을 위한 영상 [안될과학 -랩미팅 3화 1부]](http://i.ytimg.com/vi/L2BjRmvz11k/mqdefault.jpg)
책소개 유튜브는 별로 큰 의미를 두지 않앗는데 이런 마주침도 생기네요 클로드섀년에 관한 책을 만나다니 ... 국내에 소개된 몇 안되는 정보이론속에 항상 등장하지만 항상 아쉬웟던 , 좋은 정보 감사합니다.
조지부울의 명제논리가 스위치에 적용 될 수 있다고 이론적으로 제일 처음 근거를 제시한 사람은 오스트리아 물리학자 에렌페스트이죠. 그리고 클로드 새넌 이외에도 당시에 독립적으로 세스타코프(소련) 나카시마(일본)에서 이진 스위치에 적용 할 수 있다는 논문을 발표하죠.
클로드 새넌은 우연히 교양으로 들은 철학수업에서 조지 부울의 명제논리가 스위치와 작동방식과 같다는 것을 알고 놀랍니다. 그때 당시에도 이미 공대생들은 이진스위치를 가지고 여러가지 기계를 만들기는 했지만 수학적인 작동 원리를 몰랐기에 복잡하고 힘들게 만들었지만 부울대수를 이용하여 깔끔하게 해결했죠. 정말 인문학(철학)과 공학의 성공적인 만남이 아닐 수 없죠. 클로드 새넌이 이밖에도 컴퓨터공학에 이루 말 할 수 없는 공헌을 합니다.
개인적으로 가난한 구두 수선공의 아들로 태어나 공립 도서관에서 책을 읽으며 독학으로 논리학과 수학에 업적을 남긴 조지 부울의 전기가 있으면 한번 읽어 보고 싶습니다.
정보가 우리가 아직 모르는 불확실성이라는 개념 정말 신선하네요~!!
최소한의 비트로만 구성하여 전달하는 정보에 잉여성을 낮추는 기술도 진짜 신기합니다.
이렇게 0과 1만 가지고도 모든 정보를 최소한의 노력으로 정화하게 보낼 수 있는 기술이 클로드 섀년의 머리속에서 나왔다니,
이 책 역시 정말 흥미진진할 것 같네요 !! 좋은 책 소개해주셔서 감사드립니다~!!
와... 천재..라는 말 밖에 안나온다;
ㅋㅋ 근데 논리와 회로를 연결하는 모습에서 클로드는 정말 극한의 공돌이였음을 볼 수 있음 ㅋㅋㅋㅋㅋㅋㅋ
짧은 시간에 이해 못하는게 당연합니다. 정보이론이란것 자체가 굉장히 여려운 이론이고, 수학적으로 엄밀한 증명을 요구합니다. 대학에서도 고년차, 또는 대학원 과정에서 기본적인 내용을 배우는데도 한학기 이상 걸려요.
도윤아 여기서 뭐해 ㅋㅋ
도윤이 너 왜 여기에 있어 ㅋㅋ
항상 1과 0으로 처음엔 어떻게 프로그래밍 시작되었을까 궁금했는데, 여기서 해답을 찾아가네요. 좋은 풀이와 가르침 감사해요!
너무 재밌네요 ㅎ ㅎ
이런 품격 높은 영상 기대하느라 TV 는 끊었는데 유튜브는 못끊습니다.
앞으로도 많이 많이 부탁드려요💖
꺄아~!! 영광입니다! 앞으로도 좋은 영상으로 보답하겠습니다>
책그림을 좋아하는 이유는
이처럼
내 관심밖에 있던 책을
궁금해 하게 하고
심지어
관심밖어 채을 보게해서
내 지식의 영역을 넓히는 즐거움을 누리게 한다는데 있고
또한
그런 이가
우리와 함께 한다는것에
안도감을 안겨주기 때문이다
늘
건승하세요
꺄~~ 이런 과찬을.. 황송하네요^^; 계속 힘내서 좋은 영상으로 보답하겠습니다!!
상애의철학공장 그리고 결국 넌 그 책을 보진 않지 . 사람 안변함 ㅋ
띄어쓰기 왤케 오글거리지...
세로드립 ㄷㄷ
H ellollo 니가 뭔데 감사하냐 ㅋㅋㅋㅋㅋ 니가 유튜버냐 ㅋㅋㅋㅋ
주된 내용을 쉽게 이해할수 있도록 설명하시는 책그림님도 존경합니다^^
7:51 이러한 방식을 허프만 부호화(Huffman coding)라고 부릅니다
나는 책을 좋아 합니다만..듣는걸 더 좋아합니다
제가 열심히 설명해 드리겠습니다! 편안하게 영상 들으시는것도 도움 되실거예요^^
나는 책을 좋아합니까?
영상을 보고 많이 감동받았습니다. 우리가 누리고 있는 현대문명이 알고보면 정말 인간적이고 아기자기하고 소중한 것들이었군요..
아기자기라.. 🤔
부족한 정보를 알아서 알려주는 책그림
천재 한명이 세상을 완전 바꾸는구나
천재 중의 천재인 폰노이만이 있어 지금의 우리가 이렇게 컴퓨터를 하고 있죠.
@@성단-p1k +튜링
참 정보가 넘치는 채널이네요!😊
불확실성을 늘린다는 문장과 잉여성을 더한다는 말이 평소 알던 불확실성과 잉여성에 대한 정의와 조금 다른 것인지.. 여러번 보아야 이해가 될 것 같네요😂
재미있다 문소린지 다 못알아 듣겠어도 흥미로워
지루한 학교 수업시간에 궁금한 e 틀었을때 보는듯한 느낌 이런분들이 좀 정리해서 하면 학생들도 좋아하겠어요
목소리... 왜케 좋지....???
ㅇㅈ
섀넌이 얼마나 대단한 사람인가 하면 정보이론 쪽에서 가장 큰 상이 shannon award가 있습니다. 섀넌이 죽고난 후 그를 기리기 위해 만든 상이라 초대 수상자는 섀넌 입니다 ㅎㅎ 정보이론 하는 사람으로써 이런 동영상이 너무나 반갑네요 :) 19년도에 아리칸이라고 polar code 창시자가 상을 받은 모습을 보고 정말 자극을 많이 받았던 기억이 있는데, 많은 학생들이 보고 꿈꾸어서 후대 한국에서도 섀넌 어워드를 탈수 있는 사람이 나오길 바랍니다!
후대에는 새넌상을 받는게 아닌
새넌과 같은 자신의 이름을 딴 권위있는 상이 만들지는 사람이 나타나길 바랍니다.
Channel & source coding theorem 이 다시 기억나네요 ㅎ polar code 로 좀더 좋은 ecc가 개발되길...
사람으로서
스위치를 켜면 장비에서 손이 나와 스위치를 끄는 '쓸데 없는' 장비를 이 사람이 최초로 만든 거였어?ㅋㅋㅋㅋ
저두 라식 알아보는중인데 스카이반값라섹 참여하러갈게용 ㅎ
허프만 알고리즘의 본질은 이미 섀넌이 다 만들어 뒀군요....소름
일단 목소리랑 만든 자료가 너무 좋음. 구독 누르고가요
목소리가 매우 매력적입니다.
너무 좋은영상이네요~
우리가 알지못하고 넘어갈수있는 정보.
그런 이야기네요~
헐...공학한림원이 이 채널에 의뢰를 한 거에요??? 위엄쩐다 ㄷㄷㄷㄷㄷ
다 이해할 수 없었지만 끝까지 들었네요
아들들에게 공유했네요
감사합니다 ~^^♡♡
파일 압축 원리가 궁굼했었는데 진짜 천재적이네요
책을 일고 영상을 봤는데, 깔끔하고 이해하기쉽게 만드셨네요. 정성이 담긴 영상 감사합니다.
정말 너무 설명을 잘해주시네요! 확률사용해 정보량 압축했을때 혼자 와~ 이랫네요.
정보는 무한하다 확률로 정해진다. 유한한 정보 일수록 그 정보의 정확성은 낮아진다. 그의미는 즉 많은 정보들은 어떠한 선택에 확실성을 높혀준다. 확률식으로 정보를 집어서 전달한다면 그확률에 대한 정보의 값을 평균으로 만들면 나머지 정보의 잉여성이 없어진다. 일단 정보가 무한하다는 가정과 잉여정보를 골라내는 생각이 보통사람과 다른것 같고 수학적 논리적 접근을 자연스럽게 이어가는 그는 천재임이 분명합니다.
한권의 책을 이렇게 깔끔하게 소개하는 채널도 있구나... 감탄하며 구독을 꾹 ! 눌렀습니다.
책그림에 오신걸 환영합니다~^^ 좋은 영상으로 보답하겠습니다! 자주 놀러와 주세요:)
밥먹으면서 한편 보기 좋네요
발명가님께 감사드립니다
20년 넘게 컴퓨터를 공부하면서도 이런 사람이 있다는건 몰랐네요. 인코딩의 기초를 만든 분이군요.. 꼭 한번 읽어봐야겠습니다.
오 저는 이제 영상 스트리밍이 가능하고 음악 파일이 1분 남짓해서 다운로드되는게 그냥 통신기술의 발달을 통한 것인 줄 알았는데 정보를 어떻게 압축할 수 있는지에 대한 연구도 중요한 것이었군요 좋은 영상 감사합니다
클로드 섀넌. 기억해야겠어요.
불확실성을 낮추는 데서 시작한 것이였군! 압축 방식 중 오래된 하나라서 지금은 더 좋은 방법도 있겟네요 나중에 한번 설명해주십쇼~
이 책 너무 너무 재밌을것같아요...감사합니다
통신, 정보의 기초를 따라갈 수 있었어요!
우아 목소리가 🤩 너무 좋네요
저번학기 섀년의 법칙 배웠을땐 몰랐는데 엄청 대단한 분이셨군요!
어렵네요 책을 꼭 봐야 알겠어요
고맙습니다 👍
진짜 대단한 사람들 너무 많구나 ㄷㄷ...
좋은 내용 감사합니다. ^^
와.. 전 인생을 살면서 뭔가를 하려면 기반부터 알차게, 특히 효율적으로 쌓아나가야하는게 세상이치라고 생각했는데 이걸 확률론으로 풀어낸 사람이 있었네요
좋은 자료를 만들어 주셔서 감사합니다
4:44 여기서 왜 두 번째 경우의 3이 더 불확실성을 크게 낮춘 것인 지 이해가 안되는데, 혹시 아시는 분 계신가요...
10개중에 3이라는 숫자가 나올 확률은 1/10, 3이 아닌 숫자가 나올 확률은 9/10
100개중에 3이라는 숫자가 나올 확률은 1/100, 3이 아닌 숫자가 나올 확률은 99/100
"어떤 결과값의 발생 가능도가 작아질수록 그 정보량은 커지고, 더 자주 발생할수록 그 정보량은 작아진다."
정보량이 더 많다=엔트로피가 더 높다=불확실성이 더 높다=결과값을 예상하기가 더 어렵다
정도로 이해하시면 될것 같아요
+ 위키링크 추가
ko.wikipedia.org/wiki/%EC%A0%95%EB%B3%B4_%EC%97%94%ED%8A%B8%EB%A1%9C%ED%94%BC
단순하게 3이라는 정보가 3임을 말하는 것이 아니라 3이 아닌 것을 아니라고 말해준다라고한다면 이해가 쉬울 수도 있을 것 같습니다. 아닌 것을 더 많이 줄여주었으니 불확실성을 더 크게 낮췄다고 할 수 있겠죠
감사합니다. 위키 보고 저는 이렇게 이해 했습니다. 맞는지는 잘 모르겠습니다만...
두 번째 경우에는 결국에는 3이 선택될 확률은 1/100이고 이 경우는 희귀한 사건이고, 희귀한 사건 일수록 정보량이 커진다. 그리고 정보량이 커질수록 불확실성이 크게 줄어 들게 된다.
두 분 답변 감사합니다.
@@jin_9707 두가지 경우에서 3이 아닌 다른숫자가 선택될 확률은 9/10, 99/100이기 때문에
변수(불확실성)를 다른 숫자가 선택될 확률이라고 생각하시면
"선택된 숫자는 3이다" 라는 정보 획득을 통해 숫자가 10개인 경우(9/10) 보다 100개인 경우(99/100)에 변수(불확실성)을 더 크게 낮췄다라는 뜻이에요 ㅎㅎ
@Study Hard 100개인 경우(99%)가 10개인 경우(90%)보다 불확실성(변수 - 즉, 3이 아닐 확률)이 높은게 맞아요 (← 여기까지 이해하신것 같아요)
여기서 "선택된 숫자는 3이다"라는 정보획득을 통해 불확실성이 사라지므로 더 큰 불확실성(99%가 90%보다 더 높은 확률)이 낮아지는거에요
(이해하시기 쉽게 사라진다라고 표현했어요)
+ 추가
10개의 숫자중에서 3이 선택되는 사건의 불확실성(90%) < 100개의 숫자중에서 3이 선택되는 사건의 불확실성(99%)
3이 선택된 사건이 "발생했을 경우"(영상에선 "숫자의 값이 확정"으로 표현), 각각 -90%, -99% 로 100개일때 더 큰 불확실성이 낮아진다.
라고 설명하면 더 이해가 편할것 같네요
고맙습니다. 시간내서 꼭 읽어볼게요.
전반부는 인간의 이성 그리고 후반부는 인식과 무의식에 대한 설명과 유사하네요. 알고보면 인간은 뉴런을 기반으로 사고하는 기계에 불과한거 일지도 모르겠어요.
기계라면 기계죠. 하지만 기계인가 인간인가 고민하는 것 자체가 이미 기계에 불과한 존재가 아니게 만들어주는게 아닐까....
머신러닝
최근까지 젤 재밌는 책이네요 감사합니다
오 그러니까 이 글자(나 픽셀 등)가 나올 각각의 확률을 이용해 적은 비트로 많고 정확한 효율적인 정보를 전달할 수 있다는 것이군!
?
와 정말 놀라면서 10분이라는 시간이 훅 갈 정도로 빠져서 읽었네요 좋은 영상 감사합니다 책도 한번 꼭 읽어볼게요~!! ^_^
비트겐슈타인의 논리철학 논고에 정보에 대한 확률적 해석과 잉여성 최소화의 원리 등이 엄밀히 개진되어 있습니다. 경제학자들은 사회문제에 많은 관심을 보이는데, 경제학자 케인즈가 비트겐슈타인을 가리켜 철학의 신이라고 불렀던 이유가 이런 문제해결 방법을 제시한 데 있죠. 최근에 논고에 대한 개론서가 많이 나오고있으니 흥미가 있으신 분은 읽어보시길!
* Don't think about beauty much. It will kill you. Just love her!
오늘도 좋은 책소개 감사드립니다.
I was interested in in information theory, so I looked it up and heard it, but I didn't understand it all, but I was interested!
7분30초에 이진수 코드를 저렇게 부여한 원리가 뭐죠??
모스펫 회로를 만든분이 미국에서 미사일 관련 연구를 하던 한국박사님이였음. 그게 시초가 됨. 그리고 인터넷...통신이 저렴하게 할수 있겠금ㅈ한게 한국 연국원과 대학생들이였고
제가 가장 존경하는 인물입니다... 유투브에서 만날 줄은 몰랐네요 ㅠ
와... 책그림 인류의 역사 영상 올라왔을 때 퀄리티 엄청 높은데 구독자수는 천명도 채 안돼서 안타까워 했는데 지금 보니 50만이 다되어가네 ㄷ ㄷ ㄷ ㄷ ㄷ ㄷ ㄷ ㄷ 그 원래 친근했던 아조씨 목소리가 아닌 새로운 성우분 고용해서 하시나보네여 ㄷ
와. 정말 흥미롭네요. 과학이 이렇게 재미있다니
와....
오오 감동이 전해졌나요!!?
@@drawthebook 전 기계쪽 엔지니어인데요
기계과를 선택한 건 어렸을 때부터 기계가 구동되는 게 눈으로 잘 보이기 때문이었어요... 만질 수도 있구요
그런데 당최 전기 전자 통신 분야는 구동이 되고있는 상태가 눈에 보이지도 않아서 도저히 흥미가 안생기더라구요
제가 만약에 이 영상을 고등학생 때 봤다면 다른 길을 걸었을 것 같습니다.
요즘 기계과의 미래가 암울해지니까 이런 생각이 드는 걸 수도 있겠지만요...
영상 감사합니다
0과 1은 주역..음양론에서 이미 있었던 것이었다
남자분 영상만 보게되요 😭😭 많이 올려주세요
좋은책 소개해주셔서 감사합니다~
수학만세!!
섀넌 이런분이 계셨다니
앨런 튜링과 같이 비트의 시대를 열어주셨죠!
2:23 Transistor
좀 어려운 개념이네요. 몇번 봐야겠어요. ㅎㅎ
논리회로를 배울때 뭐 이런 시시한 것을 가르치나 하고 생각했는데 이것을 응용해서 엄청난 세상이 만들어 질수 있다니 놀랐다 모든 것은 사소한 기초에서 비롯된다
2:42 저 석사논문을 21세에 썼데요.
잘봤습니다
나는 책을 좋아합살법!!
즐겁게 잘 봤습니다. 예전에 Veritasium하고 Vsauce에서 정보의 Randomness에 대해서 다뤘던 내용에서 주로 나왔었는데 한국어로도 이렇게 나오니 반갑네요 :) 거기에서는 여기서 나온 '잉여성'을 '랜덤'으로도 확대하고 이것을 엔트로피까지 확장하였습니다. 나중에 정보 엔트로피도 다뤄주세요 ㅎ
Symbolic analysis를 기호학적 분석이라고 하셨는데 논문을 쓰는 미국사람이 semiotics라는 단어를 모를리 없겠죠.
아마 기호학적 분석이 아니라 상징적분석 이라는 해석이 맞을듯싶습니다.
수업용 자료로 위 영상을 사용하고 싶습니다. 학생들에게 알려주고 싶은 내용이 잘 정리된 것 같아 꼭 보여 주고 싶습니다.
유튜브로 보여주시는 거라면 문제 없습니다! 영상 좋게 봐주셔서 감사합니다!
@@drawthebook 감사합니다. 수업에서는 유튜브 영상 링크로 학생들에게 안내하였습니다. 좋은 자료가 많이 있어 앞으로도 자주 찾게 될 것 같습니다.
@@drawthebook 저도 수업용 자료로 좀 쓰고 싶습니다. 유튜브 링크로 가능하겠죠?? 댓글을 지난주에 썼던거로 기억하는데 사라진듯 합니다.
정말 이해하기 쉽게 설명해주는...반성중입니다
핵꿀잼
비문학 지문에서 본거같다 ㅋㅋㅋ 날씨정보 전달하는 그거
파일 압축의 원리가 이런거였군요
감사합니다:)
고맙습니다~~!!
목소리 뭐지...겁나 좋아...ㅠㅠ
감사합니다
10분동안 도대채 뭘 설명했나요?
Oh!
재밌게 봐주세요!!
나는 책을 좋아합...니다만 책그림 영상 또한 좋아합
이번학기 논리회로로 고통받고있습니다... 이 영상을 보고 마저 공부를 합니다..
10분만에 이해하는 영상인데 10분만에 너무 많은 것이 이해되지 않기 시작했다;
9:35 최종기계 ㄷㄷ
7:52 에서 확률을 고려하면 왜 0 10 110 111이 되는걸까요? 그리고 잉여성을 더 설명해주실분...?
확률로 계산되어서 그렇습니다 00, 01, 10, 11은 확률과 빈도수에 상관없이 항상 2비트의 공간을 차지하여야 하지만 2진법은 1과 0으로만 표기되므로 확률이 높은 a와 b에 1비트 낮은 c, d에 3비트를 부여함으로써 최종 확률상 1.75로 압축했다는 의미입니다
저런 천재보다 스티브 잡스나 빌게이츠가 더 인지도가 높은건 사회적으로 돈을 더 많이 벌은 자가 더 인정받는 세속적 기준 때문이죠.... 그건 절대 안바뀜. 인류가 멸망할 때까지.....
0 은 공상태 무 중첩상태
1은 관측함 선택함
섀넌 튜링 👋👍👋
스티브잡스 빌게이츠는 중간상인이고 영업전문가다.단 이들은 독점 할수있는것을 응용해서 먹는 천재들이지.발명가는 아무리 없던걸 발명해도 발명의순간 부자가 되지도 못하고 대중화 되지도 못함.빌.스티브 같은 비지니스맨이 양념발라야 완제품이 되는거
그걸 만든사람이 영업까지하면됨 만든사람이 더 전문가니까
우리 조상들은 1만년 전부터 세상만물 음양으로 2진법을 알앗다 후손들이 모지리라 못 받아 먹은거임
왤케어렵누...
샘플링정리에 나오는 섀논이 이분이었군요
good contents ~
정보 이론이 재밌더군요!!
섀넌 엔트로피 공부하다가 나오는 알고리즘 무엇ㅋㅋㅋㅌㅋㅋㅋㅋㅋㅋ앜ㅋㅋㅋㅋㅋㅋㅋㅋ핰ㅌㅌㅌ...
비문학지문에서 만났던 그...
허프만 코딩 얘기가 저기서 나온거구나
4:15초 3이야기에서 불확실성 정의가 어떻게되나여
등장확률입니다. ∑ (등장확률)*(log2 등장확률)