안녕하세요! 40:55에 보이는 것은 '빅데이터 분석 방법론'의 분석절차로 '데이터 분석'이라는 단계에 포함된 것을 나열한 것이며, 여기에 모델 적용 및 운영 방안 수립은 모델링에 포함되는 내용인데 '데이터 분석' 단계의 작업이어서 포함시켜 놓은 것으로 보이며 제외해도 문제는 없습니다. (모델링의 상세 작업으로 모델 적용 및 운영방안이 있다고 생각하시면 될 것 같습니다.) 44:17에 보여지는 것은 데이터 분석 단계에 대한 단계 소개 슬라이드이며, 모델링에 '모델 적용 및 운영 방안'이 포함된 것 맞습니다.
6회 시험 보셨군요! 문제 복원 한것들과 채점해보셨을까요? 이번시험에 나온 새로운 것들이 있어 추가 영상을 준비할 예정이랍니다. 비전공자분들이 대부분이신듯 한데 오픈톡방에서 질문하시면서 학습해 나가고 계십니다. 다만 준비기간이 짧은것보다는 좀 여유있게 하시는것이 필요해 보입니다. ~^^
![[빅분기 필기 요약] 2과목-1/4 데이터 전처리 (1시간 5분)](http://i.ytimg.com/vi/EUXpgZfVfAY/mqdefault.jpg)
![[빅분기 필기 요약] 2과목-1/4 데이터 전처리 (1시간 5분)](/img/tr.png)
![[ADsP 1과목] 데이터의 이해 - 기다리던 총정리 시간](http://i.ytimg.com/vi/8YN9vZp495E/mqdefault.jpg)
![[빅분기 실기] 작업형 1유형, 30문제로 끝내기](/img/n.gif)
0:51 I 빅데이터 개요 및 활용
[1.빅데이터 특징]
1) 0:55 빅데이터 | 빅데이터의 정의, ★3V/4V
2) 1:50 빅데이터 5V, 7V, 데이터 크기 단위 | ★KMGTPEZY
3) 2:18 데이터 유형 분류 | ★정형(스키마),반정형(메타데이터,파싱),비정형(단위:형태소)
[2.빅데이터 가치]
1) 4:31 빅데이터 출현 배경 | 클라우드컴퓨팅, 분산처리, 비정형데이터
2) 4:40 빅데이터의 역할 | 석탄/철(서비스), 원유(정보,산업전반), 렌즈, 플랫폼(API)
3) 5:05 빅데이터의 가치 산정, 본질적 변화 | 난점{활용방식, 신규가치, 분석기술} ★본질{사후, 전수, 양, 상관관계}
4) 5:31 빅데이터 위기요인과 통제방안 1/3 | 사생활침해 - 소유자 동의제> 사용자 책임제
5) 6:15 빅데이터 위기요인과 통제방안 2/3 | 책임 원칙의 훼손 - 예측 알고리즘(마이너리티 리포트) > 기존 책임원칙 강화
6) 6:32 빅데이터 위기요인과 통제방안 3/3 | 데이터 오용 - 과거 바탕 미래 예측 > 알고리즘 접근 허용, 알고리즈미스트(알고리즘 피해 구제 전문가)
7) 7:13 빅데이터 활용기법 1/2 | 연관규칙학습(상관관계), 유형분석(소속집단), 유전알고리즘(최적화)
8) 7:30 빅데이터 활용기법 2/2 | 기계학습(패턴>예측), 회귀분석(영향 수치화), 감정분석, 소셜네트워크분석(영향력,관계)
[3.데이터 산업의 이해]
1) 7:45 빅데이터의 영향 | 기업, 정부, 개인=
2) 9:08 빅데이터 분석과 전략 인사이트 | 양X유형O다양성, 전략적통찰필요, 일차적분석의미
3) 9:12 대표적 일차적 분석 애플리케이션 사례
4) 9:14 공공 데이터 | 정부-국민 소통/협력 확대, 개별 공공기관 업무 결과물을 “기계판독가능형태” “제공”
5) 9:53 공공 데이터 개방 | 제공파일형식 SQL 없음! CSV, JSON, XML…
6) 10:35 기계판독가능형태의 포맷 단계별 구분/비교 |
오픈포맷(모든SW활용가능) 3,4,5단계
-3단계{CSV,JSON,CML} 모든SW에서 읽기/수정/변환 가능
-4단계{RDF} URI(통합자원식별자) 기반
-5단계{LOD} 웹연결
[4.빅데이터 조직 및 인력]
1) 11:53 빅데이터 조직 및 인력 - 데이터 사이언스 | [통계:정형화, 마이닝:분석] 전략적분석통찰+효과적전달+총체적접근, IT+분석+비즈니스컨설팅
2) 12:05 빅데이터 조직 및 인력 - 데이터 사이언티스트 |
3) 12:38 데이터 사이언티스트의 스킬/역량 - 하드(빅데이터,분석) 소프트(통찰,설득,전달,소통),
★ 가트너 역량 {데이터관리, 분석 모델링, 비즈니스분석, 소프트스킬}
4) 12:59 데이터 사이언티스트의 고려사항 | “모델 범위 밖의 요인은 판단하지 않는다”
- 6핵심질문{통찰,정보}
통찰{과거:모델링/실험설계, 현재:권고, 미래:예측/최적화}
정보{과거:리포팅, 현재:경고, 미래:추출}
5) 13:47 최근의 사회경제적 환경의 변화 | 복잡성, 서비스, 시장창조(무형자산), 상관관계
6) ★ 13:59 빅데이터 조직 구조 | 집중(업무 중복/이원화 문제), 기능(-), 분산(협업부서배치)
7) 14:57 데이터 분석가, 사이언티스트, 엔지니어의 역량 |
- 엔지니어: SW/시스템개발, 분산병렬처리, 관계형>하둡
- 분석가: 의사결정보조
18:10 II 빅데이터 기술 및 제도
[1.빅데이터 플랫폼]
1) ★ 18:13 빅데이터 플랫폼 | 구성요소{수집, 저장, 분석, 활용} 구조{소프트웨어, 플랫폼, 인프라}
2) 19:00 빅데이터 플랫폼 | 빅데이터 처리 순환
3) 19:09 빅데이터 플랫폼 개념도 | 인메모리 컴퓨팅: 메모리 내 저장+연산
4) ★ 19:24 빅데이터 플랫폼 - 하둡 |
- 하둡: 빅데이터 분산 저장/처리, 자바기반 오픈소스
- 맵리듀스(분산병렬처리기술): Map취합>Shuffle통합>Reduce정리 + HDFS(분산파일시스템)
5) 20:00 하둡의 특징 | 선형적 성능/용량 확장, 고장 감내성, 핵심 비즈니스 로직 집중
6) ★ 20:04 하둡 에코시스템 | 특히 Tajo, Spark
7) ★ 20:17 하둡 에코시스템 | 특히 Yarn, 정형수집:Sqoop/Hiho, 반/비정형수집: Flume,Scribe,Chukwa,Kafka
8) 20:57 하둡 에코시스템
9) 21:22 아파치 스파크 | “인메모리기반” 고속처리엔진
10) 21:35 스쿱과 하이브 |
11) 21:44 미들웨어 - API Gateway, ESB |
12) 22:07 클라우드 컴퓨팅 서비스 | IaaS(물리) > PaaS > SaaS
[2.빅데이터와 인공지능]
1) 23:57 빅데이터와 인공지능 | 초인공지능 > 강인공지능(학습) 자의식AI > 약인공지능(데이터+학습) 현실
[3.개인정보 법/제도]
1) ★ 24:43 개인정보 법제도 | 데이터3법{개인정보보호, 정보통신망, 신용정보} GDPR,
-개인식별정보: 비식별화처리 시 동의 없이 “활용” 가능(데이터3법)
2) 25:46 개인정보 법제도 | 처리원칙, 고지내용, 파기, 동의 없이 이용가능한 경우
3) 26:02 개인정보 법제도 | 빅데이터 개인정보 보호 {비식별화, 투명성, 재식별, 민감정보(건강,사상)/통신비밀(이메일,문자), 기술/관리보호}
[4.개인정보 활용]
1)★ 27:26 개인정보 활용 - 개인정보 비식별화 | {식별자(단독), 준식별자(결합필요), 민감정보}
- 식별방지: 가명, 총계, 값삭제, 범주화, 마스킹
- 추론방지: k익명성, l다양성, t근접성, m유일성
- 차등정보보호: 섭동(교란perturbation)
2) ★ 28:03 개인정보활용 - 개인정보 비식별화 기술 | 가명, 총계, 삭제, 범주화, 마스킹
3) 29:16 개인정보 활용 - 개인정보 비식별 조치 |
- k익명성: 동일값 레코드 k개 이상
- l다양성: 민감정보, 다양성 제고
- t근접성: 민감정보, 분포차 t이하
- m유일성: 동일 속성값 조합 m개 이상
4) 30:15 개인정보활용 - 개인정보 비식별 조치 | 차등정보보호=차등사생활기술: 노이즈 추가 > 분석 영향 X
5) 31:20 개인정보활용 - 마이데이터, 재현자료 | 마이데이터”직접관리”, 재현자료”새롭게생성”
감사합니다.
31:41 요약 영상 정말 감사합니다!
20:00 하둡 33:20 가트너 35:54 하향식문제접근 39:38 빅데이터분석방법론의 분석 절차 42:29 회피전이완화수용
31:42 III 분석 방안 수립
[1.분석 로드맵 설정]
[2.분석 문제 정의]
[3.데이터 분석 방안]
39:27 IV 분석 작업 계획
[1.데이터 확보 계획]
[2.분석 절차 및 작업 계획]
안녕하세요 선생님!
40:55 에는 모델링과 모델 적용 및 운영방안수립이 구분되어있고
44:17 에 모델링 부분에 모델 적용및 운영이 포함되는데 어떤게 맞는 내용일까요? 항상 잘 보고있습니다. 감사합니다.
안녕하세요! 40:55에 보이는 것은 '빅데이터 분석 방법론'의 분석절차로 '데이터 분석'이라는 단계에 포함된 것을 나열한 것이며, 여기에 모델 적용 및 운영 방안 수립은 모델링에 포함되는 내용인데 '데이터 분석' 단계의 작업이어서 포함시켜 놓은 것으로 보이며 제외해도 문제는 없습니다. (모델링의 상세 작업으로 모델 적용 및 운영방안이 있다고 생각하시면 될 것 같습니다.)
44:17에 보여지는 것은 데이터 분석 단계에 대한 단계 소개 슬라이드이며,
모델링에 '모델 적용 및 운영 방안'이 포함된 것 맞습니다.
@@EduAtoZPython 바쁘실텐데 친절히 설명해주셔서 정말 감사합니다!
@@고수지망생 아닙니다. 늦게 답신드려서 죄송합니다 ~^^
46:09 V 데이터 수집 및 전환
[1.데이터 수집]
[2.데이터 유형 및 속성 파악]
[3.데이터 변환, 데이터 비식별화]
[4.데이터 품질 검증]
감사합니다! 31:43
안녕하세요
이번 6회 시험보았는데
이해기준출제되었던거
같습니다. 담 시험준비
하려고하는데 제가 비전공자인데 교수님강의
잘따라갈수 있을까요?😊
6회 시험 보셨군요! 문제 복원 한것들과 채점해보셨을까요? 이번시험에 나온 새로운 것들이 있어 추가 영상을 준비할 예정이랍니다. 비전공자분들이 대부분이신듯 한데 오픈톡방에서 질문하시면서 학습해 나가고 계십니다. 다만 준비기간이 짧은것보다는 좀 여유있게 하시는것이 필요해 보입니다. ~^^
@@EduAtoZPython 6회복원문제벌써
나왔나요?
아직안나온거같아서요
그리고구글클래스교안은사이트수강신청후
볼수있는건가요?
@@EduAtoZPython 수강시에업데이트된
강의는 따로 강의신청
해야하는건가요?
빅분기6회필기과정만
있는거같아서요
@@flying5982 그 과정을 7회로 바꾸게 됩니다 업뎃하게 되고요 이름을 변경해 사용합니다
cafe.naver.com/sqlpd/51387 여기 77개 정도 나온듯 합니다.
m.cafe.naver.com/ca-fe/web/cafes/29315056/articles/1462/comments?focus=83010088&useCafeId=true 여기도 살펴 보세요 ^^*
유료 강의는 더 좋겠지만 무료 강의도 나쁘지 않네요! 덕분에 합격했습니다~ 감사합니다!
안녕하세요! ~^^ 합격 축하드립니다 8회 시험이 지난 시험들 보다 어려웠었는데 정말 열심히 학습하셨을것 같습니다. 기분좋은 소식 감사드립니다 ^^
39:26
안녕하세요 선생님. 지금 있는 빅분기 필기 강의 다 보려구 하는데, 이거로 준비해도 괜찮을까요? 혹시 제가 모르는 유료강의는 없을까요?
ua-cam.com/channels/isP49klUO2XuLuDMZzlUPg.html 멤버쉽 분들께 제공하는 본 강의가 있습니다. (ADsP 등급과 빅분기 실기/필기 등급이 있습니다)
@@EduAtoZPython 감사합니다
@@EduAtoZPython 선생님 구글캘러스 1과목 요약버전이 작년 9월달꺼에요ㅜㅜ
@@riry0888 구글 클래스 1과목 요약 버전이 교안 말씀이실까요?
@@EduAtoZPython 넹 ㅜㅜ
안녕하세요! 이거 교안은 어디서 받을 수 있나요? 구글 클래스룸에서 찾지못하여 질문드립니다😭
www.eduatoz.kr에 가입하시고 imbgirl@naver.com 로 가입정보를 주시면 자료실 공유가 됩니다
@@EduAtoZPython 말씀하시는 자료실이 5회 복원문제가 올라오는 구글클래스와는 다른건가요?
네 교안을 제공하는 곳입니다
@@뇸뇸이-q7s 네 다른것입니다