[통계청 현직 AI] Colab에서 케라스 BERT로 네이버 영화 감성분석 따라하기 Keras Bert implementation on google Colaboratory

[@yefamily]

너무 좋네요. 바로 구독 눌렀습니다. 좋은 내용 감사합니다.

[@김웅곤-g4x]

감사합니다 깃허브에 여러 자료가 있으니 도움 되셨으면 합니다.

[@IMAGINE0210]

혹시 지금도 댓글을 봐주실지는 모르겠네요.케라스를 업그레이드 해야한다고 하여서 업그레이드 이후
Attributes Error: module ‘keras’ hs no attribute ‘engine’
이렇게 뜨는데 혹시 해결방법을 아실까요

[@changgun_film5003]

영상 감사합니다. 혹시 huggingFace 버전에서 bert_outputs = model([token_inputs, mask_inputs, segment_inputs]) 이후에 bert_outputs = bert_outputs[1] 를 해주는 이유가 있나요??
bert_outputs 가
TFBaseModelOutputWithPooling([('last_hidden_state', ), ('pooler_output', )])
이렇게 나오는데 last hidden state 는 없애고 pooler_output 만 사용하는 것의 의미가 어떤건가 해서요!

[@김아무개-f9v]

맨날 미뤘는데 덕분에 오늘 반나절만에 attention부터 bert까지 마스터했습니다.

[@김웅곤-g4x]

감사합니다.

[@kennysos1]

감사합니다. ㅎ 덕분에 버트를 이해하는데 커다란 도움이 되었습니다.

[@김웅곤-g4x]

잘 봐주셔서 감사드립니다.

[@김현섭-i4w]

감사합니다 !! bert 이후부턴 공부하기가 쉽지 않았는데 많은 도움이 됐습니다!

[@dolggul-p2b]

자연어처리 처음 시작해서 무작정 하나 만들어보고 있는데, 좋은 참고 영상이 되는것 같습니다.
좋은 영상 감사합니다! :)

[@고기맛고구마]

정말 너무너무너무너무 감사합니다.

[@looknew7534]

존경합니다 후속 강의올려주세요

[@jungjoonkil1918]

좋은 내용 감사합니다. 감성이 좋다/나쁘다 처럼 긍정,부정으로 크게 나눌수 있지만 더 세부적으로 분류하는 방법은 없나요? 즐겁다, 화난다, 행복하다, 슬프다, 용기가 난다 이런 식의 좀더 디테일한 감정요...

[@king9eon]

로컬에서 돌릴 경우, train, test 데이터를 bert 모형에 맞게 변형 하자나요? 하고 나서 train_x 데이터를 확인해보면 colab과 달리 none, none ... 0, 0 ... 등 인덱싱이 되지 않는 모습을 보이는데, 로컬에서의 메모리 문제일까요?

[@김웅곤-g4x]

local 에서만 그러나요? colab 에서는 문제가 없나요?

[@king9eon]

@@김웅곤-g4x 네 colab에서는 인덱싱이 잘 됩니다!

[@김웅곤-g4x]

@@king9eon 로컬에 버전 문제가 있는듯 합니다.. colab이랑 같은 환경을 구현해 보심이 어떨까요

[@albertkim1718]

버트를 이해하는 매우 매우 도움이 많이 되었습니다. Transformer 모델인 Bert자료를 찾고 있었는데.. 정말 큰 도움 되었습니다. 혹시 후에 시간이 되시면 GPT2 모델도 강의 부탁 드려도 될까요 ? ^^ ** 이런 강의는 천만불 짜리입니다.. 활용분야가 많은데 오히려 중국어는 관련 버전으로는 공개 된 것들이 많은데 한국어 자료가 적어 매우 아쉽네요..

[@김웅곤-g4x]

6월 중에 트랜스포머 모델을 다뤄볼 예정입니다. 여건이 되는 대로 GPT2 모델도 다뤄 보도록 하겠습니다.

[@jungjude3353]

좋은 자료 감사합니다. 해당 코드를 그대로 코랩에 복사해서 실행해도 아래의 에러가 발생하네요
혹, 확인이 가능하실지요??
layer_num = 12
model = load_trained_model_from_checkpoint(
config_path,
checkpoint_path,
training=True,
trainable=True,
seq_len=SEQ_LEN,)
=================================================================
IndexError Traceback (most recent call last)
in ()
5 training=True,
6 trainable=True,
----> 7 seq_len=SEQ_LEN,)
5 frames
/tensorflow-1.15.2/python3.6/keras/engine/base_layer.py in _add_inbound_node(self, input_tensors, output_tensors, input_masks, output_masks, input_shapes, output_shapes, arguments)
IndexError: list index out of range

[@김웅곤-g4x]

제 깃허브에서 텐서플로우 2 허깅페이스 버전을 실행하시기 바랍니다(네이버 bert 영화 감성분석)
이제 코랩에서 텐서플로우 1을 지원하지 않아서 원활히 안돌아갑니다

[@김현우-u6x]

멋지십니다 ㅎㅎㅎ

[@희진이-d5j]

안녕하세요 강의 정말 감사합니다. 링크 github에 접속하여 그대로 복사 후 실행을 했는데, sess 부분에서 Node object has no attribute 'output_masks' 라는 에러가 발생합니다. 혹시 해결방법이 있을까요?

[@studymllim5382]

오류가 납니다.
layer_num = 12
model = load_trained_model_from_checkpoint(
config_path,
checkpoint_path,
training=True,
trainable=True,
seq_len=SEQ_LEN,)
AttributeError: module 'tensorflow' has no attribute 'placeholder'

[@김웅곤-g4x]

안녕하세요~
이번에 colab의 텐서플로우 기본 버전이 1.5에서 2.2로 바뀜에따라
%tensorflow_version 1.x 라는 명령어를 텐서플로우를 임포트하기 전에 실행해주셔야 합니다.
바로 업데이트 하였으니 확인 해보시길 바랍니다.
%tensorflow_version 1.x
import tensorflow as tf
import pandas as pd
import numpy as np
import re
import pickle

[@ayunjung4759]

@@김웅곤-g4x 같은 부분에서 다른 에러가 납니다. 에러가 나는 이유가 뭘까요? ㅠㅠㅠ
---------------------------------------------------------------------------
IndexError Traceback (most recent call last)
in ()
5 training=True,
6 trainable = True,
----> 7 seq_len=SEQ_LEN)
5 frames
/tensorflow-1.15.2/python3.6/keras/engine/base_layer.py in _add_inbound_node(self, input_tensors, output_tensors, input_masks, output_masks, input_shapes, output_shapes, arguments)
IndexError: list index out of range

[@groot6775]

안녕하세요! 영상 감사합니다. 혹시 아래와 같은 오류가 뜨는데 사유를 알 수 있을까요?
layer_num = 12
model = load_trained_model_from_checkpoint(
config_path,
checkpoint_path,
training=True,
trainable=True,
seq_len=SEQ_LEN,)
IndexError: list index out of range

[@홍홍-o4x]

저도 같은 오류가 뜨는데 이유가 뭘까요ㅠㅠ

[@youngsimsan]

저도 같은 오류가 뜨는데 혹시 해결하셨나요? 질문을 또 하기가 그래서 이렇게 답글에 써봅니다.

[@studymllim5382]

답변 주셔서 감사합니다.
하나더 문의사항이 있습니다.
훈련시킬 2세트의 소요시간이 60시간이상이 걸립니다. 단축할 수 있는 방법이 없나요??

[@김웅곤-g4x]

CPU로 훈련을 돌리시는듯합니다
코랩 상단메뉴 Runtime에서
Change runtume type -> GPU를 선택하시기 바랍니다

[@lksz1412]

해당 영상과 자료를 통해 bert와 keras 를 이용해서 분석하는 것을 연습해보았는데요.
제가 이해도가 떨어져서 그런지 모르겠는데요.
bert 인풋에서 바로 dense layer로 연결되는 코드를 사용하셨는데요.
혹시 바로 dense로 가는 대신 lstm같은 과정을 추가로 거쳐 가게도 할 수 있을까요?
그리고 그게 의미 있는 결과를 보여 줄 수 있을까요?

[@stte9115]

안녕하세요 질문이 생겨서 댓글 답니다. 버트를 이용해서 분류모델을 만들 때 [CLS] 토큰의 위치의 출력층에서 Dense layer를 추가하는 것으로 알고 있습니다. 그러면 영상에서 버트 뒤의 nsp, mlm 레이어를 지우는 이유도 [CLS] 토큰의 출력층에 dense layer를 추가하기 위함이라고 이해해도 될까요?
감사합니다!

[@hot7589]

안녕하세요, 영상 잘 보았습니다.
실습 중에 질문이 생겨서 댓글을남깁니다.
저는 똑같은 형태로 인덱스와 내용, 그리고 0과1라벨로 있는 데이터를 이용하는데
layer_num = 12
model = load_trained_model_from_checkpoint(
config_path,
checkpoint_path,
training=True,
trainable=True,
seq_len=SEQ_LEN,)
다음의 코드에서 부터 list index out of range 가 토론 방에 댓글 남겨주신 분과 동일하게 발생합니다. 혹시이부분을 해결할 수 있는 방법이 있을까요?

[@hahahahohoho1217]

저도 같은 곳에서 오류가 나네요 ㅜ

[@김웅곤-g4x]

여러 업무에 바빴던 관계로 답장이 늦었습니다. 제 깃허브에서 hugging face 버전을 활용하시기 바랍니다.

[@gethejob]

좋은 강의 감사합니다.
layer_num = 12
model = load_trained_model_from_checkpoint(
config_path,
checkpoint_path,
training=True,
trainable=True,
seq_len=SEQ_LEN,)
seq_len=SEQ_LEN,) 오류가 발생하는데 이유가 어떤걸까요? ㅠㅠ

[@yeonc166]

감사합니다!!

[@hongkyulee9724]

선생님 같은 분이 계시는군요..

[@기석윤-n7d]

한 줄기 빛입니다 선생님..... 모래 속 진주에요 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ

[@박선영-n8j8y]

에러발생합니다. get_bert_finetuing_model()함수를 사용한 flow 그릴때와, 학습시킬때 __init__() missing 1 required positional argument: 'name' 오류가 발생합니다. keras RAdam의 문제인것 같은데,...굴러가질 않네요ㅠ

[@김웅곤-g4x]

제 github에 최신 버전인 huggingface 버전을 업로드 하였습니다. 그 버전으로 사용하시기 바랍니다.

[@bert-md6pm]

BERT에 길잡이가 될 수 있는 훌륭한 영상 너무 감사합니다. 코랩으로 따라서 하던 도중에 bert_model.load_weights(path+"/bert.h5") BERT 모형 로드, 모델에 계수 얹기 부분에서 AttributeError: 'str' object has no attribute 'decode' 이런 오류가 났는데 방법이 없을까요ㅠㅠ 훈련시킨 모델은 .h 형태로 GDRIVE에 저장되어 있습니다ㅠㅠ

[@Jang8saMo1]

선생님 ㅠㅠ 어제 제 colab에서 코드실행할때는 accuracy가 87~ 88%나왔는데 오늘 똑같이 돌려보니까 무슨 50%를 넘지를 못하는데... 중복해서 돌리면서 무슨 문제가 생긴걸까요..?ㅠㅠ

[@김웅곤-g4x]

여러 업무에 바빴던 관계로 유튜브를 자주 보지 못하고 있었습니다. 아마 모델이 중복된 듯 합니다.