Відео

말씀하신 내용이 맞습니다 활성화된 출력의 일부를 0으로 만들어야되는게 맞고 설명에 오류가있었던 것으로 확인됩니다

모델 출력하고 데이터로더가 반환하는 정답의 모양이 일치하지 않는게 문제입니다 모델의 마지막출력 직전에 unsqueeze같은 함수로 배치 차원을 추가해주세요

근데 이상하네요 모델의 순전파쪽에서 squeeze를 해주고 데이터셋의 preprocess mask함수에서 채널정보를 지울테니 보통이라면 뜰수없는 에러입니다 코드에 오타가 없는지 확인해주세요

@@텐초 처음부터 나오는 것이 아니라 epoch1 loss:0.5439759492874146: 98%|█████████▊| 62/63 [02:31<00:02, 2.45s/it] 이 상태에서 발생합니다. ValueError Traceback (most recent call last) Cell In[15], line 8 5 optim.zero_grad() # 이전 루프의 기울기 초기화 7 preds = model(data.to(device)) # 모델의 예측값 출력 ----> 8 loss = nn.BCEWithLogitsLoss()( 9 preds, 10 label.type(torch.FloatTensor).to(device)) # 손실 계산 11 loss.backward() # 오차 역전파 13 optim.step() # 최적화 File ~/git/python/pytoch/.venv/lib/python3.12/site-packages/torch/nn/modules/module.py:1511, in Module._wrapped_call_impl(self, *args, **kwargs) 1509 return self._compiled_call_impl(*args, **kwargs) # type: ignore[misc] 1510 else: -> 1511 return self._call_impl(*args, **kwargs) File ~/git/python/pytoch/.venv/lib/python3.12/site-packages/torch/nn/modules/module.py:1520, in Module._call_impl(self, *args, **kwargs) 1515 # If we don't have any hooks, we want to skip the rest of the logic in 1516 # this function, and just call forward. 1517 if not (self._backward_hooks or self._backward_pre_hooks or self._forward_hooks or self._forward_pre_hooks 1518 or _global_backward_pre_hooks or _global_backward_hooks 1519 or _global_forward_hooks or _global_forward_pre_hooks): -> 1520 return forward_call(*args, **kwargs) 1522 try: 1523 result = None ... 3196 if not (target.size() == input.size()): -> 3197 raise ValueError(f"Target size ({target.size()}) must be the same as input size ({input.size()})") 3199 return torch.binary_cross_entropy_with_logits(input, target, weight, pos_weight, reduction_enum) ValueError: Target size (torch.Size([1, 128, 128])) must be the same as input size (torch.Size([128, 128]))

@@텐초 처음부터 에러가 나는 거이 아니라 epoch1 loss:0.5439759492874146: 98%|█████████▊| 62/63 [02:31<00:02, 2.45s/it] 이상태까지는 정상 진행하고 오류가 발생합니다. ValueError Traceback (most recent call last) Cell In[15], line 8 5 optim.zero_grad() # 이전 루프의 기울기 초기화 7 preds = model(data.to(device)) # 모델의 예측값 출력 ----> 8 loss = nn.BCEWithLogitsLoss()( 9 preds, 10 label.type(torch.FloatTensor).to(device)) # 손실 계산 11 loss.backward() # 오차 역전파 13 optim.step() # 최적화 File ~/git/python/pytoch/.venv/lib/python3.12/site-packages/torch/nn/modules/module.py:1511, in Module._wrapped_call_impl(self, *args, **kwargs) 1509 return self._compiled_call_impl(*args, **kwargs) # type: ignore[misc] 1510 else: -> 1511 return self._call_impl(*args, **kwargs) File ~/git/python/pytoch/.venv/lib/python3.12/site-packages/torch/nn/modules/module.py:1520, in Module._call_impl(self, *args, **kwargs) 1515 # If we don't have any hooks, we want to skip the rest of the logic in 1516 # this function, and just call forward. 1517 if not (self._backward_hooks or self._backward_pre_hooks or self._forward_hooks or self._forward_pre_hooks 1518 or _global_backward_pre_hooks or _global_backward_hooks 1519 or _global_forward_hooks or _global_forward_pre_hooks): -> 1520 return forward_call(*args, **kwargs) 1522 try: 1523 result = None ... 3196 if not (target.size() == input.size()): -> 3197 raise ValueError(f"Target size ({target.size()}) must be the same as input size ({input.size()})") 3199 return torch.binary_cross_entropy_with_logits(input, target, weight, pos_weight, reduction_enum) ValueError: Target size (torch.Size([1, 128, 128])) must be the same as input size (torch.Size([128, 128]))

다시보니 최악이네요.....

단축url이 만료돼서 그럴겁니다 전체 url을 입력하시거나 모든 링크를 모아놓은 "한눈에 보기" 노트북 페이지를 참고해주세요

그래서 캘리포니아로 해봤어요. 데이터에 맞게 특징 개수도 13개에서 9로 바꾸고 똑같이 실행해보니깐 loss가 줄어들다가 다시 늘어나더라구요. 그래서 learning rate가 너무 커서 수렴을 벗어난건가 싶어서 lr 줄이니깐 어느정도 해결은 됐는데 이렇게 접근하는게 맞을까요?

답변 감사합니다!

@@텐초 계속 런타임 에러 CUDA error: device-side assert triggered 라고 뜨는데 이유를 모르겠네요 ㅠㅠ

@@텐초 preprocess_mask를 지우고 np.squeeze(label) 하니까 오류 없이 학습이 진행됩니다!! 그런데 loss가 아예 0이 되어 버리네요..

@@텐초 스퀴즈를 안하면 RuntimeError: only batches of spatial targets supported (3D tensors) but got targets of size: : [32, 1, 128, 128] 요런 오류가 떠서요! label은 3차원으로 받아야 한다고 에러가 뜨는거 같습니다

조금 늦었지만 해결이 됐습니다!! 제가 짠 코드가 맞는건진 모르겠지만 일단 돌아가고 결과도 나오네요 정말 감사합니다!!

w1 가중치업데이트하는걸 답글 올렸었는데 자꾸 사라져서 혹시 w1 가중치 업데이트 식이 어떻게 되는지 알 수 있을까요,,,

@@텐초 ​ 그러면 w1의 가중치 업데이트 식은 최종오차값과 시그모이드 미분한거는 w5업데이트 할 때와 같고 w5업데이트할 때 맨 끝에 시그모이드1이 오는데 w1업데이트할 때는 맨 마지막이 w5를 곱하는게 맞는 식일까요?

C는 어차피 계수니까 똑같다는거예요 C나 C제곱이나

@@텐초 죄송합니다. 다시 해보니까 되네요... p 29쪽에 구글드라이브로 정확히 입력하니까 들어가지네요. 단축 URL은 안들어가집니다.

@@텐초 확인 감사합니다.. 책에 나와있는대로, 출력채널은 1에서 3으로, softmax 추가, CELoss사용하도록 수정은 했습니다. 다만, Label 데이터를 0, 1이 아닌 3개의 classes를 가지도록 해야 할 것 같은데 preprocessmask부분을 어떻게 변경해야 될지 감이 안 옵니다. one-hot encoding 을 써야 될까요? 고견 부탁드립니다. 감사합니다.

감사합니다

@@텐초 책의 내용을 그대로 따라했는데 학습루프에서 같은 에러가 발생하네요

@@텐초 네 감사합니다.

하아... 하루종일 이 에러 찾다가 영상 생각나서 왔는데 관련 해결책이 있네요. 저는 텐초님 코드가 작동이 않되서 어찌 저찌 찾았습니다. 아래 파일들이 32bit(4채널), 8bit(1채널) jpg라 차원이 안맞게 되나봅니다. 참고하시기 바랍니다. (흑백이야 그렇다치고... 왜 jpg따위에 32bit로 저장을 하는지. ㅠ_ㅠ, 옥스포드 놈들도 밉네요. 기왕에 뿌릴거 정리 좀 더 해주지.. 쩝) ./data/oxford/images\Abyssinian_34.jpg (202, 250) ./data/oxford/images\Abyssinian_5.jpg (150, 200, 4) ./data/oxford/images\Egyptian_Mau_129.jpg (325, 299) ./data/oxford/images\Egyptian_Mau_139.jpg (250, 350) ./data/oxford/images\Egyptian_Mau_14.jpg (800, 582, 4) ./data/oxford/images\Egyptian_Mau_145.jpg (188, 216) ./data/oxford/images\Egyptian_Mau_167.jpg (275, 183) ./data/oxford/images\Egyptian_Mau_177.jpg (175, 246) ./data/oxford/images\Egyptian_Mau_186.jpg (275, 183, 4) ./data/oxford/images\Egyptian_Mau_191.jpg (214, 300) ./data/oxford/images\staffordshire_bull_terrier_2.jpg (282, 500) ./data/oxford/images\staffordshire_bull_terrier_22.jpg (500, 364)

@@텐초 빠른 답변 감사드립니다~!! :) 디코더의 출력과 인코더의 출력을 mlp층에 넣은 후 소프트맥스를 통과시키는 게 attention과 같은 효과를 지니는 이유는 무엇인가요? 이 방법이 해당 기계번역 문제에 효과적이란 걸 알게 되신 과정, 노하우 같은 것도 궁금하고요

​@@텐초 매번 답변을 빨리 주시네요~ 친절한 답변 감사드립니다! 답변 보고 드는 궁금증 좀 추가로 여쭤볼게요 ^^; 디코더의 은닉상태와 인코더의 은닉상태에 대한 상관관계가 소프트맥스 함수를 통과함으로써 디코더와 인코더 은닉상태의 차원 가운데 주목해야할 차원이 확률적으로 구해지는 걸 말씀하시는 건가요? 만약 그런 의미가 아니라면, 내적과 같은 처리를 하는 것도 아니고 그저 선형 신경망에 인코더와 디코더의 은닉상태를 함께 입력으로 넣고 그 결과에 소프트맥스 함수를 적용하는 게 어떤 원리로 인코더와 디코더의 은닉상태 간에 상관관계를 도출하는지 궁금하네요.

@@텐초 답이 너무 늦었네요 ; 몇 번 반복해서 읽다가 다른 일 때문에 감사의 인사를 적지 못하고 창을 닫았는데 그 후로 깜빡깜빡했네요 ^^; 질문마다 빠르고 친절하게 답해주셔서 너무 감사드립니다~!! bb

아. Projection layer의 값이 아니라 W 가중치 행렬에서의 '개' 인덱스에 해당하는 하나의 행이 되겠군요

@@텐초 상세한 설명 정말 감사드립니다! 혹시 추가적으로 몇 개만 더 여쭤봐도 되는지요? 그럼 제가 이해하기로는 1. (a)swin transformer block이 2장 있다는 것은 'W_MSA가 있는 block 하나 + SW_MSA를 수행하는 block 하나' 를 두 번 수행했다는 뜻으로 이해했습니다(3번째는 6번 수행). 맞을까요? 2. 이러한 (a) swin transformer block(첫 번째) 을 거치게 되면 컴퓨터가 이해할 수 있는 어떤 벡터의 형태로 표현이 되고, 이것이 다음 stage2에 들어가 주변의 부분과 합쳐진다(2번째 patch merging) 3. 이런식으로 반복되어 attetion+ ffl(feed foward layer)를 거쳐 linear+softmax 함수로 각 class에 속할 확률을 제공함으로써 이미지 판별이 가능하다. 입니다 이런식의 flow가 맞을까요? 정말 감사드립니다

@@텐초 상세한 설명 감사합니다^^ 좋은 하루 보내세요