Parę uwag/uzupełnień (część intencjonalnie pominąłem w odcinku żeby nie przytłaczać w odbiorze): - obrazy czarno-białe mogą być oczywiście reprezentowane też jako dwie inne arbitralne wartości jak 1/-1 (przedstawiłem w postaci unormowanej, wtedy 0/1); podobnie dla zdjęć kolorowych, gdzie mamy jak gdyby 3 macierze reprezentujące zdjęcie (3 kanały) przedstawiłem wartości unormowane, standardowo znajdują się tam wartości od 0 do 255 - 4:46 tam sobie po prawej stronie narysowałem 6 komórek na wysokość, oczywiście powinno być 5 czyli tyle co miało zdjęcie, ale nie wiem czy ktoś na to zwrócił na to uwagę :)) ale piszę tak dla porządku jakby ktoś się zastanawiał - 5:23 prócz wag w macierzy (filtrze), tak jak to w sieciach neuronowych estymowane są też bias'y :); Co więcej, jak np. analizowane są zdjęcia kolorowe (3 kanały), to filtry są macierzami trójwymiarowymi (mamy jak gdyby osobny filtr na każdy kanał), działamy nim analogicznie i potem sumujemy wszystkie wartości; - 7:46, oczywiście sieć przewiduje 10 wartości, tutaj zrobiłem taki skrót myślowy - wyznaczamy prawdopodobieństwa przynależności do grup (w tym przypadku cyfry od 0 do 9) i wybieramy tę kategorię, której wartość prawdopodobieństwa jest najwyższa - 9:56, gdyby wagi filtra były stosunkowo duże, to po konwolucji otrzymalibyśmy macierze z wysokimi wartościami, to może powodować niestabilność, Batchnormalizacja m.in. trzyma rozkład danych na względnie stałym poziomie; formalnie odejmujemy wartość średnią i dzielimy przez odchylenie (jak w standaryzacji), ten wynik jest potem jeszcze skalowany i przesuwany (są dodatkowe parametry gamma i beta, uczone w trakcie treningu) - 11:39 danych w zbiorze treningowym było 60 000, stworzyłem paczki po 50 obrazów, więc paczek jest 60 000/50 = 1200; w pętli treningowej wyświetlam co 200 paczkę, dlatego na ekranie widzimy 1200/200 = 6 wyników na jedną epokę (razem 6*3=18)
Co prawda muszę przyznać że zawsze mnie denerwowały konwolucyjne sieci neuronowe, tak jednak to właśnie przez ten film trafiłem na ten kanał. Bardzo Dobra Robota! Pozdrawiam
Parę uwag/uzupełnień (część intencjonalnie pominąłem w odcinku żeby nie przytłaczać w odbiorze):
- obrazy czarno-białe mogą być oczywiście reprezentowane też jako dwie inne arbitralne wartości jak 1/-1 (przedstawiłem w postaci unormowanej, wtedy 0/1); podobnie dla zdjęć kolorowych, gdzie mamy jak gdyby 3 macierze reprezentujące zdjęcie (3 kanały) przedstawiłem wartości unormowane, standardowo znajdują się tam wartości od 0 do 255
- 4:46 tam sobie po prawej stronie narysowałem 6 komórek na wysokość, oczywiście powinno być 5 czyli tyle co miało zdjęcie, ale nie wiem czy ktoś na to zwrócił na to uwagę :)) ale piszę tak dla porządku jakby ktoś się zastanawiał
- 5:23 prócz wag w macierzy (filtrze), tak jak to w sieciach neuronowych estymowane są też bias'y :); Co więcej, jak np. analizowane są zdjęcia kolorowe (3 kanały), to filtry są macierzami trójwymiarowymi (mamy jak gdyby osobny filtr na każdy kanał), działamy nim analogicznie i potem sumujemy wszystkie wartości;
- 7:46, oczywiście sieć przewiduje 10 wartości, tutaj zrobiłem taki skrót myślowy - wyznaczamy prawdopodobieństwa przynależności do grup (w tym przypadku cyfry od 0 do 9) i wybieramy tę kategorię, której wartość prawdopodobieństwa jest najwyższa
- 9:56, gdyby wagi filtra były stosunkowo duże, to po konwolucji otrzymalibyśmy macierze z wysokimi wartościami, to może powodować niestabilność, Batchnormalizacja m.in. trzyma rozkład danych na względnie stałym poziomie; formalnie odejmujemy wartość średnią i dzielimy przez odchylenie (jak w standaryzacji), ten wynik jest potem jeszcze skalowany i przesuwany (są dodatkowe parametry gamma i beta, uczone w trakcie treningu)
- 11:39 danych w zbiorze treningowym było 60 000, stworzyłem paczki po 50 obrazów, więc paczek jest 60 000/50 = 1200; w pętli treningowej wyświetlam co 200 paczkę, dlatego na ekranie widzimy 1200/200 = 6 wyników na jedną epokę (razem 6*3=18)
Co prawda muszę przyznać że zawsze mnie denerwowały konwolucyjne sieci neuronowe, tak jednak to właśnie przez ten film trafiłem na ten kanał.
Bardzo Dobra Robota!
Pozdrawiam
Heh, dzięki!