ага, тоже заметил. плюс 10:07 сумма после софтмакс не равна 1. но это все мелочи, Татьяна очень приятная ведущая и материал преподносится очень хорошо и понятно.
Не очень понятно пояснение, почему нельзя использовать One Hot Encoding позиции (30:01). Поясните, пожалуйста. То, что по памяти неэффективно для больших входов в целом понятно.
как минимум потому, что one-hot encoding требует, чтобы векторы были длины количества элементов. Т.е. если у вас в последовательности n токенов, то чтобы закодировать их места one-hot векторами, нужны векторы длины минимум n. А мы хотим, чтобы position encodings суммировались с нашими векторами эмбеддингов
Как найти градиенты для query, key и value? Если есть ссылки, где подробно расписано формулы их нахождения дайте пожалуйста знать. Или если знаете, прошу подробно расписать. В машинном обучение я новичок, пожалуйста не бейте
не совсем понял - мы складываем вектор внимания а с соответствующим эмбеддингом... но у них же размерности разные. эмбеддинг может быть длиной в несколько сотен значений ,а вектор внимания в данном случае ,содержит всего 4 значения... как мы их складываем?
Затем, зачем и всегда - пытается уловить зависимости и внести нелинейности. Компе того между первым fc и последним fc пространство расширяется в разы для поиска этих сложных зависимостей, а с последнего fc и его нелинейности выходит опять размерность эмбединга
Это было в первой лекции курса (ua-cam.com/video/WbtQzAvhnRI/v-deo.html - Word2Vec, GloVe, FastText). Там был довольно подробный разбор и мы обучали эмбеддинги самостоятельно. Однако потом всё это заменил один единственный слой в нейросети, который что-то там внутри себя делает с токенами и получаются эмбеддинги. Действительно, тут нам особо не объясняли, как теперь это работает, но полагаю, внутри этого слоя что-то подобное
@@Ksorz скорее всего это предрассчитанные дефолтные эмбеддинги. Берутся из словаря, либо, что по сути равнозначно, получается перемножением на матрицу ( размерностью размер эмбединга на размер словаря)
![Lp. Сердце Вселенной #60 РОЖДЕНИЕ ЛОЛОЛОШКИ [Финал] • Майнкрафт](http://i.ytimg.com/vi/YoR0pAV9FVQ/mqdefault.jpg)
Татьяна, огромная благодарность вам и всей команде. Невероятный материал!!
Очень крутое объяснение энкодера! Спасибо 🙏
да, спасибо за замечание, это опечатка(
В 16:51 при подсчете σ_i выражение (x^e_j - μ_i) должно быть в квадрате. Нет?
Ага, без квадрата эта сумма просто 0 будет)
ага, тоже заметил.
плюс 10:07 сумма после софтмакс не равна 1.
но это все мелочи, Татьяна очень приятная ведущая и материал преподносится очень хорошо и понятно.
"Дай знать где ты находишься!.."
10:17 сумма вероятностей после Softmax 1.1
Не очень понятно пояснение, почему нельзя использовать One Hot Encoding позиции (30:01). Поясните, пожалуйста. То, что по памяти неэффективно для больших входов в целом понятно.
как минимум потому, что one-hot encoding требует, чтобы векторы были длины количества элементов. Т.е. если у вас в последовательности n токенов, то чтобы закодировать их места one-hot векторами, нужны векторы длины минимум n. А мы хотим, чтобы position encodings суммировались с нашими векторами эмбеддингов
Как найти градиенты для query, key и value? Если есть ссылки, где подробно расписано формулы их нахождения дайте пожалуйста знать. Или если знаете, прошу подробно расписать. В машинном обучение я новичок, пожалуйста не бейте
Про какую дополнительную статью идет речь? 34:07
Что-то я не вижу ее на Степике
Добавим, вчера не успели, извините
Спасибо :) @@DeepLearningSchool
@@Ksorz подскажите, о каком курсе степика идет речь? немедленно присоединюсь)
@@ЮрийМаркин-е6ц "Deep Learning (семестр 2, весна 2024)". Ссылки Ютуб режет
@@ЮрийМаркин-е6ц вот: stepik.org/course/196142/syllabus
На слайде "Идея Transformer" доброе утро переведено, как good night
машинный перевод подвел
не совсем понял - мы складываем вектор внимания а с соответствующим эмбеддингом... но у них же размерности разные. эмбеддинг может быть длиной в несколько сотен значений ,а вектор внимания в данном случае ,содержит всего 4 значения... как мы их складываем?
Почему вы решили, что вектор внимания содержит 4 значения? Это не так. Размерности векторов внимания и эмбеддинга одинаковые.
@@ЮрийМаркин-е6ц спасибо, я наверно не правильно понял. Надо пересмотреть ролик
А где предыдущая лекция про голый attention?
вот: ua-cam.com/video/Fki-Xe3CGg8/v-deo.htmlfeature=shared
Зачем нужен FC layer ?
Затем, зачем и всегда - пытается уловить зависимости и внести нелинейности. Компе того между первым fc и последним fc пространство расширяется в разы для поиска этих сложных зависимостей, а с последнего fc и его нелинейности выходит опять размерность эмбединга
Яндекс даже раньше самого Гугла выкатил трансформер для перевода
Из этого видео узнал больше про DL чем за семестр в унике. Привет из ДВФУ🤡
Может кто-нить объяснить, как из токенов получаются ембеддинги?
Это было в первой лекции курса (ua-cam.com/video/WbtQzAvhnRI/v-deo.html - Word2Vec, GloVe, FastText). Там был довольно подробный разбор и мы обучали эмбеддинги самостоятельно. Однако потом всё это заменил один единственный слой в нейросети, который что-то там внутри себя делает с токенами и получаются эмбеддинги. Действительно, тут нам особо не объясняли, как теперь это работает, но полагаю, внутри этого слоя что-то подобное
@@Ksorz скорее всего это предрассчитанные дефолтные эмбеддинги. Берутся из словаря, либо, что по сути равнозначно, получается перемножением на матрицу ( размерностью размер эмбединга на размер словаря)