Відео

降维不可能不丢任何信息

openai 那天的廣告根本唬爛

中国人盯上chatGPT，就像苍蝇盯上了餐桌的上的剩菜，openAI赶紧给拿罩子罩起来了

如果训练大语言模型，不是让大语言模型自行去学习各种网络资料，而是直接专门雇人去标注输入输出，是不是就相当于跳过pre-trained阶段，直接进行instruction fine tuning？

输入：请讲一个笑话 只有pre-trained的大语言模型可能会输出 输出：作者xxx，创作于2014年。 经过pre-trained和instruction fine tuning的大语言模型可能会输出 输出：为什么鱼不说话？因为它们在水里，怕说漏嘴。 在这个例子中，是不是只经过pre-trained的大语言模型并没有真正理解“请讲一个笑话”的含义，而同时经过pre-trained和instruction fine tuning的大语言模型真正理解了“请讲一个笑话”的含义。

8x+4y+1

终于到了chatgpt，加油

从陡峭点到平坦点，动量梯度的绝对值比原梯度的绝对值大，这样子会使参数的更新幅度变大。从平坦点到陡峭点，动量梯度的绝对值比原梯度的绝对值小，这样子会使参数的更新幅度变小。视频中，两组红绿点与X轴的夹角都是钝角，应该都画在tan图像中虚线的右侧吧？

我看到有提到大语言模型会有一个知识库，这个知识库指的是一个额外的数据库？比如这个知识库有三个知识点：法国首都是巴黎，荷兰首都是阿姆斯特丹，西班牙首都是巴黎。大语言模型的知识库是怎样的一个存在？是真的有这么一个数据库，还是说这个知识库是一种抽象的存在，是内化进大语言模型的参数里面。比如，经过大语言模型的参数调整，使得输入“法国首都是”就会输出“巴黎”；输入“荷兰首都是”就会输出“阿姆斯特丹”；输入“西班牙首都是”就会输出“马德里”，这种把知识库内化进参数里面的情形，就没有一个真正的额外数据库

3:27 “在输出了in，have和how之后，这个神经元就会给出一个很大的输出。”这句话中，很大的输出是什么意思？和an又有什么关系？

这次解释比上次清楚多了，但是感觉第二个例子的第二组绿色和粉色画在谷底的右边比较好，因为斜率的方向总是指着最低点的方向，第二个例子的第二组点它们的斜率应该要指向右边而不是左边【绿色点应该是在粉色点的左边，因为梯度下滑会向右移动】，另外动量的让新的梯度变大变小可以通过画拐点来解释，比如说在第二个例子的第一组绿色和粉色点是在拐点前面，在拐点前，坡度逐渐变陡，这时候动量会让新的梯度变小防止越过最低点，这个例子和第一个例子的黑色蓝色点的区别在于，第一个例子的蓝色黑色点都在拐点之后，也就是坡度会逐渐变缓，我好像在哪里读到拐点和动量有些许联系，希望我的评论能帮到你，谢谢你的反馈

y=σ(z)，z=w₁x₁+w₂x₂+w₃x₃+w₄x₄+b， ∂z/∂w₁=x₁，不受是否存在w₂，w₃，w₄的影响 ∂z/∂w₂=x₂，不受是否存在w₁，w₃，w₄的影响 ∂z/∂w₃=x₃，不受是否存在w₁，w₂，w₄的影响 假设σ=1/(1+e^x)，则∂y/∂z=y*(1-y)，y值受到了连接到y的所有上层神经元的影响，这样子看来，y对某条连接中参数w的偏导，就会受到其他连接的影响了

某个神经元的梯度，在计算时，是由该神经元所连接的下层神经元的梯度和下层神经元的值和他们之间连接的权重决定的，所以这个梯度计算过程是反向传播回来的。但是，如果改变该神经元输入侧某个参数的值，会导致该神经元的值以及该神经元输出侧各个神经元的值发生改变，最终导致该神经元的梯度随之发生改变，有一种牵一发而动全身的感觉。

输出层，只有输出Y=1的神经元有效，其他输出Y=0的神经元都无效，也就是说，在求倒数第二层神经元的梯度时，可以认为倒数第二层神经元都只发射给同一个输出神经元

当σ=1/(1+e^x)时， 某个神经元的梯度，可以直接由该神经元所连接的所有下层神经元的梯度以及所有下层神经元的值和他们之间连接的权重w计算出来。 某个连接的参数的梯度，可以直接由该连接输出神经元的梯度以及输出和输入神经元的值计算出来

z对x的求导，需要z沿着x到z的所有路径反向一步步求导，然后将同一条路径上的求导结果相乘，最后将不同路径上的求导结果相加

求损失函数Loss对某个参数的梯度，需要先求出损失函数Loss对该参数的接受神经元的梯度，然后用(损失函数Loss对该参数的接受神经元的梯度)*(该参数的接受神经元对该参数的梯度) 求损失函数Loss对某个神经元的梯度，需要先求出损失函数Loss对该神经元连接的所有下层神经元的梯度，然后计算该神经元连接的所有下层神经元分别对该神经元的梯度，最后按照多元函数的求导法则，以该神经元为自变量，进行相乘相加。

单次输入(X，Y)就更新一次参数，会有很大的问题: 1，单个数据的噪音太大 2，计算资源利用太低 3，单个数据就更新参数，效率太低 所以，实际中，采用一次批处理一组(X，Y)，在同一批(X，Y)中，每次只计算参数w和b的梯度，但不实际更新w和b，当这一批(X，Y)都计算完梯度后，再最后更新w和b的值。

我猜测，Loss函数是一个关于(w1，w2...wn，b1，b2...bn)的2n维函数，在每组输入(X，Y)下，这个Loss函数都会更新一下系数。也就是说，每组(X，Y)对应一个Loss函数，每组(w1，w2...wn，b1，b2...bn)对应一个Loss函数上的点。如果不更新(X，Y)的值，只按照梯度向量不断更新(w1，w2...wn，b1，b2...bn)的值，就会得到在当前(X，Y)下的Loss函数极小值。如果不更新(w1，w2...wn，b1，b2...bn)的值，只更新(X，Y)的值，就会得到一组Loss函数在(w1，w2...wn，b1，b2...bn)这个点处的多个梯度向量，即▽1，▽2，▽3......。不更新(w1，w2...wn，b1，b2...bn)的值，只更新(X，Y)的值，就是视频中所说的一个batch内的情况。

第一批次的输入数据训练后，找到了损失函数最低点，此是产生了一组w1，b1，w2，b2......w(n)，b(n)，然后输入第二批次训练数据，此时产生了另一组w1，b1，w2，b2......w(n)，b(n)，那么这个新产生的w1，b1，w2，b2......w(n)，b(n)还能够让第一组的输入数据得到最小损失函数吗？

人类可以使得大模型自行寻找合适参数，从而逼近一切函数，有了这个函数，就可以预测生成新的输出数据。如果给大模型的样本本身就是毫无规律的，那么大模型还可以预测生成新的输出数据吗？这样子大模型会输出个什么？

赞一个

GPT-4的训练数据量只有6TB，GPT-3的训练数据量不是已经有45TB了吗？这个训练数据量，不是越来越多的吗？

在大模型训练阶段，给大模型样本a，样本b，样本c，大模型从样本中找到了规律，并成功的用这个规律在大模型的用户使用阶段生成了正确的输出，那么大模型找到的这个规律，人类也会知道吗？

人工神经网络中，一层神经元的值，可以由上层神经元的值并行计算出来，非常适合用GPU来做这种并行计算。

1:08，这个神经网络没有激活函数，为什么会形成一个曲线图像呢？不应该是一条直线吗？

万能逼近定律

太棒了。

请问什么时候可以体验GPT-4o对视频的视觉和理解能力，能预测一下吗？谢谢！

欠拟合undetfitting，在训练阶段表现差，当然在使用阶段也会表现差。原因就是训练量不够。就像让一个小学生参加高考，不可能会考得好。 过拟合overfitting，在训练阶段表现好，在使用阶段却表现差。原因就是训练数据太片面，从而导致模型捕捉到的数据特征也太片面，于是在用户使用模型时，输入一个数据，模型给出的结果就会片面。就像让一个文科高中生参加理科高考，也不会考得好。

AI模型训练阶段，就是寻找合适的参数w和b，此时参数是未知数，输入是已知数，输出是已知数。 AI模型使用阶段，就是给用户输出结果，此时参数是已知数，输入是已知数，输出是未知数。 一个初中数学例子，一个一元函数 y=wx+b， 训练阶段，就是找出w和b的值。第1次训练:给这个函数输入x=2，该函数输出y=9，第2次训练:给这个函数输入x=6，该函数输出y=17。经过这2次训练，可以求出来w=2，b=5。于是，我们知道该函数就是y=2x+5。在使用阶段，给函数输入随机一个x值，该函数就可以自动输出y值，比如x=100，就会输出y=205。

1.8万亿，一个恒大

局部函数值最小的点，是极小值点。整个定义域上函数值最小的点，是最小值点。

Loss=L(Y, w,b)，这个Y是真实输出，所以这个Y也是输入x的函数，Loss=L(Y, w, b)=L{Y(x, w, b)，y(x,w,b)}=L(x, w, b)，感觉把Loss写成Loss=L(x, w, b)更方便理解。其中x是神经网络的输入值。

这里激活函数是一个指数函数，所以输出y就也是一个指数函数，不管这个神经网络有多少层，输出y都是一个指数函数，所以应该没有什么x的几次方概念吧。e^(-x)的n次方=e^(-nx)，单独对于x来说，x始终保持是一次方。

参数w代表每条链接的权重，参数b代表每个神经元对加权求和的偏置，那激活函数是干什么的？

既然s=-b/w，s是阶梯上升的位置，那调节w值，按理说，s也会改变啊。也就是说，改变w，不止会改变阶梯的高度，也会导致s值的改变，从而改变阶梯上升的位置。

这里把神经网络的输出叫预测输出y，把希望的输出叫真实输出Y，好别扭。y才是神经网络的真实输出，Y应该叫期望输出，y应该叫实际输出。

万能逼近定理，只有一个隐藏层就可以实现输出逼近预期，那为什么要要用多个隐藏层呢？

这里的对数函数log(y)，怎么没有写底数是多少？，默认是底数是10吗？lg(y)

录音效果不好，希望调整一下声音

继续，讲的不错

课堂小结： 1、W越多，B越多。 2、W指的是万元存款，B指的是小姐。

内容很棒，就是声音很不AI。