26」ChatGPT中第 31层的892神经元，你知道它的作用吗？｜GPT4o｜GPT-4o｜梯度计算｜大模型LLM｜人工智能AI｜深度学习｜神经网络｜如何入门 AI
Вставка
- Опубліковано 20 сер 2024
- 制约神经网络能力的因素有哪些？ ChatGPT又总结出了怎样的语言规律？
｜GPT4o｜GPT-4o｜梯度计算｜ChatGPT｜大模型LLM｜人工智能AI｜深度学习｜神经网络｜如何入门 AI
大模型LLM和 ChatGPT 的技术原理
26 神经网络总结（二）
#如何入门AI
#人工智能
#深度学习
#ChatGPT
#AIGC - Наука та технологія
我看到有提到大语言模型会有一个知识库，这个知识库指的是一个额外的数据库？比如这个知识库有三个知识点：法国首都是巴黎，荷兰首都是阿姆斯特丹，西班牙首都是巴黎。大语言模型的知识库是怎样的一个存在？是真的有这么一个数据库，还是说这个知识库是一种抽象的存在，是内化进大语言模型的参数里面。比如，经过大语言模型的参数调整，使得输入“法国首都是”就会输出“巴黎”；输入“荷兰首都是”就会输出“阿姆斯特丹”；输入“西班牙首都是”就会输出“马德里”，这种把知识库内化进参数里面的情形，就没有一个真正的额外数据库
没有额外的知识库，内化在参数里面了。
并且知识库这个说法是错误，模型不是有个数据库，然后碰到问题了去这个数据库中找答案。
这里用“大脑的记忆”类比理解更合适，就是学到了很多知识、规律，变成记忆存储在神经网络中。
有需要就会激活相关记忆，给出答案。但是，既然是类似记忆，那就会出错，给出错误的答案
3:27 “在输出了in，have和how之后，这个神经元就会给出一个很大的输出。”这句话中，很大的输出是什么意思？和an又有什么关系？
就是该神经元的输出值会变得很大。 推测这个神经元的作用就是预测“an”的。 当神经网络判断有 an 要输入的时候，该神经元就会被激活
在大语言模型进行一次预测行为中，某个神经元的输出值越大，就表示这个神经元对这次预测行为的贡献越大吗？另外，视频中，当大语言模型预测输出an时，这个31层892号神经元的输出值就会很大，所以说明这个神经元对大语言模型预测输出an的贡献很大，是这个意思吗？主要是因为大语言模型准备要输出an了，所以这个神经元才输出值变得很大，和那个in，have，how其实没有什么关系，对吧？
@@hankdonald7812
1、没有这个说法，还需要看输出的形态，传递路径单更多权重等等。这里的推测，是根据观察到的现象来的。
有 an 就该神经元输出大，所以两者有关联。 如果有an，就该神经元输出小，也有可能两者由因果关联。
就和听到 狗叫，推测有人来了一样。这个推测是这么来的。
2、没有说贡献大。只是说这个神经元，负责的工作和 an 相关的可能性很高，并可能就是用来识别“an”的。
并且看单次输出的贡献意义并不是很大。
假设在网络输出“graped” 中， A 神经元在输出中贡献大，不能得出 A 神经元就是用来识别“ed”过去式的结论。 因为换个单词“listened”，A 神经元就输出很小了。只有在所有的“ed”过去式中，A 神经元的输出都是一致的，那么可以推测 A 神经元就和“ed”过去式相关。
3、是的，和前面的输入应该无关。
神经网络找到的识别规律是很复杂的，不要想用简单规则去解释，大概率是无效了。举个例子，它的规律可能蕴含在一大块神经元行为模式中，
比如我随便想的一个规则：
有临近的3000 个神经元有 9 种输出模式，每种模式被激活了，就代表英语中的一个时态。
但是9 种输出模式之外，它也不是就完全没作用了。还会被用作其它信号传递，只是不作为时态判断罢了。
要找到这样规律，只能看研究者独特的手段观察总结了。人类大脑就很难总结出铺捉和想到原来这 3000 个神经元的工作原理是这样。
GPT-4的训练数据量只有6TB，GPT-3的训练数据量不是已经有45TB了吗？这个训练数据量，不是越来越多的吗？
gpt3 只有570GB的数据