openai 新出的解释大模型神经元作用的文章： Language models can explain neurons in language models
1、 解释的是 gpt-2 XL 1.5B的模型的神经元的作用
2、 文章的说的神经元是 MLP 结构中的隐层，即 feed forward 结构的 隐层，隐层神经元一般是 d_model 维度的四倍。 所以一共有 0-37 层的 0-6399 个神经元
3、 文章中的 activations 是神经元激活之后那一层的 文本/embedding， 每个词的颜色深浅是（0-10）是代表隐层研究的那个神经元到此 token 的 权重
4、 研究方式：
1）通过训练和推演过程的产生的大量状态提炼出每个神经元和大量在其激活状态下对应的 activations 文本数据库
2）借助 GPT-4 把这些文本例子做 prompt 工程输入，让其"总结"生成一个 "解释" 文本来解释此神经元的作用（借助了GPT4）
3）与上面反向的，让GPT4在上一步假设的 "原因" 下，给 activations 重新打上权重 "深浅不一的绿色"（借助了GPT4）
4) 比较原始 activations 和新的模拟生成的 activations，当然 2 个 activations 文字一模一样的，只是 "绿色" 权重不易。 比较两者相似的，作为那个 "解释" 文本准确度的得分
5、图一：方法步骤，图中研究14层-3822号神经元，根据绿色权重，GPT4猜测这个神经元作用是激活 x by x 或 x after x 这样的结构语法
6、图二：列出了一个 activations 同一个单词，不同层下神经元激活的 "原因"， 由GPT4猜测的“解释”和自动聚类
7、图三：neuron-viewer 工具查看 30层第28号神经作用是 “意识到这是个时间字串”， 下面的 activations 例子中，时间字串的确被加重绿色“激活”了
8、链接：可交互的论文地址 和 可交互的 neuron-viewer 在评论
9、 其他随想：
1）gpt 模型 75 % 参数在 MLP 类似结构，所以MLP的神经元大有作用；
2）一个神经元可 weight 注意多个activations 中的 token，是因为 attention 机制的强大编码能力，类似傅里叶变换频域的元素是“函数”，每个单词编码是 “其他所有单词为基的函数”。 是高一阶的编码方式，这种高一阶的方法是 transformer 和 rnn 方法的本质不同。
3）如图1，浅层神经元关注到了 “以K开头的字串”这样的简单意思，深层神经元关注到了“食品相关的”深层语义。 （和卷积神经网络解释相通）
4）openai 在秀自家 gpt4 和prompt工程帮助科研的能力
1、 解释的是 gpt-2 XL 1.5B的模型的神经元的作用
2、 文章的说的神经元是 MLP 结构中的隐层，即 feed forward 结构的 隐层，隐层神经元一般是 d_model 维度的四倍。 所以一共有 0-37 层的 0-6399 个神经元
3、 文章中的 activations 是神经元激活之后那一层的 文本/embedding， 每个词的颜色深浅是（0-10）是代表隐层研究的那个神经元到此 token 的 权重
4、 研究方式：
1）通过训练和推演过程的产生的大量状态提炼出每个神经元和大量在其激活状态下对应的 activations 文本数据库
2）借助 GPT-4 把这些文本例子做 prompt 工程输入，让其"总结"生成一个 "解释" 文本来解释此神经元的作用（借助了GPT4）
3）与上面反向的，让GPT4在上一步假设的 "原因" 下，给 activations 重新打上权重 "深浅不一的绿色"（借助了GPT4）
4) 比较原始 activations 和新的模拟生成的 activations，当然 2 个 activations 文字一模一样的，只是 "绿色" 权重不易。 比较两者相似的，作为那个 "解释" 文本准确度的得分
5、图一：方法步骤，图中研究14层-3822号神经元，根据绿色权重，GPT4猜测这个神经元作用是激活 x by x 或 x after x 这样的结构语法
6、图二：列出了一个 activations 同一个单词，不同层下神经元激活的 "原因"， 由GPT4猜测的“解释”和自动聚类
7、图三：neuron-viewer 工具查看 30层第28号神经作用是 “意识到这是个时间字串”， 下面的 activations 例子中，时间字串的确被加重绿色“激活”了
8、链接：可交互的论文地址 和 可交互的 neuron-viewer 在评论
9、 其他随想：
1）gpt 模型 75 % 参数在 MLP 类似结构，所以MLP的神经元大有作用；
2）一个神经元可 weight 注意多个activations 中的 token，是因为 attention 机制的强大编码能力，类似傅里叶变换频域的元素是“函数”，每个单词编码是 “其他所有单词为基的函数”。 是高一阶的编码方式，这种高一阶的方法是 transformer 和 rnn 方法的本质不同。
3）如图1，浅层神经元关注到了 “以K开头的字串”这样的简单意思，深层神经元关注到了“食品相关的”深层语义。 （和卷积神经网络解释相通）
4）openai 在秀自家 gpt4 和prompt工程帮助科研的能力
在心情最糟糕的时候，仍会按时吃饭，早睡早起，自律如昔。-—这样的人才是能扛事的人。人事再乱,打不乱你心。人,不需要有那么多过人之处,能扛事就是才华横溢。
In the worst of times, I eat at the same time, go to bed early, get up early, and be disciplined as ever. -- Such people are able to carry the load. Personnel again chaos, play not chaos your heart. People, do not need to have so many exceptional, can carry things is talented.
In the worst of times, I eat at the same time, go to bed early, get up early, and be disciplined as ever. -- Such people are able to carry the load. Personnel again chaos, play not chaos your heart. People, do not need to have so many exceptional, can carry things is talented.
#GTOP[超话]#
➽SIDE G
20230510 | via voguetaiwan IG
[#VogueFashionNow 久違被媒體包圍的志龍，弱小、無助、我是誰我在哪？
現在幾乎只為 @ chanelofficial 露臉的G-Dragon，特別出席剛在洛杉磯舉辦的Chanel Cruise 2023/24度假大秀。穿著全身佈滿白色山茶花的黑色夾克，被媒體團團包圍的他，手足無措的樣子實在太可愛，誰能相信眼前這位是超級巨星！
G-Dragon受訪提到，他最喜歡Chanel秀上閃亮多彩的dancing shoes。還沒看秀的你，記得鎖定台灣晚間10點的Chanel大秀影片。]
▶G-DRAGON - ‘Can't Help Falling in Love’ (TCB ⚡️) WB传送门：https://t.cn/A6ajV6Eo
#权志龙chanel全球形象大使#
#香奈儿早春度假系列#
情报：大可 https://t.cn/A6NEp9Cv
➽SIDE G
20230510 | via voguetaiwan IG
[#VogueFashionNow 久違被媒體包圍的志龍，弱小、無助、我是誰我在哪？
現在幾乎只為 @ chanelofficial 露臉的G-Dragon，特別出席剛在洛杉磯舉辦的Chanel Cruise 2023/24度假大秀。穿著全身佈滿白色山茶花的黑色夾克，被媒體團團包圍的他，手足無措的樣子實在太可愛，誰能相信眼前這位是超級巨星！
G-Dragon受訪提到，他最喜歡Chanel秀上閃亮多彩的dancing shoes。還沒看秀的你，記得鎖定台灣晚間10點的Chanel大秀影片。]
▶G-DRAGON - ‘Can't Help Falling in Love’ (TCB ⚡️) WB传送门：https://t.cn/A6ajV6Eo
#权志龙chanel全球形象大使#
#香奈儿早春度假系列#
情报：大可 https://t.cn/A6NEp9Cv
✋热门推荐