我第一次听说 attention 的时候
我以为就是，当你发现某些事情，需要细致的分析或存储的时候
我就把注意力移到那里，然后细致的分析，投入更多的计算资源
1 replies 3/n
Embeding 肯定是要有的，因为预测下一个图像的时候
我们要有区分，最简单直接的区分就是相似度，表达相似度可以用距离，相似的原因是因为feature的重合度比较高，所以才叫做相似
1 replies5/n
但这个问题在于，embedding在假设，每一个feature，可能的feature，可以区分的feature都可以在这个vector space当中
使用vector space 的好处是，容易进行距离计算（相似度对比），来实现 feature computation
1 replies6/n
而且 点积 有个好处，就是比较二者的相似度，信息重合度
当然我假设了 feature就是信息
基本可以确定，线性代数足够强悍到解决AGI
其实有时候，我应该复习一下量子力学，从信息学的角度再看一遍
找点灵感什么的
1 replies7/n
对于 gpt-3，我们可以认为它有 (2^32)^12288, ~10^110000个不同的 features（包含了组合），而object有 50257 个
1 replies8/n
不喜欢 attention这个词，其实我觉得大脑运作有 更加 需要attention这个词的地方
maybe we will use stage in the future
1 replies1. ✅
2. ✅ / ✅
3. ✅
4. ❌ 竞争太激烈了
5. ✅
6. ✅
7. ✅
8. ❌ 不了解
9. ✅
The curse of AGI
solving low problems with low solutions
but miss the high solutions for high problems
什么学习方法这个那个
就是变数不够，反复不充足