4/n king−man+woman≈queen 这种计算，其实就是 king 和 queen 的features完全一致，没有区分度，而唯一的区分是性别

5/n 但这个问题在于，embedding在假设，每一个feature，可能的feature，可以区分的feature都可以在这个vector space当中 使用vector space 的好处是，容易进行距离计算（相似度对比），来实现 feature computation

6/n 而且 点积 有个好处，就是比较二者的相似度，信息重合度 当然我假设了 feature就是信息 基本可以确定，线性代数足够强悍到解决AGI 其实有时候，我应该复习一下量子力学，从信息学的角度再看一遍 找点灵感什么的

7/n 对于 gpt-3，我们可以认为它有 (2^32)^12288, ~10^110000个不同的 features（包含了组合），而object有 50257 个

8/n 不喜欢 attention这个词，其实我觉得大脑运作有 更加 需要attention这个词的地方 maybe we will use stage in the future

9/n 我现在不是用linear algebra去理解ai 而是用ai去理解 linear algebra