如果想看懂这个教程，对词汇的基本要求还是有的 很多人会因为对词汇的不理解，而导致学习不顺畅 bbycroft.net/llm

1. discrete token 2. vocabulary size 3. embedding dimension 4. “meaning” model has learned for one token

If you have a 48‐dimensional embedding, you have 48 “features” describing each token’s characteristics. 这里可以举例说明，什么是 feature GPT-3 (175 billion-parameter): C=12,288 Embedding 是把 token 的 位置信息 以及 某个语义特征结合起来

1. mean (μ) and variance (Var) 2. The epsilon term (ε = 1×10-5) is there to prevent division by zero. 3. 特征修正

1. A is the size of the head (what is head) 2. dot product meaning 3. what is Q K V

1. Q means "I need an adjective (type 34 query)" 2. K means "I am a adjective (type 34 query)" 3. KQ means how much relavancy they are in this query 4. softmax(KQ) V is what you need to change the meaning of token, you are an adjective, and now you are red or tall

it is still another feature-related thing (ask abstract class) such feature is important or not and add the feature to itself

人们有受教育的权利 也有传递知识的权利 一个要求知，一个要行善

我不是药神 达拉斯俱乐部

多希望现在我也可以有一个能独立研究 AI 的研究机构 就是为了解决 AGI，还不愁钱，孔乙己的梦想

#macos 1. command + opt + F5 to open Accessibility Shortcuts 2. active the full keyboard control 🔽 space to activate (click) tab to navigate

这种题不好 最后大家会变成记忆答案 推理不适合快速作答

社会这种脆钢线性人生 实在是压制人性

只活一辈子 才不活的被动 缺钱就去赚，没钱也要活的自由 为了那份安全感，作贱自己的人生 不明智

还是机会成本的问题，大家觉得财富是显性机会成本 但还有很多隐形的成本，大家就不算了

保持自己的节奏和规划 世界上很多道理都是胡说八道 道听途说，情绪发泄 哪有那么多的细致思考

He also argued that certain professions will always be reserved for humans."There's a lot of things that we won't want to do with a machine," he added. Hassabis indicated that patients don't want to be attended to or treated by a robot nurse, since it'll be difficult to show empathy. 他妈妈就是一个华人护士

我负责出题，你负责用 ai 解题

用 ai 就要像是 福尔摩斯去收集证据

在一个领域有极大的突破 如果不是隔壁技术的应用，而是内部的革新 是需要大量时间的积累和尝试的，就是要砸时间，才能看清

时间积累多，有一个优势 就是敏感，即使之前也知道这个词汇，但是现在会知道 这是一个底层的关键的值得更多注意力的词汇

Karpathy 也举 9.11 > 9.9 这个例子，甚至细致的分析了为什么 youtu.be/7xTGNNLPyMI?...

盲从就容易当韭菜

又不舒服了

生命给什么 都可以当做是一种体验 即使是消极的影响 和可以作为学习的机会 唯一不应该在乎的 就是评价 当你想评价，你就想进展

更准确得说 就是不要有情绪 不要逃避 而是解决问题，取得进展

情绪就是脑子短路下的极端自保

原来是他们啥也不懂，就是人云亦云呢，别太当回事

用一个可以容易提取特征的形式 来表达，这是一个提高效率的信号

我不喜欢搞新闻评论 我喜欢发现通用规律 用简洁的方式 恰当的视角 来解决问题

“彼与彼年相若也，道相似也。位卑则足羞，官盛则近谀” 羞什么羞，都是自恋且无知

自恋者的狭隘就是，大家肯定是学的同一门语言，跑的同一条赛道，所以必然有优劣之分，而且排除了运气成分

虚荣即幼稚

Live Your Life according to Yourself Situation. 不要对比，不要外界的裹挟，不要在乎别人的评价 专注达到自己的目标，专注自己局域水平下的更优解

本能的很多 reflex 就是很有毒性 所以要通过理智去克制，就相当于，别吸毒

当认知模型非常粗糙的时候 就会利用他人评价、个人情绪的满足以及财富这种显而易见的指标来指挥自己的行为 而且因为有低认知的自信感 还觉得自己很对很英明

为什么有些 YouTube 视频 做的那么好？ 你是否需要也做得那么好，才能够起到价值？

Solving radius. Fluency of solving.

Low resolution solving machine

有了 AI，其实就是我不用去背很多词汇了 他内部知道这个信息，就给我翻译了 一下子降低了我极大的查单词，明确单词含义的成本 但是受教育者还是要背单词的

对于那些不用背的词，你就去问 AI 好了 就是不那么重要，也没必要占用你的时间 你感兴趣，那就是自发行为，也就没必要用多邻国 你去查字典就好了

遇到这些词汇的频率太低，所以导致了记忆的消散 Mine vocabulary and let the users retain them

教材就像是词典 或者是地图，但不代表你看了教材就熟练的去一个地方 需要你反复的开车才行

这种工具是很好的学习助手，但是如果做起来 那就实在是太多了，除非用ai做起来特别的快才行 tiktokenizer.vercel.app

1. 不展示这些词汇有什么缺点 2. 展示什么样的词汇利于理解

1. 颗粒化 2. 关键 3. 实例化

Mint, compress chunkify, tokenization

我如果也有很多的资源去搞 AI 我会自己重新设计一个架构，类似发明 Transformer 而不是在这个基础上搞研究

教材就是情绪价值太低，信息收益太低

给你一个猫的图片，人基本就知道这个动物的关键特征 就能够区分识别 猫 这一类对应的信号 cat