Home
Timeline
Search
Show parent replies
Hell Fast
·
Dec 14, 2024
我第一次听说 attention 的时候 我以为就是,当你发现某些事情,需要细致的分析或存储的时候 我就把注意力移到那里,然后细致的分析,投入更多的计算资源
Hell Fast
·
Dec 14, 2024
8/n 不喜欢 attention这个词,其实我觉得大脑运作有 更加 需要attention这个词的地方 maybe we will use stage in the future
Hell Fast
@hellfast.bsky.social
也就是说,如果需要attention,也就是动力系统需要我们有必要记住这个信息,有利于需求的满足,那么,就记住他更多抽象层级的信息,否则就记住比较少的,抽象的关键特征 但 transformer 里的 attention,其实是上下文中的相互影响(注意)