Harvest
KMP算法next数组构建
next[i]:匹配的最长前后缀长度
着重看了next[i-1]不为0且最新一位不匹配的逻辑:需要回退到更小的后缀长度进行检验(j=next[j-1],其中j是目前匹配到的最长后缀长度)
GAT 基于图的注意力机制
相比于attention,将对所有token的特征聚合改为了对邻居(注:自己也是自己的邻居)的特征聚合。感觉有点像蹭注意力机制的热度。本质就是对GCN中权重参数的改进,将仅仅 归一化参数 变为了 可学习+归一化的参数。
h_i \rightarrow Wh_i \rightarrow e_{ij} \rightarrow \alpha_{ij} \rightarrow \sum_j \alpha_{ij}Wh_j \rightarrow h_i'
e_{ij} = \text{LeakyReLU} \left( a^\top [z_i \Vert z_j] \right)h_i' = \sigma \left( \sum_{j \in \mathcal{N}(i)} \alpha_{ij} Wh_j \right)hi:节点特征;
W:线性变化层,类似于attention中将输出文本转为token;
eij:节点i对邻居j的注意力(未归一化);
\alphaij:softmax归一化的注意力;
h'i:最终得到的节点对周围邻居的注意力;(其中激活函数\sigma并不一定要加,如果是输出logits也可以直接归一化后做softmax)
decoder/encoder机制复习
\begin{aligned}
X' &= X + \text{MHA}(\text{LN}(X)) \\
Y &= X' + \text{FFN}(\text{LN}(X'))
\end{aligned}
其中decoder和encoder的区别主要在于MHA中mask的部分,前者会将后面的盖住。
LN有两种摆放位置,通常选择在MHA/FFN之前摆放(提供干净的残差连接)
Moe机制复习
将FFN变成router+很多个FFN(专家)。优点是可以在扩大参数量的情况下保持较低的参数激活量(FLOPs),缺点是训练不稳定(router发现有效的FFN会越来越倾向于该FFN)
and 后续针对MoE有相当多的发展和改进,感觉很偏算法+工程。就了解到这里吧
scaling law
经典的scaling law是对FLOPs,非embedding参数量+处理token数,loss三者的经验曲线衡量。但是好像最近Lilian Weng的博客指出之前发布的论文有不恰当的地方,18号之后得找个时间看看
茶思屋项目
因为内存不够又爆了。。。改了一下重新跑了
others
ScourgeBringer游玩1hours
快节奏横板像素rogulike?但实际上肉鸽的部分不多。
画风我还挺喜欢的,卡关有些难受,确实如游戏所说难度偏高。
打了一会之后就没有心思打了
计科夏令营尚没动静但明天开营qwq
还是得遵循第一性原理,把不必要的学习和了解都尽可能减少,明后两天争取进行“面向面试/机考”的准备。(不然要准备不完了)
一个人闭门造车总是走不远的,需要及时与周围的人交流经验,多多积累共识以审视自己。
晚上去茶思屋的时候下了大雨,只穿了一件短袖,不出意料的被淋成落汤鸡。好在昨天将外套拉在茶思屋了,没有受凉,晚上回来的时候及时洗了澡。可能是台风的影响吧,昨天还是晴天,今天就倾盆大雨了。
加油加油,加油加油。

