米游社 · 星布谷地

7.12 倾盆大雨

来自版块: 校园
0
0
0
文章发表:07-12
来自合集: 日记

Harvest

KMP算法next数组构建

next[i]:匹配的最长前后缀长度

着重看了next[i-1]不为0且最新一位不匹配的逻辑:需要回退到更小的后缀长度进行检验(j=next[j-1],其中j是目前匹配到的最长后缀长度)


GAT 基于图的注意力机制

相比于attention,将对所有token的特征聚合改为了对邻居(注:自己也是自己的邻居)的特征聚合。感觉有点像蹭注意力机制的热度。本质就是对GCN中权重参数的改进,将仅仅 归一化参数 变为了 可学习+归一化的参数。

h_i \rightarrow Wh_i \rightarrow e_{ij} \rightarrow \alpha_{ij} \rightarrow \sum_j \alpha_{ij}Wh_j \rightarrow h_i'

e_{ij} = \text{LeakyReLU} \left( a^\top [z_i \Vert z_j] \right)h_i' = \sigma \left( \sum_{j \in \mathcal{N}(i)} \alpha_{ij} Wh_j \right)hi:节点特征;


W:线性变化层,类似于attention中将输出文本转为token;

eij:节点i对邻居j的注意力(未归一化);

\alphaij:softmax归一化的注意力;

h'i:最终得到的节点对周围邻居的注意力;(其中激活函数\sigma并不一定要加,如果是输出logits也可以直接归一化后做softmax)


decoder/encoder机制复习

\begin{aligned}

X' &= X + \text{MHA}(\text{LN}(X)) \\

Y &= X' + \text{FFN}(\text{LN}(X'))

\end{aligned}


其中decoder和encoder的区别主要在于MHA中mask的部分,前者会将后面的盖住。

LN有两种摆放位置,通常选择在MHA/FFN之前摆放(提供干净的残差连接)


Moe机制复习

将FFN变成router+很多个FFN(专家)。优点是可以在扩大参数量的情况下保持较低的参数激活量(FLOPs),缺点是训练不稳定(router发现有效的FFN会越来越倾向于该FFN)

and 后续针对MoE有相当多的发展和改进,感觉很偏算法+工程。就了解到这里吧


scaling law

经典的scaling law是对FLOPs,非embedding参数量+处理token数,loss三者的经验曲线衡量。但是好像最近Lilian Weng的博客指出之前发布的论文有不恰当的地方,18号之后得找个时间看看


茶思屋项目

因为内存不够又爆了。。。改了一下重新跑了


others

ScourgeBringer游玩1hours

快节奏横板像素rogulike?但实际上肉鸽的部分不多。

画风我还挺喜欢的,卡关有些难受,确实如游戏所说难度偏高。

打了一会之后就没有心思打了


计科夏令营尚没动静但明天开营qwq


还是得遵循第一性原理,把不必要的学习和了解都尽可能减少,明后两天争取进行“面向面试/机考”的准备。(不然要准备不完了)

一个人闭门造车总是走不远的,需要及时与周围的人交流经验,多多积累共识以审视自己。

晚上去茶思屋的时候下了大雨,只穿了一件短袖,不出意料的被淋成落汤鸡。好在昨天将外套拉在茶思屋了,没有受凉,晚上回来的时候及时洗了澡。可能是台风的影响吧,昨天还是晴天,今天就倾盆大雨了。

加油加油,加油加油。

0
0
看帖是喜欢,评论才是真爱:
0 / 1000
  • 全部评论
  • 只看楼主
排序:最早
0
0
0
扫码下载
米游社App