github发布release的过程，进入你的仓库项目，新建一个release，进入新建release的界面，选择一个tag（一般是版本号如v0.1.0，没有就新创建一个），然后填写release note更新说明，以及release title，然后上传项目打包好的exe、SetUp等可执行安装包。我的项目是通过npm run pack 等脚本命令建立的setup可执行文件，打包产物作为附件上传。

transformer框架的自注意机制的发明，解决了为大模型的发展瓶颈，以前是静态词向量/静态上下文，每个词的意思都是固定的，比如苹果理解为水果苹果的话，苹果公司就会被理解为水果苹果公司。所谓的自注意机制，就是使得大模型具有了可以根据上下文来推断某个词的语义的能力（动态上下文）。苹果好吃，这里的苹果是水果，苹果公司在这种情况下就会被理解为著名的苹果公司。

多模态模型发展的必要性。为了使得大模型能统一理解文字、图片、视频等信息，引入了多模态模型，其实它们是一种嵌入模型，将上面的信息变成同一纬度的的向量存入向量数据库中，根据向量相似度匹配判断跨模态语义关联，比如“一个可爱的狗”的文字与一张描述“一个可爱狗”的图片，两者生成得向量空间距离很近，语义相似度极高。

嵌入模型的训练方式，对比学习训练，掩码预学习训练，多模态对齐预训练。

对了切片方式除了固定字符切片，递归字符切片与语义切片还有向量聚类切片。语义切片是在语义跳跃点（根据向量距离来判断，距离越近语义越接近，越远越语义越不接近，在语义距离大于一定距离处即语义跳跃点）处进行切片；而向量聚类切片的意思是，先把所有的文本片段全部转化为向量，然后进行一次全局的向量相似比较，用聚类算法自动把语义接近聚成一类，每一类就是一个分片。

语义跳跃的意思是两个向量之间的相似度十分弱，也就是语义不接近，产生语义跳跃，适合作为切点。