因为现实世界中的信息是多元化的,不仅有文本,还有图像、音频、视频等,对多模态嵌入模型要求变得更高了,所谓的多模态嵌入模型就是将不同的信息源并入同一个向量空间,表达相似信息的信息源其向量非常接近。
openAI的CLIP多模态嵌入模型是一个非常有影响力的模型,该模型的能力是建立在其进行了大量的图文对比的训练上的。
huggingFace是一个拥有丰富模型的hub平台,用户可以在这里调用下载开源的模型
pip install -e . 命令的作用是将本地的代码当成依赖下载,其它代码便可以调用,前提是你的项目目录下存在一个
setup.py文件(传统方式)或pyproject.toml文件(现代方式,常与setuptools结合使用)。这个文件定义了包的名称、版本、依赖等信息。其中 -e是editable,其作用是建一个指向你当前项目目录的链接。所以,你对源代码做的任何修改都会立即生效,无需重新安装。Pytorch是一个深度学习的框架
with是 Python 中一个非常重要的语法,叫做上下文管理器。它的核心作用是自动管理资源,确保资源在使用后被正确释放,无论中间是否发生错误。