告别传统的文档切块!JinaAI提出Late Chunking技巧

告别传统的文档切块!JinaAI提出Late Chunking技巧

当天给大家分享JinaAI提出的一个新的技巧,反常在解决大规模数据建索引的时刻,普通咱们须要先对文档启动分块,建设向量索引,而这个分块大小,设置的都是比拟短的,比如512,一方面是早期bert的解决长度的限度,另一个方面是假设文本太长,蕴含......
萌子哥 11-15
207 128 247