1.Lance的高性能随机访问
Lance 的高性能随机访问是通过"文件容器 + 分页编码 + 定位索引(search cache)"三层机制共同实现的。
1.1.整体思路
随机访问的核心问题是:给定一个 row id,如何用最少、最可预测的 I/O 次数,把该行某列的数据读出来。
1.2.Lance的做法
Lance有以下设计:
(1)列式存储,且没有 row group(Parquet 有,Lance 明确认为它有害);
(2)数据按"disk page(磁盘页)"组织,每个 page 存某列的一部分行;
(3)每页记录自己首行的 row offset,所以能直接从 row id 快速算出落在哪个 page;
(4)page 内部再通过结构性编码的定位元数据,把 row 精确映射到某个 byte range,只读那一小块。
2.RAG
RAG(Retrieval-Augmented Generation,检索增强生成) 是一种让大语言模型(LLM)"边查资料边回答"的技术范式。
2.1.核心思想
大模型有"知识截止日期"和"幻觉"两大问题:它只能基于训练时的知识回答,且容易一本正经地编造。RAG 的解法是:
回答之前,先从外部知识库检索出相关资料,再把资料作为上下文喂给模型,让模型基于这些"证据"生成答案。
换句话说,把"检索(找到相关资料)"和"生成(LLM 写答案)"结合起来,用外部知识增强模型的生成能力。
2.2.基本工作流程
分为三个具体流程
(1)离线建库(Indexing)
把文档(PDF、网页、数据库、代码等)切分成小块(chunk);
用 embedding 模型把每块转成向量;
向量存入向量数据库/索引(如 LanceDB、Milvus、FAISS、Pinecone 等)。
(2)在线查询(Retrieval)
用户提问 → 用同一个 embedding 模型把问题转成向量;
在向量库中做相似度检索,找到最相关的 Top-K 个文档块(也常结合关键词/全文/混合检索)。
(3)增强生成(Generation)
把检索到的资料和用户问题拼成一个 prompt;
交给 LLM 生成最终答案,通常要求模型"只依据给定资料回答"。