文本嵌入能完美编码文本吗？

随着生成式AI的快速发展，许多公司通过检索增强生成（RAG）系统来构建问答应用。RAG系统将文档存储在数据库中，利用嵌入模型将文本转换为向量，然后根据向量相似度检索相关文档，最后生成回答。

这种方法的流行催生了向量数据库——一种专门存储和搜索嵌入向量的新型数据库。大量初创公司获得数亿美元融资，声称能简化RAG流程。然而，向量数据库中存储的是嵌入向量，而非原始文本，这引发了隐私担忧：如果数据库被黑客入侵，攻击者能否从嵌入向量中恢复出原始文本？

文本嵌入是神经网络的输出，由矩阵乘法和非线性函数（如ReLU）对输入文本进行变换得到。信号处理中的数据处理不等式指出，函数不能增加信息，只能维持或减少信息。因此，嵌入向量包含的信息不会超过原始输入，且非线性层会破坏部分信息。

这意味着嵌入向量并非原始文本的完美编码，但其中仍保留了足够的信息，可能被用于恢复文本。

在计算机视觉领域，已有研究证明可以从深度神经网络的特征输出中恢复输入图像。例如，Dosovitskiy等人（2016）从卷积神经网络的特征中重建出模糊但相似的图像。后续工作提高了重建精度，甚至能从ImageNet分类器的1000个类别概率中恢复图像。

这些结果表明，嵌入向量可能泄露原始输入信息，文本领域也可能存在类似风险。

研究者将问题形式化为：给定一个32个token（约25个单词）的文本输入，其嵌入向量为768维浮点数（约3KB），能否恢复原始文本？他们定义了两个评估指标：精确匹配率和BLEU分数（衡量相似度）。

他们收集了大量文本-嵌入对，训练了一个Transformer模型，以嵌入为输入，输出文本。该模型在BLEU分数上达到约30/100，能大致猜出文本主题和部分单词，但词序混乱，精确匹配率接近零。这表明完全恢复文本仍很困难，但部分信息已被泄露。

上述实验表明，嵌入向量并非安全的存储格式。如果向量数据库被攻破，攻击者可能利用类似模型恢复出敏感文本内容，违反隐私政策。

然而，当前方法仅适用于短文本（32个token），且恢复质量有限。对于更长文本或更复杂的嵌入模型，恢复难度可能更高。此外，嵌入模型的设计（如是否使用ReLU）也会影响信息保留程度。这些因素增加了实际攻击的不确定性。