大型語(yǔ)言模型(LLM)在對(duì)話、創(chuàng)作和其他應(yīng)用中展現(xiàn)出巨大潛力，但其局限性在于知識(shí)僅限于訓(xùn)練數(shù)據(jù)，缺乏對(duì)世界的真正理解。為了彌補(bǔ)這一缺陷，檢索增強(qiáng)生成(RAG)系統(tǒng)開始涌現(xiàn)，其核心思想是從外部來(lái)源檢索相關(guān)知識(shí)，為L(zhǎng)LM提供更明智的響應(yīng)。然而，現(xiàn)有的RAG系統(tǒng)大多使用向量嵌入的語(yǔ)義相似度來(lái)檢索段落，存在一些關(guān)鍵的局限性。

知識(shí)圖譜作為現(xiàn)實(shí)世界實(shí)體和關(guān)系的結(jié)構(gòu)化表達(dá)，能夠?qū)崿F(xiàn)跨內(nèi)容的復(fù)雜推理，增強(qiáng)檢索能力。與純向量搜索相比，它提供了更大的相關(guān)性和解釋能力。通過(guò)將向量嵌入與知識(shí)圖譜相結(jié)合，可以開啟更高水平的推理能力，提升LLM的準(zhǔn)確性和可解釋性。這種伙伴關(guān)系提供了表層語(yǔ)義以及結(jié)構(gòu)化知識(shí)和邏輯的完美融合。

同時(shí)，利用簡(jiǎn)單約束改進(jìn)知識(shí)圖譜嵌入也是當(dāng)前的研究熱點(diǎn)。非負(fù)性約束、蘊(yùn)涵約束、置信度建模和正則化等有助于產(chǎn)生更優(yōu)化、更易于解釋和邏輯兼容的表示。

此外，集成多種推理框架也是重要的一環(huán)。邏輯規(guī)則、圖嵌入和神經(jīng)網(wǎng)絡(luò)等技術(shù)各有優(yōu)勢(shì)，通過(guò)混合流水線等方法可以結(jié)合它們的優(yōu)點(diǎn)。

在檢索知識(shí)時(shí)，保持LLM的信息流和解鎖推理能力至關(guān)重要。知識(shí)圖譜提供了實(shí)體和關(guān)系的結(jié)構(gòu)化表達(dá)，而嵌入聚焦于相關(guān)內(nèi)容的搜索和檢索。知識(shí)圖譜首先收集結(jié)構(gòu)化知識(shí)，然后嵌入聚焦于相關(guān)內(nèi)容的搜索和檢索。通過(guò)模式識(shí)別和神經(jīng)網(wǎng)絡(luò)的可擴(kuò)展性，這種伙伴關(guān)系增強(qiáng)了結(jié)構(gòu)化知識(shí)的表示。

更為重要的是，利用數(shù)據(jù)飛輪可以進(jìn)一步改進(jìn)RAG系統(tǒng)。通過(guò)分析系統(tǒng)交互和用戶數(shù)據(jù)，不斷改進(jìn)知識(shí)圖譜，填補(bǔ)知識(shí)空白，保持其最新性。這一過(guò)程使得知識(shí)圖譜和語(yǔ)言模型能夠基于來(lái)自現(xiàn)實(shí)世界使用的反饋進(jìn)行協(xié)同演化。

總結(jié)來(lái)說(shuō)，通過(guò)結(jié)合知識(shí)圖譜和向量嵌入，利用多種推理框架和數(shù)據(jù)飛輪，我們可以解鎖LLM的新維度，克服其局限性并提高準(zhǔn)確性和可解釋性。這將為語(yǔ)言人工智能的進(jìn)一步發(fā)展開辟新的可能性。