img_v3_02fr_9d75bfc9-bb9a-4eac-be99-a89d28334a6g.png

微信图片_20241031204349.png

中关村国家自主创新示范区-会议中心

中国开源年会 2024

高思远.jpg

记忆力机制部分：大模型目前缺少集成的记忆力能力，因此往往需要通过微调参数或者外加记忆力机制来实现大模型的记忆功能。现存的主流方法，LoRA, RAG, 数据库等往往存在一个或多个以下问题：1，空间复杂度随记忆数量提升而增大（非常数级）；2，易被幻觉问题影响，导致输出错误信息；3，除记忆力外其他能力遭到影响；4，无可解释性；5，无法表现出类似人类的遗忘机制（往往通过直接删除整段记忆来控制空间，无法保留任何残余信息）；6，无法表示出不同记忆之间的联系。因此，我们提出了一个新的记忆机制，可以将记忆作为节点保存在图结构中以直观的展现出记忆之间的联系。同时，我们设计了“融合”遗忘机制，通过把不同记忆和其之间关系进行提取融合来缩减记忆总规模以保证空间复杂度为常数级的同时每次删除记忆都能保证一定的残余。因为我们的方法并不会直接调整大模型的参数，所以不易被幻觉问题影响，同时也能保证不会影响到模型本身其他能力。

评测方法部分：同时，我们注意到了现在缺少能够量化记忆题词（prompt）对指定模型影响的指标和能够更加准确评估模型记忆力在实际应用中效果的方法。因此，我们提出了全新的测试指标，能够量化指定题词对指定模型的影响/作用，从而可以使一直以来以其极高难度和不确定性著称的“调参/调题词/换模型”过程更加客观和清晰。除此之外，我们还提出了新的系统化测试方法来更加准确的定义和评测模型记忆力机制的“实战效果”而非像现有方法一样过专注于测试取回个别细枝末节信息的能力（在实际应用中并不太需要这种取回细枝末节信息的能力）。

Presentation项目介绍：常数空间复杂度的通用图结构大模型记忆机制及更合理的评测方法