img_v3_02fr_9d75bfc9-bb9a-4eac-be99-a89d28334a6g.png

微信图片_20241031204349.png

中关村国家自主创新示范区-会议中心

中国开源年会 2024

何涛.jpg

本议题主要介绍我们如何基于云原生大数据存储中间件 Vineyard 来打造高性能分布式KV Cache缓存中间件来加速LLM推理的效率，这一组件可以无缝接入不同的推理引擎，帮助LLM推理引擎获得超出显存容量的Prefix caching的能力。本议题中，我们将分享Vineyard LLM KV Cache的设计思路、不同场景的性能评估，以及我们在LLM推理系统中应用大数据中间件的体会。

PresentationOne Cache to Rules Them All: Efficient LLM KV Cache Middleware with Vineyard