关于“Compressing Context to Enhance Inference Efficiency of Large Language Models”（压缩上下文以提高大型语言模型推理效率）

一、研究背景

大语言模型（LLMs）在各种任务上取得了显著的性能表现，但在处理长文档和扩展对话时面临挑战。因为这会显著增加内存和推理时间方面的计算需求，并且当输入超过LLM的固定上下文长度时可能会导致上下文截断1。

二、相关方法

• 选择性上下文（Selective Context）方法
  • 这种方法可以识别和修剪输入上下文中的冗余信息，使输入更加紧凑，从而提高LLMs的推理效率。它适用于如摘要、问答和响应生成等任务，能够在性能略有下降的情况下将上下文成本降低50%8。
  • 通过自信息评估标记（tokens）的信息量，有选择性地保留它们以更好地表示上下文，从而减少LLMs的计算成本和内存使用7。
  • 实验结果表明，与使用完整上下文相比，选择性上下文方法在保持相当性能的同时，显著降低了内存成本并减少了生成延迟，在效率和性能之间取得了良好的平衡6。

三、实验相关情况

• 在实验中使用了GPT – 3.5、GPT – 4、LLaMA – 7B、13B、30B、Vicuna – 7、13B等基座模型，并在BBCNew、arXiv Articles、ShareGPT.com 等数据集上进行了评测2。

四、其他提高推理效率的研究

有研究表明在Transformer LLMs中跳过后面的注意力子层是一种降低推理成本的有效方法，该方法使Llama 2 7B在几个基准测试上速度提高了21%并提高了性能