学习资料

Prompt压缩

压缩Prompt,更有效率地使用模型的Context

标签:

关于“Compressing Context to Enhance Inference Efficiency of Large Language Models”(压缩上下文以提高大型语言模型推理效率)

一、研究背景

大语言模型(LLMs)在各种任务上取得了显著的性能表现,但在处理长文档和扩展对话时面临挑战。因为这会显著增加内存和推理时间方面的计算需求,并且当输入超过LLM的固定上下文长度时可能会导致上下文截断1

二、相关方法

  • 选择性上下文(Selective Context)方法
    • 这种方法可以识别和修剪输入上下文中的冗余信息,使输入更加紧凑,从而提高LLMs的推理效率。它适用于如摘要、问答和响应生成等任务,能够在性能略有下降的情况下将上下文成本降低50%8
    • 通过自信息评估标记(tokens)的信息量,有选择性地保留它们以更好地表示上下文,从而减少LLMs的计算成本和内存使用7
    • 实验结果表明,与使用完整上下文相比,选择性上下文方法在保持相当性能的同时,显著降低了内存成本并减少了生成延迟,在效率和性能之间取得了良好的平衡6

三、实验相关情况

  • 在实验中使用了GPT – 3.5、GPT – 4、LLaMA – 7B、13B、30B、Vicuna – 7、13B等基座模型,并在BBCNew、arXiv Articles、ShareGPT.com 等数据集上进行了评测2

四、其他提高推理效率的研究

有研究表明在Transformer LLMs中跳过后面的注意力子层是一种降低推理成本的有效方法,该方法使Llama 2 7B在几个基准测试上速度提高了21%并提高了性能

数据评估

Prompt压缩浏览人数已经达到4,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:Prompt压缩的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找Prompt压缩的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于Prompt压缩特别声明

本站i For AI – 人工智能AI工具,一站式导航提供的Prompt压缩都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由i For AI – 人工智能AI工具,一站式导航实际控制,在2024年11月26日 上午11:33收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,i For AI – 人工智能AI工具,一站式导航不承担任何责任。

相关导航

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...