12月28日消息，谷歌的DeepMind团队推出了一种名为“可微缓存增强”(Differentiable Cache Augmentation)的创新方法，旨在显著提高大型语言模型(LLMs)的推理能力，同时不增加计算需求。

  这种开创性的方法代表着在优化人工智能以应对复杂任务方面迈出了重要一步，实现了效率与性能的平衡。

  LLMs在解决语言处理、数学和逻辑推理中的复杂问题方面发挥着核心作用。随着这些模型的复杂性不断增加，研究人员面临着在保持效率的同时实现高性能的挑战。

  现有方法通常依赖于在任务执行过程中生成中间步骤，这会增加延迟并降低计算效率。这些局限性阻碍了LLMs处理需要大量推理或更长依赖关系任务的能力。

  DeepMind的新技术采用了一个经过训练的协处理器，该协处理器使用潜在嵌入来增强LLM的键值(kv)内存缓存。关键的是，基础LLM保持冻结状态，而协处理器则异步进行训练。

  该过程分为三个阶段：

  冻结的LLM从输入序列生成一个键值对(kv)缓存。

  协处理器使用可训练的软标记来处理这个缓存，从而生成丰富的潜在嵌入。

  增强的缓存被反馈到LLM中，提高了输出的质量。