ai开发篇 2.检索工具(RAG、网络搜索、grep)
前言
本文探讨检索资料的3类方法以及如何组合在工具中让agent使用
在 2.LLM模型及训练 中,我曾介绍过 Transformer 的三类主要架构。不过当时刚开始系统学习 LLM,关注点主要集中在 Decoder 结构,对 Encoder 和 Encoder-Decoder 的理解还不够深入。
最近在学习记忆压缩相关方法时,需要重新梳理 Encoder 和 Encoder-Decoder 架构,也因此发现了之前文章中一些理解上的疏漏。因此,这次重新整理并撰写这篇文章,对decoder简单介绍,着重于其他两种结构。
本文将介绍 token压缩技术的原理。
• Recurrent Memory Transformer (RMT)
• Recurrent Context Compression (RCC)