生成模型新发现:示例比参数调节更有效
传统上,人们通过调节提示词、指导尺度等参数来操控生成模型,但往往发现调节到一定程度后效果不再提升。最新研究揭示这并非模型缺陷,而是存在一个“调控预算”——该预算在模型训练前就已由训练数据决定。
研究表明,属性的可调控范围分为两部分:一部分可通过参数调节实现,另一部分则只能通过展示具体示例来达到。令人惊讶的是,后者通常占据更大比例。这意味着要充分发挥模型潜力,需要采用不同策略:不是继续调节参数,而是向模型展示它已学习内容的具体实例。
研究团队提出了测量这一预算的简单方法,并给出了构建示例集以充分利用全部预算的方案。这种方法带来两大优势:一是覆盖范围更广,能够跨越整个预算范围;二是表达能力更强,可以引导模型朝向难以用语言描述的目标。研究在图像和晶体结构生成两个不同领域验证了这一理论,明确了何时参数调节足够,何时必须使用示例方法。