微软最新研究再次证明了提示工程的威力 ——
无需额外微调,无需专家策划,仅凭提示,GPT-4 就能化身“专家”。
使用他们提出的最新提示策略 Medprompt,在医疗专业领域,GPT-4 在 MultiMed QA 九个测试集中取得最优结果。
在 MedQA 数据集 (美国医师执照考试题) 上,Medprompt 让 GPT-4 的准确率首次超过 90%,超越 BioGPT 和 Med-PaLM 等一众微调方法。
研究人员还表示 Medprompt 方法是通用的,不仅适用于医学,还可以推广到电气工程、机器学习、法律等专业中。
这项研究在 X(原 Twitter)一经分享,就引发众多网友关注。
沃顿商学院教授 Ethan Mollick、Artificial Intuition 作者 Carlos E. Perez 等都有转发分享。
Carlos E. Perez 直呼“出色的提示策略可以甩微调一大截”:
有网友表示早就有这种预感,现在能看到结果出来,真的是“so cool”:
还有网友表示这真的很“激进”:
GPT-4 是一项能改变行业的技术,而我们还远没有触及提示的极限,也未达到微调极限。
组合提示策略,“变身”专家
Medprompt 是多种提示策略的组合体,包含三大法宝:
动态少样本选择(Dynamic few-shot selection)
自生成思维链(Self-generated chain of thought)
选项洗牌集成(Choice shuffling ensemble)
下面我们来一一介绍。
动态少样本选择
少样本学习是让模型快速学习上下文的一种有效的方法。简单来说,就是输入一些示例,让模型快速适应特定领域,并学习遵循任务的格式。
这种用于特定任务提示的少样本示例通常是固定的,所以对示例的代表性和广泛性有较高的要求。
之前一种方法是让领域专家手动制作范例,但即便如此,也不能保证专家策划的固定的少样本示例在每个任务中都有代表性。
因此,微软研究人员提出了动态少样本示例的方法。
想法是,任务训练集可以作为少样本示例的来源,如果训练集足够大,那就可以为不同的任务输入选择不同的少样本示例。
具体来说,研究人员先利用 text-embedding-ada-002 模型为每个训练样本和测试样本生成向量表示。然后,对于每个测试样本,基于向量相似度,从训练样本中挑选出最相似的 k 个样本。
与微调方法相比,动态少样本选择利用了训练数据,但不需要对模型参数进行大量更新。
自生成思维链
思维链(CoT)方法就是让模型一步一步思考,生成一系列中间推理步骤。
之前一种方法也是依赖专家手动编写少量的带有提示思维链的示例。
在这里,研究人员发现,可以简单地要求 GPT-4 使用以下提示为训练示例生成思维链:
但研究人员也指出这种自动生成的思维链可能包含错误的推理步骤,于是设置了一个验证标签作为过滤器,可以有效减少错误。
与在 Med-PaLM 2 模型中专家手工制作的思维链示例相比,GPT-4 生成的思维链基本原理更长,而且分步推理逻辑更细粒度。
选项洗牌集成
除此之外,GPT-4 在做选择题时,可能会存在一种偏见,就是不管选项内容是什么,它会偏向总是选择 A,或者总是选择 B,这就是位置偏差。
为了减少这个问题,研究人员选择将原来的选项顺序打乱重排。比如原先选项是 ABCD,可以变成 BCDA、CDAB。
然后让 GPT-4 做多轮预测,每轮使用选项的一个不同排列顺序。如此一来“迫使”GPT-4 考虑选项的内容。
最后对多轮预测结果做个投票,选择最一致、正确的选项。
将以上几种提示策略组合在一起就是 Medprompt,下面来看测试结果。
多项测试最优
在测试中,研究人员采用了 MultiMed QA 评估基准。
使用 Medprompt 提示策略的 GPT-4,在 MultiMedQA 的九个基准数据集中均取得最高分,优于 Flan-PaLM 540B、Med-PaLM 2。
此外研究人员还讨论了 Medprompt 策略在“Eyes-Off”数据上的表现,也就是在训练或优化过程中模型未曾见过的数据中的表现,用于检验模型是否过拟合训练数据。
结果 GPT-4 结合 Medprompt 策略在多个医学基准数据集上表现出色,平均准确率达到了 91.3%。
研究人员还在 MedQA 数据集上进行了消融实验,探索了三个组件对于整体性能的相对贡献。
其中自动生成思维链步骤对性能提升的贡献最大。
而且 GPT-4 自动生成的思维链比 Med-PaLM 2 中专家策划的得分更高:
最后,研究人员还探索了 Medprompt 的跨域泛化能力,取用了 MMLU 基准中的六个不同的数据集,涵盖了电气工程、机器学习、哲学、专业会计、专业法律和专业心理学的问题。
还添加了另外两个包含 NCLEX(美国护士执照考试)问题的数据集。
结果显示,Medprompt 在这些数据集上的效果与在 MultiMedQA 医学数据集上的提升幅度相近,平均准确率提高了 7.3%。
论文链接:https://arxiv.org/ pdf / 2311.16452.pdf
参考链接:
-
[1]https://twitter.com/erichorvitz/status/1729854235443884385
-
[2]https://twitter.com/emollick/status/1729733749657473327
本文来自微信公众号:量子位 (ID:QbitAI),作者:西风
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,所有文章均包含本声明。