解锁金融AI新纪元:TAO方法如何让Llama在FinanceBench脱颖而出?
3月27日消息,科技媒体NeoWin于昨日(3月26日)发文指出,数据智能公司Databricks推出了一种新型的大语言模型微调方法——TAO(Test-time Adaptive Optimization)。该方法借助无标注数据与强化学习技术,在大幅削减企业成本的同时,进一步提升了模型的性能表现。
测试显示,经过TAO微调的Llama3.370B模型,在金融文档问答与SQL生成任务中的表现尤为突出,其效果甚至超过了传统的标注微调方式,已接近OpenAI顶级闭源模型的水平。
TAO方法通过测试时计算(test-time compute)自动挖掘任务潜力,同时借助强化学习优化模型,有效降低了人工标注的成本。在三大企业基准测试中,TAO微调的Llama模型取得了显著的成绩。
FinanceBench(7200 道 SEC 文档问答):TAO 模型得分 85.1,优于标注微调(81.1)和 OpenAI o3-mini(82.2)。
BIRD-SQL:TAO 模型 56.1 分,接近 GPT-4o(58.1),远超标注微调(54.9)。
DB Enterprise Arena:TAO 模型 47.2 分,而 GPT-4o 模型得分为 53.8 分。
TAO技术为开源模型开辟了不断进化的可能性:随着用户的频繁使用,模型能够借助反馈数据实现更高效的自我优化。目前,该技术已开始在Llama模型上进行私测,企业可通过申请表单参与其中。