这项由阿里巴巴集团AMAP团队的季宇翔、马子瑜等商量东谈主员以及厦门大学、南边科技大学学者共同完成的商量发表于2025年1月，论文编号为arXiv:2509.21240v1。有兴致深入了解的读者不错通过该编号查询完整论文。

在东谈主工智能飞快发展的今天，咱们往日听到各式智能助手粗疏复兴问题、翻译语言，以致生成图片和著作。关联词，迎面对需要多门径念念考和决策的复杂任务时，这些AI系统常常会显给力不从心。就像一个只会背诵尺度谜底的学生，诚然粗疏处理简便问题，但在面对需要天真念念维和多轮推理的挑战时就会卡壳。

商量团队发现了一个重要问题：现存的AI锻练顺序就像是在教一个孩子作念单选题，给出一个问题，AI给出一个谜底，然后根据谜底对错来奖励或刑事服务。这种简便罪戾的方法在处理复杂的多门径任务时效果很差，因为AI无法知谈在整个念念考历程中的哪一步作念对了，哪一步作念错了。这就好比一个厨师作念了一皆复杂的菜，最自后宾说不行口，但厨师不知谈是调料放错了、火候划分，照旧切菜方法有问题。

为了措置这个问题，阿里巴巴的商量团队提议了一个叫作念"Tree-GRPO"的创新顺序。这个名字听起来很本事化，但本体上它的中枢念念想相称直不雅：让AI的学习历程更像一棵阻抑分叉的大树，而不是一条直线。

在传统顺序中，AI的学习就像走一条平直的路——从问题最先，一步一步往前走，直到得出谜底。这种"链式"念念考方法诚然简便，但零落天真性。而Tree-GRPO方律例让AI像一棵大树一样念念考：从骨干最先，在每个重要节点都不错分出不同的分支，探索多种可能的措置旅途。

这种顺序的深重之处在于，它不仅让AI粗疏探索更多可能性，还能通过比较不同分支的适度来学习哪种念念考旅途更有用。就像一个棋战高东谈主会同期谈判多种走法，比较它们的优劣，然后遴荐最好策略。Tree-GRPO让AI也具备了这种"举一反三"的才气。

商量团队在这项服务中至极关注了一类叫作念"智能体"的AI系统。这些智能体就像是粗疏自主行动的数字助手，它们不错使用各式用具（比如搜索引擎、狡计器等）来措置问题。关联词，锻练这么的智能体面对着两个主要挑战。

第一个挑战是本钱问题。锻练这些智能体需要让它们与环境进行大都互动，就像让一个学生作念无数谈老到题。每次互动都需要滥用狡计资源和时候，至极是当智能体需要使用外部用具（如收集搜索）时，本钱会急剧上涨。这就好比培养一个医学生，不仅需要教材学习，还需要大都的临床履行，而每次履行都需要实在的医疗资源支抓。

第二个挑战是反映稀罕的问题。在传统锻练中，AI唯有在完成整个任务后才能知谈适度厉害，就像一个学生唯有在期末考试后才知谈我方这学期学得奈何样。这种稀罕的反映让AI很难知谈在复杂任务的哪个具体门径上需要更正。

Tree-GRPO深重地措置了这两个问题。通过树状结构，AI不错在疏通的狡计预算下生成更多的锻练样本。这是因为树的不同分支不错分享疏通的"骨干"部分，就像多个学生不错分享磨灭个基础课程，然后在高年级时遴荐不同的专科标的。这种分享机制大大提高了锻练效能。

更遑急的是，树状结构自然地提供了更细粒度的反映信息。当AI探索不同的分支时，商量团队不错比较这些分支的施展，从而判断哪些中间门径是有利的。这就像一个淳厚不仅看学生的最终谜底，还会查验解题历程中的每一步，给出更具体的引导意见。

一、创新性的树状念念维架构

传统的AI锻练顺序不错比作熏陶生按照固定模板写稿文。学生会按照"开头-正文-扫尾"的尺度局势，一段一段地写下去，每次只可沿着一条旅途前进。诚然这种顺序简便易懂，但零落创造性和天真性。

Tree-GRPO的树状念念维架构则统统不同，它更像是培养一个优秀的辩护选手。迎面对一个复杂问题时，辩护选手不会只谈判一种论证旅途，而是会在心中构建一个论证树：从主要不雅点启航，发展出多个复古论点，每个复古论点又不错进一步细分为更具体的凭据和推理。这种念念维方法让辩护选手粗疏更全面地分析问题，也能在敌手提议反驳时快速调治策略。

在Tree-GRPO中，每个"节点"代表AI智能体完成的一个完整念念考-行动-不雅察轮回。这个轮回就像东谈主类措置问题时的一个完整念念考历程：最初念念考现时情况和下一步应该作念什么，然后选择具体行动（比如搜索信息或进行狡计），临了不雅察行动的适度并将其纳入谈判。

这种设想的精妙之处在于，它尊重了智能体任务的当然结构。就像咱们不会在一个东谈主言语说到一半时就打断他们一样，Tree-GRPO也不会在一个完整的念念考轮回中间就分叉。这确保了每个分支都有完整的语义意思，幸免了可能出现的逻辑唠叨。

当AI需要措置一个多门径问题时，Tree-GRPO会最初生成几个运行的完整念念考旅途，就像几个不同的"草稿"。然后，在每个草稿的重要决策点上，AI会尝试不同的可能性，创建新的分支。这个历程就像一个商量者在商量一个复杂问题时，会从几个不同的角度出手，然后在每个角度上深入探索不同的可能性。

与传统顺序比较，这种树状结构带来了显耀的效能普及。商量团队发现，在疏通的狡计预算下，Tree-GRPO粗疏生成苟简1.5倍的锻练样本。这是因为树的不同分支不错分享疏通的前缀部分，就像几本书不错分享磨灭个目次系统，大大省俭了存储和处理本钱。

更遑急的是，这种结构为AI提供了一种当然的方法来学习历程级的决策。当树的不同分支达到不同的适度时，AI不错回过甚来分析：在哪个决策点上，遴荐A分支比遴荐B分支更好？这种分析才气让AI不仅知谈什么是正确谜底，还知谈怎样到达正确谜底。

二、冲破性的群组相对上风猜度顺序

传统的AI锻练成像是一个严格的考试轨制：学生们各自沉着完成试卷，淳厚根据尺度谜底给出分数，然后学生根据分数调治学习策略。这种顺序诚然自制，但常常忽略了学习历程中的许多有价值信息。

Tree-GRPO选择了一种愈加智能的评估顺序，叫作念"群组相对上风猜度"。这个名字听起来很复杂，但其实主张很直不雅。回到学校的比方，这就像是一个愈加贤慧的淳厚，不仅会看每个学生的最终谜底，还会把学生们分红小组，让他们彼此学习和比较。

在Tree-GRPO中，这种比较发生在两个层面：树内比较和树间比较。树内比较就像是磨灭个学生的不同解题念念路之间的比较。当AI在措置问题时探索了多个分岔旅途，它不错比较这些旅途的效果，学习哪种念念考方法更有用。

比如说，当AI需要复兴一个需要多步推理的问题时，它可能会在某个节点上分出两个分支：一个分支遴荐先搜索布景信息，另一个分支遴荐径直进行推理。通过比较这两个分支最终的成效能，AI不错学会在肖似情况下应该遴荐哪种策略。

树间比较则更像是不同学生之间的横向比较。商量团队会让AI针对磨灭个问题生成多棵不同的念念考树，然后比较这些树的举座施展。这种比较提供了一个更踏实的评估基准，幸免了因为单一样本的速即性而作念出诞妄判断。

这种双层比较机制的深重之处在于，它聚拢了精细化和踏实性的上风。树内比较提供了细粒度的历程反映，让AI知谈在具体决策点上应该怎样遴荐。树间比较则提供了一个可靠的全局基准，确保评估适度的踏实性。

商量团队还发现了一个风趣的表面适度：Tree-GRPO的树内群组优化本体上等价于一种叫作念"门径级偏勤学习"的高档锻练顺序。这意味着Tree-GRPO不仅在履行中施展优秀，在表面上也有坚实的基础。

这种等价性就像发现两种看似不同的解题顺序本体上基于相同的数学旨趣。对于商量者来说，这提供了独特的信心，讲解Tree-GRPO不是一个简便的工程技巧，而是一个有深层表面复古的创新顺序。

更遑急的是，这种群组相对上风猜度顺序让AI得到了一种肖似东谈主类的学习才气：通过比较和反念念来更正。东谈主类在学习复杂妙技时，常常会尝试不同的顺序，比较它们的效果，然后冉冉优化我方的策略。Tree-GRPO为AI提供了肖似的才气，让它们粗疏从我方的探索历程中学习。

三、粗俗而深入的实验考据

为了考据Tree-GRPO的有用性，商量团队进行了一系列全面而深入的实验。这些实验的设想就像是为一种新药进行临床历练：不仅要讲解它在瞎想条目下有用，还要讲解它在各式本质条目下都能踏实服务。

实验涵盖了三大类任务，每类任务都代表了AI智能体应用的一个遑急标的。第一类是单跳问答任务，这类任务相对简便，往日只需要一次信息检索就能措置。就像复兴"北京是中国的都门吗？"这么的问题，智能体只需要搜索一次就能找到谜底。

第二类是多跳问答任务，这类任务需要智能体进行多轮推理和信息整合。比如复兴"谁是《夏令恋歌》演唱者所属唱片公司的雇主？"这么的问题，智能体需要先找到演唱者，再找到唱片公司，临了找到雇主，每一步都需要基于前一步的适度。

第三类是收集智能体任务，这是最具挑战性的一类任务，需要智能体在实在的收集环境中搜索和处理信息。这类任务模拟了本质天下中的复杂情况，就像让智能体在互联网这个雄壮的信息海洋中寻找特定的信息片断。

商量团队在统共11个不同的数据集上进行了测试，使用了从15亿参数到140亿参数不等的多种界限的AI模子。这种全面的测试设想确保了适度的可靠性和普适性，就像一种新药需要在不同庚事、不同体重的患者群体中都讲解有用一样。

实验适度令东谈主印象深刻。在多跳问答任务中，Tree-GRPO的施展尤其隆起。以15亿参数的Qwen2.5模子为例，Tree-GRPO比较传统顺序取得了69%的相对性能普及。这是一个相称显耀的更正，就像一个学生的考试收获从60分提高到了100分。

更令东谈主惊喜的是，Tree-GRPO展现出了在小模子上的特殊上风。传统的锻练顺序常常在较小的模子上效果欠安，就像一个简便的用具难以处理复杂任务。但Tree-GRPO粗疏让较小的模子也展现出强盛的多步推理才气，这对于资源受限的应用场景具有遑急意思。

商量团队还进行了一系列考究的对比实验。他们比较了不同的树结构参数建树，发现了一些风趣的章程。比如，当狡计预算有限时，使用较少数目的树但每棵树有更多分支会带来更好的效果。这就像在有限的学习时候内，深入学习几个主题比浅尝辄止地战争许多主题更有用。

另一个遑急发现是对于模子行为的变化。传统顺序锻练的智能体倾向于遴荐较短的措置旅途，即使这些旅途可能不够充分。而Tree-GRPO锻练的智能体更兴盛进行深入探索，平均使用的用具调用次数从2.4次增加到3.0次。这标明Tree-GRPO不仅提高了性能，还培养了AI更好的问题措置民俗。

在本钱效能方面，Tree-GRPO也展现了显耀上风。实验自大，Tree-GRPO粗疏用仅四分之一的狡计预算达到与传统顺序很是的性能。这种效能普及对于本体应用具有遑急意思，就像一种新的交通用具粗疏用更少的燃料跑更远的距离。

四、深刻的表面知悉与履行意思

Tree-GRPO的成效不仅体当今实验数据上，更遑急的是它为AI锻练领域带来了一些深刻的表面知悉。商量团队通过严格的数学分析讲解了一个令东谈主骇怪的适度：Tree-GRPO中的树内群组优化在数学上等价于门径级径直偏好优化。

这个发现就像是发现了两条看似不同的山路本体上通向磨灭个山顶。门径级径直偏好优化是一种表面上很优雅但履行中很难已矣的锻练顺序，因为它需要为每个中间门径都准备正面和负面的样本对。而Tree-GRPO深重地通过树状结构自动生成了这些对比样本，已矣了相同的锻练效果但却愈加实用。

这种表面等价性提供了遑急的知悉：有用的AI锻练不一定需要东谈主工标注的细粒度监督信号，通过深重的结构设想，咱们不错从粗粒度的适度信号中自动索要出细粒度的学习信号。这就像一个贤慧的淳厚粗疏从学生的最终功课中推断出学生在哪些具体门径上需要更正。

从履行角度来看，Tree-GRPO的影响可能是潜入的。跟着AI智能体在各个领域的应用越来越粗俗，怎样高效地锻练这些智能体成为了一个重要挑战。Tree-GRPO提供了一个既表面上优雅又履行中有用的措置有计议。

至极值得把稳的是，Tree-GRPO在资源受限环境下的优秀施展。在许多本体应用场景中，狡计资源是有限的，用户需要在性能和本钱之间找到均衡。Tree-GRPO的高效性使得即使是较小的组织或个东谈主开发者也粗疏锻练出强盛的AI智能体。

商量团队还发现，Tree-GRPO锻练出的智能体展现出了更好的探索行为。传统顺序常常导致智能体过早地温顺于名义的措置有计议，而Tree-GRPO饱读舞智能体进行更深入的探索。这种行为上的改善对于需要创造性问题措置的任务至极遑急。

从更粗俗的AI发展角度来看，Tree-GRPO代表了一种遑急的范式调度：爽朗单的效法学习转向更复杂的推理学习。传统的AI锻练主要依赖于让AI效法东谈主类各人的行为，而Tree-GRPO则让AI学会了怎样像东谈主类一样进行探索性念念考。

这种调度的意思不仅在于性能的普及，更在于它为AI得到实在的智能提供了一条可能的旅途。实在的智能不单是是牵挂和重叠已知的模式，更遑急的是粗疏在面对新问题时进行创造性的探索和推理。

五、本事已矣的巧念念与挑战

Tree-GRPO的已矣历程充满了深重的本事设想，这些设想措置了将表面想法更变为本体可用系统时碰到的各式挑战。已矣一个树状搜索系统听起来简便，但在本体的AI锻练环境中却面对着诸多本事不毛。

最初是并行化的挑战。传统的树搜索算法（如知名的蒙特卡洛树搜索）往日是串行的，需要一步一步地膨胀树节点。但在大界限AI锻练中，这种串行方法会严重影响效能，就像让一群工东谈主列队使用磨灭台机器，大大裁汰了举座出产效能。

商量团队设想了一个"运行化-然后-膨胀"的巧巧计略。这个策略就像是先让多个工东谈主各自搭建一个基础框架，然后再让他们并行地在各自的框架上进行膨胀。具体来说，系统最初并行生成多个沉着的运行念念考链四肢树的"种子"，然后在这些种子的基础上并行地进行节点膨胀。

这种设想的好意思妙之处在于它充分行使了当代AI锻练基础设施的并行狡计才气。当代的GPU集群擅长同期处理大都相似的狡计任务，而Tree-GRPO的设想适值契合了这种狡计模式。

另一个遑急的本事挑战是怎样界说树节点的粒度。表面上，不错在职何文本位置创建分支节点，但这会导致语义上的唠叨，就像在一个句子说到一半时倏得换一个话题。商量团队遴荐以完整的"念念考-行动-不雅察"轮回四肢节点单元，确保了每个分支都有完整的语义意思。

这种遴荐不仅保证了逻辑的连贯性，还使得Tree-GRPO粗疏当然地与现存的智能体框架（如ReAct）集成。ReAct是一个粗俗使用的智能体框架，它将智能体的行为组织为瓜代的推理和行动门径。Tree-GRPO的节点设想好意思满方单合了这种结构。

在上风猜度的已矣上，商量团队选择了一种双层的估战略略。第一层是树内比较，比较磨灭棵树中不同分支的施展。第二层是树间比较，比较不同树之间的全局施展。这种双层设想就像是一个复合评估系统：既谈判了每个学生里面不同功课之间的相对证地，也谈判了不同学生之间的举座水平相反。

这种设想的本事难点在于怎样合理地量度两层猜度的孝敬。若是过分依赖树内比较，可能会导致猜度不够踏实；若是过分依赖树间比较，又可能失去细粒度的历程信号。商量团队通过大都实验找到了最好的均衡点。

在本体锻练历程中，商量团队还措置了一个遑急的踏实性问题。初期实验自大，单纯使用树内上风猜度会导致锻练不踏实，以致出现性能崩溃的情况。这就像一个太过自信的学生只信服我方的判断而忽略了外部参照，最终可能会偏离正确标的。

为了措置这个问题，商量团队设想了一个深重的组合策略：将树内上风猜度与树间上风猜度相加，酿成最终的锻练信号。这种组合既保留了细粒度的历程反映，又提供了踏实的全局基准，确保了锻练历程的踏实性。

另一个值得把稳的本事创新是对不同树结构参数的系统性商量。商量团队发现，树的数目、每次膨胀的节点数目、膨胀的轮次等参数对最终效果都有遑急影响。更风趣的是，最优的参数建树会跟着狡计预算的变化而变化，这需要一种动态的参数调优策略。

六、实验设想的严谨性与全面性

Tree-GRPO的实验设想体现了当代AI商量的严谨尺度，商量团队在实验设想上干与了大都心念念，确保适度的可靠性和劝服力。这种严谨性就像一个负服务的医学商量，不仅要讲解新药有用，还要讲解它在各式条目下都安全可靠。

实验的数据集遴荐相称有代表性。商量团队遴荐了11个不同的数据集，涵盖了爽朗单的单步推理到复杂的多步推理，再到实在天下的收集任务等各式难度级别。这种全面的遮盖确保了Tree-GRPO的适用性不局限于特定类型的任务。

在单跳问答任务中，商量团队使用了Natural Questions、TriviaQA和PopQA等经典数据集。这些数据集包含了各式类型的事实性问题，就像给AI进行基础常识测试。诚然这类任务相对简便，但它们为评估Tree-GRPO在基础才气上的施展提供了遑急基准。

多跳问答任务使用了HotpotQA、2WikiMultiHopQA、Musique和Bamboogle等数据集。这些数据集的问题需要智能体进行多轮推理，就像措置一个复杂的逻辑谜题。比如，要复兴"《夏令恋歌》演唱者所属唱片公司的雇主是谁？"这么的问题，智能体需要先找到歌曲演唱者，再找到其所属唱片公司，临了找到公司雇主，每一步都基于前一步的适度。

最具挑战性的是收集智能体任务，使用了SimpleQA、GAIA、WebWalkerQA和BrowseComp等数据集。这些任务要求智能体在实在的收集环境中搜索和处理信息，面对着信息过载、信息质地杂沓不皆、搜索适度动态变化等本质挑战。这就像让智能体在一个实在而复杂的天下中导航，而不是在一个简化的实验室环境中。

模子界限的遴荐也很荒谬念念。商量团队测试了从15亿参数到140亿参数的多种模子，涵盖了Qwen2.5和Llama3.2两个主流模子系列。这种各类化的测试确保了适度不会因为特定模子的特殊性质而产生偏差。

至极值得把稳的是商量团队对小模子的关注。在现时AI发展趋势中，许多商量都专注于超大模子的性能普及，但Tree-GRPO在小模子上的显耀更正具有遑急的实用价值。这就像发现了一种能让小汽车跑出跑车速率的本事，对于资源受限的用户来说意思紧要。

实验的评估办法也经过了全心设想。对于问答任务，商量团队使用了精准匹配（Exact Match）四肢主要办法，这是一个严格的评估尺度，唯有统统正确的谜底才会被合计是正确的。对于收集智能体任务，使用了F1分数，这个办法粗疏更好地处理谜底可能有多种表述方法的情况。

商量团队还进行了大都的消融实验，系统地分析了Tree-GRPO各个组件的孝敬。他们比较了不同的上风猜度顺序，发现单纯使用树内猜度会导致锻练不踏实，而树内猜度与树间猜度的组合粗疏得到最好效果。这种考究的分析匡助理解了顺序成效的重要身分。

在本钱分析方面，商量团队提供了详备的预算对比。他们发现Tree-GRPO粗疏在仅使用四分之一狡计预算的情况下达到传统顺序的性能，这种效能普及对于本体应用具有遑急意思。这就像发现了一种新的制造工艺，粗疏用更少的原材料出产出相同质地的产物。

七、从表面到履行的遑急启示

Tree-GRPO的商量适度不仅在本事层面取得了冲破，更遑急的是它为整个AI商量领域提供了一些深刻的启示。这些启示可能会影响改日AI系统的设想念念路和发展标的。

最初，这项商量讲解了结构化探索的遑急性。传统的AI锻练常常选择速即探索或简便的狡计策略，就像一个东谈主在迷宫中自便乱走或者老是遴荐看起来最近的旅途。而Tree-GRPO展示了一种愈加智能的探索方法：系统性地探索多种可能性，同期通过结构化的比较来学习最好策略。

这种结构化探索的念念想可能会被应用到其他AI任务中。比如，在创意生成任务中，AI不错先生成多个创意标的，然后在每个方进取进一步发展，临了通过比较来学习哪种创意策略更有用。这就像一个艺术家会尝试多种不同的创作作风，然后通过履行和反映来完善我方的艺术技法。

其次，Tree-GRPO揭示了一个遑急旨趣：有用的学习信号不错从系统结构中当然暴露，而不一定需要独特的东谈主工标注。这个发现挑战了传统不雅念，即合计更好的AI锻练必须依赖更多的东谈主工标注数据。

这种"结构即信号"的念念想具有潜入影响。它示意着通过深重的系统设想，咱们不错让AI从我方的探索历程中学习，而不需要东谈主类为每一个细节都提供明确引导。这就像一个好的造就系统粗疏让学生通过自主探索和同伴比较来学习，而不需要淳厚事无巨细地老师每一个常识点。

第三个遑急启示对于效能和性能的相干。传统不雅念合计，要得到更好的性能就必须干与更多资源。但Tree-GRPO展示了一种可能性：通过更智能的顺序设想，咱们不错用更少的资源得到更好的效果。

这种效能创新对AI的普及化具有遑急意思。若是AI锻练变得愈加高效，那么更多的组织和个东谈主就粗疏背负得起锻练自界说AI系统的本钱。这可能会催生一个愈增多元化和创新的AI应用生态。

从顺序论角度来看，Tree-GRPO体现了一种遑急的商量念念路：将不同领域的成效教唆深重地聚拢起来。树搜索来自于博弈论和运筹学，群组优化来自于强化学习，而智能体架构来自于领略科学。这种跨领域的会通常常粗疏产生出东谈主意料的创新适度。

Tree-GRPO的成效也证明了表面分析的遑急性。商量团队不仅通过实考据明了顺序的有用性，还通过严格的数学分析揭示了其表面基础。这种表面与履行的聚拢为顺序的可靠性提供了双重保险，也为进一步的更正指明了标的。

在本体应用层面，Tree-GRPO的念念想一经最先产生影响。它为锻练更智能的AI助手、搜索引擎、决策支抓系统等提供了新的可能性。这些系统将粗疏进行更深入的推理，提供更可靠的谜底，同期保抓较高的效能。

瞻望改日，Tree-GRPO的念念想可能会被膨胀到更粗俗的AI应用中。比如，在自动驾驶中，AI不错使用肖似的树状结构来探索不同的行驶旅途，通过比较来学习最好的驾驶策略。在金融投资中，AI不错探索不同的投资组合，通过结构化的回测来学习最优的投资决策。

说到底，Tree-GRPO代表了AI商量的一个遑急标的：爽朗单的模式识别走向复杂的推理和决策。这种调度不仅普及了AI的才气，也让AI更接近东谈主类的念念维方法。诚然咱们距离实在的东谈主工智能还有很长的路要走，但Tree-GRPO等创新商量正在为咱们指明前进的标的。

这项来自阿里巴巴集团的商量展示了中国AI商量辞天下舞台上的创新实力。通过将深刻的表面知悉与实用的工程履行采集拢，商量团队不仅措置了一个遑急的本事挑战，也为AI领域的改日发展作念出了遑急孝敬。对于每一个宥恕AI发展的东谈主来说，Tree-GRPO都值得深入了解和念念考。

Q&A

Q1：Tree-GRPO是什么？它和传统的AI锻练顺序有什么区别？

A：Tree-GRPO是阿里巴巴集团开发的一种新式AI智能体锻练顺序。传统顺序像熏陶生按固定模板写稿文，只可沿着一条旅途念念考。而Tree-GRPO让AI像一棵大树一样念念考，从骨干最先在每个重要节点分出不同分支，探索多种可能的措置旅途，然后通过比较不同分支的效果来学习最好策略。

Q2：Tree-GRPO粗疏带来多大的性能普及？

A：实验适度自大Tree-GRPO带来了显耀的性能普及。在多跳问答任务中，使用15亿参数模子时比较传统顺序取得了69%的相对性能普及。更遑急的是，它能用仅四分之一的狡计预算达到传统顺序的性能水平，大大提高了锻练效能。

Q3：Tree-GRPO适用于哪些AI应用场景？

A：Tree-GRPO至极合乎需要多步推理和决策的复杂AI任务，比如智能问答系统、搜索引擎、AI助手等。商量团队在11个不同数据集上考据了其效果，涵盖了爽朗单的事实查询到复杂的收集信息整合等各式场景。它对小界限模子的显耀更正也使其适用于资源受限的应用环境。