5Y视图｜欢迎来到审查时间

Wuyuan缩放法律执行董事Shi Yunfeng将在互联网上吃掉所有免费数据的钱。这些数据足以克服NLP的经典活动，但不足以使模型成为一般可靠的代理。假设GPT -4O在互联网诞生之前对所有文本数据进行了培训 - 尽管计算足够强，但数据远远不够。回顾过去20年的“痛苦课程”，建筑的改进一直是小步骤，而创新的数据驱动可能会产生巨大影响。我希望这种趋势将继续下去。现在，强化学习（RL）处于同一“ gpt-3 ERA”范式中：RL数据集的口袋里很大。例如，DeepSeek -R1仅在RL培训中使用了大约600,000个数学问题 - 如果人们花了5分钟来完成每个问题，则相当于6年的连续人类力量。相比之下，重建GPT-3的3000亿代币培训语料库需要数千个以正常的写作速度写作。建造建筑物和RL环境是使用人类时间的最高动作和长期的方式。欢迎来到评估时代作者：Brendan Foody Original链接：https：//mercor.com/blog/welcome-to-to-to-to-the-e-e-evals/reinforection学习（RL）促进了人工智能领域中最令人兴奋的成功。尽管RL效应通过飞跃和边界改善，但该模型即将“闪烁”所有现有测试。这意味着，为了真正在整个经济中部署特工，唯一的障碍只是一件事 - 为每个人产生分析。但是，AI实验室经历了“饥荒评论”：被认为是基准的学术评估是在消费者和企业真正需要的活动中认真的。 Evals是新的PRD。在加速基于知识的工作的过程中，发展倾向于团结：开发可以绘制真实工作情况和交付的环境和评估系统。新的以人为数据为中心的范式比假装，监督微调（SFT）或RLHF更好。大多数知识任务本质上都包含重复的工作流，这是可变成本，如果包装为环境或评估系统，可以立即将固定成本翻译成可变成本。 RL环境将“经验证的奖励”用于培训。这允许同时标记最终的重新点和中间步骤。该模型将多次尝试相同的问题，并利用测试期间的计算强度“首先思考然后回答”。人们写的自动载体将奖励“正确”的轨迹。继续加强“良好的轨迹”可能会使模型学会通过正确的思维链来解决各种问题 - 研究人员可以继续“攀登”评论。这些环境将根据“验证程度”：目标的域名（例如PAC -MAN，CHESS，GO等）。一些数学活动，程序明，甚至生物学也几乎可以通过游戏形式证明。射门得分是Ang RL赢得了巨大成功的战场：Alphaproof，Alphafold，DepSeek-R1和许多一代人。现实世界中的主观领域，某些活动的准确性很难衡量，例如编写投资备忘录，准备法律文件，提供心理治疗等。这种类型的工作很难确定该模型是否实现了预期的目标。此外，专家中“完美的过程和结果”的观点通常是多元化和共存的。在这些情况下，可以根据人类专家意见的复杂性来指出基于标记标准的基于标记标准的奖励。基于标记标准的这种开发环境和培训的方法是一个有希望的研究方向，以及在宪法AI（宪法AI）和RLAIF项目中监控的早期基础。计算机代理：计算机使用的代理OST人类在计算机上的活动起初有不明确的目标，但一旦明确定义，行为和结果都可以通过编程性证实。这些活动包括旅行计划，响应电子邮件，在线购物，社交媒体发布等等。通过容器环境，可以在线学习成千上万的相似连贯性，几乎没有限制水平扩展。环境是最终体验，我们的AI系统可以自动从实际信号中学习，因为学生的考试成绩有所改善，销售销售，甚至建造了桥梁。但是即便如此，中间奖励始终需要。当人们向他人学习时，诗歌还需要指导他们了解哪种教学方法或销售技巧更有效。人们将仍然是模型研究环境中不可替代的一部分。我们无法避免“数据年龄”；它应该跟随我们前面。首先是一个可以继续提供帝国主义的人建立的环境l数据。这些环境都用于培训和评估。为了满足当前数据的饥饿，我们必须考虑“如何从制造商那里获得信号”。建造建筑物和RL环境是使用人类时间的最高动作和长期的方式。 Mercor导致具有自动得分手的气氛，并在“模拟工作空间，多轮接触，多模式”等测量中不断扩展RL数据边界。知识工作将迅速积累一件事：创建RL环境和对代理的评估，使他们可以学习和更改它们。当AI实际上进入工作场所，涉及共享信息，并且在专业的普遍背景下，戒指是“合并”和智力的“智能”智能身体。为Allhoweve而开发Evals，AI Labs面临可怕的相关评论。目前的目标并不能反映出消费者和经济企业的需求。Evals.evals.evals.evalsevarge new Prd是ACPELER。知识的ATED任务将包括建筑环境和评估，即实际工作场所和交付是地图。新的以RL为中心的人类数据范式要比假装，SFT或RLHF好得多。大多数知识工作都包括重复的工作流程作为可变成本，但是创建环境或评估可能会改变审核中的硝化结果和中间步骤。模型对问题进行了许多尝试，使用计算时间计算在回答之前思考。人奖励自动化的尝试。采用美丽的轨迹可以提高用于答案的思想链。它教导模型正确思考不同类型的问题，例如迭代地延伸至Evals的研究人员。可以想象这些环境在两个类别之间存在这种顽固的频谱：域目标：Pac-Man，Chess和Go之类的游戏具有清晰的状态空间，动作空间和所需的结果。数学，代码，甚至一些生物学活动经常通过对游戏的仔细验证进行概述。这是RL取得早期大规模成功的地方，尤其是字母隔板，Alphafold和DeepSeek R1以及当今市场上代码的许多代码模型。主体领域：它更难进行投资，进行法律简介，提供治疗。它很难验证达到预期结果的模型。此外，专家通常会支持有关所需过程和结果的许多有效意见。基于标语的奖励是从专业人类意见的混乱中学习的一种方式。如何审查和训练标题是因为环境是一个令人兴奋的研究领域，其根部早在AI和RLAIF宪法代理商就从Anthropic.com putenter使用的代理商铺设，坐在中间的某个地方。对于人们在计算机上进行的大多数活动，目标开始变得不清楚和多方面。指定时，行动和结果是程序化的和经过验证的。这个马y包括计划旅行，在电子邮件上标记，购物或在社交媒体上发布。在所有这些情况下，容器环境允许水平缩放从数千个并行的联系人在线学习。我们的AI系统将自动从真实的世界信号中学习，例如增加学生的考试成绩，销售关闭，甚至建造了桥梁。但是，中级奖励将始终保持关键。与人们向他人学习的方式类似，模型将需要指导教学和销售技术最有效的指南。人们将仍然是向环境模型学习的组成部分。我们在数据期间永远不会逃脱。它应该跟随我们在边界。该边界是由提供强大实验数据来源的人的爱好者创建的。这些环境可以用于训练和评估模型。数据要求今天需要再次思考的前进道路以人类努力发出信号的方式。创建Evals和RL环境是人们时间最高的动作，也是最耐用的时间。 Mercor使用自动载体协助了开拓者环境，并继续使用模拟的工作空间，多圈支持和多模式工作来推动RL数据边界。当AI进入工人并运行更多的信息并在独特的专业环境下运行时，这些环境正在为代理的Kknowing和目标编纂。当代理工作流的各个步骤达到足够的可靠性时，剩下的就是人类实现目标中的RL培训。 （NA -PRINT，来自：Wuyuan Capital 5y Capital）