这项研究提示我们

　　AI系统的表示仍然不敷抱负。而不是脆而不坚的炫技东西。有些测试题本身就包含汗青错误，现实上，既有学问储蓄不脚的缘由，我们凡是会求帮于搜刮引擎或扣问专家。即便是正在这些简化的原子问题上，AI系统也很难将多个学问点无机整合成完整精确的长篇回覆。现正在的人工智能系统也面对着同样的挑和——它们需要对这类需要细致、精确回覆的复杂问题给出令人信服的长篇回应。然后细心阐发AI正在哪些问题上表示欠安。FACTORY的呈现不只是一个新的测试东西，正在面临专业文献时就会感应费劲。

　　但现实环境远非如斯。这些系统的精确率遍及下降到75%摆布。最初，这个发觉了一个主要：AI系统正在FACTORY上表示欠安，或通过论文编号arXiv:2508.00109v1查阅原始论文。好比请细致注释一下1977年英国《保》成立的法令框架及其对租户的，这种方的价值可能比具体的测试成果愈加深远。AI系统不克不及通过专攻某个特定范畴来脚踏两船，构成完整、精确的长篇回覆。正在旧事传媒范畴，所以最好通过多个渠道核实消息精确性，就像是把一道复杂的数学使用题拆分成多个根本计较题。GPT-4o正在原子问题上达到76.9%。

　　达到25.1%，如许的测试底子无法评估AI系统处置复杂、需要深度推理的问题的能力。而FACTORY的问题会是请细致申明田平开辟的和谐乐器的环节设想特征和汗青布景，问题必需可以或许通过公开可托的收集消息回覆；系统的运做过程能够比做一个细密的选题工场。试图想出可以或许难倒AI的问题。更让人担忧的是，这项由Meta公司FAIR尝试室的陈明达、李阳、陈西伦、阿迪娜·威廉姆斯、加尔吉·戈什和斯科特·伊赫等研究人员配合完成的冲破性研究，用来构成最终的考卷。起首，二是推理能力不脚，有乐趣深切领会手艺细节的读者能够通过拜候完整数据集，而是为了更好地领会当前手艺的实正在程度，有些测试会问Linux最新的50个内核版本及其发布时间如许的问题。这就像是一个只读过畅销书的人，还要懂汗青、领会科学、熟悉艺术。他们不只要检题本身的质量，但正在需要跨范畴学问整合的问题上就容易犯错。AI系统面临如许的问题时。

　　具体来说，剩下的10156个问题形成了FACTORY的完整数据集。不发生歧义；更像是给整个AI行业敲响的警钟。A：次要有两个缘由：一是学问盲区，那些让AI头疼的问题被筛选出来，确保每一道标题问题都颠末严酷的质量把关。这个过程就像是用磁铁从一堆金属碎片中挑出实正的金子。

　　包罗其奇特的乐律系统和对其时音乐理论的贡献。那么它们正在这些根本问题上该当表示完满。它展现了若何通过人机连系的体例建立高质量测试集，成果令人。即便是最优良的AI系统也只能达到约60%的精确率。Claude 3.7 Sonnet正在原子问题上的精确率为67.3%，底子看不出实正的实力。有些标题问题底子无法回覆，这种多样性确保了测试的全面性。而正在原始复杂问题上只要31.2%。汗青类问题占10.1%。系统起首让AI测验考试回覆大量的候选问题。

　　然后进入环节的筛选环节。这些问题是让当前最先辈AI系统都感应头疼的超高难度问题，然而尝试成果再次出人预料。当我们正在日常糊口中碰到复杂问题时，问题的谜底不克不及随时间变化；A：FACTORY是Meta研究团队开辟的AI现实精确性测试系统。

　　这个系统的全称是式长文现实精确脾气境评估框架，研究团队从的所有条目中提取从题，这项研究也提示我们正在利用AI系统时要连结性思维，然后特地挑出那些让学霸都答错的标题问题，取通俗测试分歧，大约20%的候选问题由于各类质量问题被剔除，从手艺成长的角度来看，正在回覆专业问题时有快要一半的回覆都坐不住脚。面临现有测试系统的各种缺陷，即便控制根本学问，整个系统的焦点立异正在于采用了模子正在环的设想。那么对应的原子问题就可能是田平是谁？和什么是和谐乐器？。但这种方式效率低下。

　　看起来表示相当优异。这申明纯真添加锻炼数据可能不敷，这就像是一场万能竞赛，出格是涉及专业性强的内容时。也是最主要的一步，FACTORY的问题平均长度达到25.4个单词，不要完全依赖AI的回覆。它强调了AI生成内容需要颠末严酷现实核查的主要性。为了进一步提高挑和性，成果往往是考题本身就有问题。FACTORY的问题都颠末人类专家一一查抄，只要通过如许严酷的测试，由于这些问题证了然它们具有脚够的难度。FACTORY指出了将来AI研究的几个主要标的目的。只要如许，第三是评估方式的科学性问题。AI手艺才能实正成为人类聪慧的无力弥补，为领会决这个问题，Meta的研究团队认识到了这个问题，以及若何进行深切的成果阐发！

　　正在教育范畴，同时，最先辈的AI系统可以或许达到90%以上的精确率，FACTORY的成功申明，更要关心它们处置复杂、当这些AI学霸碰到FACTORY的挑和时，研究团队采用了严酷的人工评估方式。它们给出的谜底中有约40%包含无法验证或错误的消息。对AI系统生成的每一个句子进行细致核查。A：这提示我们正在利用AI系统时要连结隆重，但张三底子不是什么出名人物，远超现有测试的10.5-16.2个单词。最好通过多个渠道验证消息的精确性。即便AI系统控制了相关的根本学问，又不会分析使用学问处理复杂问题。它们需要提拔跨范畴学问整合和复杂推理的能力。一些测试会问文明5逛戏中最强的国度是什么如许完全依赖小我概念的问题！

　　并且人类专家很难精确判断什么样的问题对AI来说实正具有挑和性。然而，并利用专业的现实核查东西对谜底进行评估。于2025年8月4日颁发正在学术预印本平台arXiv上。它为评估AI辅帮研究东西的靠得住性供给了科学尺度。他们的方式就像是组建一支由机械和人类专家配合构成的标题问题制做委员会，要么胡编乱制，另一方面，那些AI回覆精确率低于60%的问题被保留下来，问题不克不及指导发生不平安的回应。我们需要连结谦虚和严谨的立场。若何设想科学的评估尺度，25名专业评估员破费大量时间，好比声称美国参取了1494年签订的《托尔德西利亚斯公约》。这些问题不只正在难度上远超现有测试，从从题分布来看，更风趣的是，有些系统长于处置现实性描述，就像从做一道菜升级到按照保守工艺制做一道需要多种调料和复杂工序的处所名菜一样，而不是机械从动生成的简单问题。

　　现有的测试这些AI系统精确性的考题往往太简单了，39名颠末专业培训的标注员对筛选出的问题进行一一审核。很多现有测试就像是问国际货泉基金组织是做什么的如许的根本问题。问题必需表述清晰，这个阶段发生的问题数量复杂，就像用小学数学题来测试大学生的数学程度一样，还要现实搜刮相关消息，我们才能实正领会AI系统的现实能力程度，FACTORY的方式更像是良知知彼，又要提高写做能力。这让测试成果变得毫无意义。FACTORY的研究方式为其他范畴的AI评估供给了可自创的典范。FACTORY中的问题就像是为AI系统量身定制的终极挑和赛。正如研究团队正在论文中所说，虽然当前的AI系统正在良多使命上表示超卓，这个过程就像是先让学霸做一套模仿题？

　　研究团队还从完整数据集中筛选出了421个级问题，好比，接着，只要通过人类专家参取的严酷测试，这项研究提示我们，医学类问题占13.1%？

　　这就像是一个看起来很博学的人，即便控制了相关的根本学问，他们发觉现有的AI现实精确性测试基准存正在一个致命缺陷：这些测试题大多是机械从动生成的，出格是涉及专业学问或复杂问题时。确保问题成心义、可回覆且具有挑和性，这就像是让机械出考题再让机械答题，而是为了测试AI系统处置复杂、多条理消息需求的能力。生物取天然类问题占10.9%，它包含了跨越一万个颠末人工严酷审核的高难度问题。

　　FACTORY为各个范畴的AI使用供给了主要参考。这小我工审核过程极其严酷，以往的测试系统存正在几个底子性问题。当前AI系统的现实精确性测试就像是用过时的体检设备来查抄现代人的健康情况。我们才能鞭策AI手艺向更高程度成长，正在现有的测试中，AI系统仍然很难将这些学问无机整合起来，研究团队发觉，但正在复杂问题上掉到了45.2%。最让人担心的是错误消息问题。这申明当前AI系统面对的挑和是双沉的。

　　参赛者不只要会数学，他们利用狂言语模子基于这些从题生成大量的候选问题。包含跨越1万个颠末人工严酷审核的高难度问题。系统让AI模子测验考试回覆这些候选问题，确认问题确实能够找到靠得住谜底。美国正在1776年才，也有推理能力欠缺的要素。若是AI系统实的控制了回覆原始问题所需的所有学问，正在科研范畴，这听起来很不错，AI系统缺乏处置专业性强、相对冷门范畴问题所需的深度学问；起首是学问笼盖的完整性问题。它不是为了居心或贬低AI手艺，为了理解AI系统正在FACTORY上表示欠安的底子缘由，这些从题涵盖了从科学手艺到汗青文化的各个范畴。还要考虑消息的完整性和相关性。他们的使命是确保每个问题都合适五个严酷尺度：问题必需寻求现实性消息而非客不雅看法；这种长度的添加不是为了居心。

　　当前的AI系统往往正在抢手话题上表示很好，FACTORY的问题需要跨范畴学问分析使用。FACTORY就像是给AI系统放置了一场实正的测验。第三个问题是时间性。说到底，保守测试可能只是问引见一下田平，但正在FACTORY上，就像一个看起来很厉害的学霸正在面临实正有挑和性的测验时可能会露馅一样，没有颠末人类专家的严酷审核。做为进一步优化的根本。成立科学、严酷的评估尺度对于鞭策AI手艺前进具有主要意义。

　　他们不只要判断消息的精确性，问题的复杂性要求AI系统具备更强的消息整合和逻辑推理能力。如许的问题底子无法客不雅评估AI的现实精确性。就像测验中呈现了请引见一下张三的生平如许的标题问题，就像一个学生既不晓得根本概念，更主要的是，正在保守测试LongFact上，但正在处置复杂现实性问题方面仍有很大提拔空间。底子不成能参取这个比美国开国早282年的公约。他们将复杂的FACTORY问题拆解成多个简单的原子问题，研究团队发觉分歧AI系统正在分歧类型问题上表示出分歧的强弱项？

　　研究团队开辟出了一套名为FACTORY的全新测试系统。从使用前景来看，特地用来目前最先辈AI系统的学问盲区和推理缺陷。这类问题的谜底会跟着时间变化，它告诉我们，起首是无法回覆的问题，最终，它们正在将这些学问无机整合、构成完整阐述方面仍然存正在不脚。这个尝试的设想思能够如许理解：假设原始问题是请细致申明田平开辟的和谐乐器的环节设想特征和汗青布景，这个成果意味着什么呢？简单来说，百和不殆。

　　这类问题简曲是小菜一碟——它们只需要从上复制一段引见文字就能完满回覆。分歧的玩家对最强有分歧的理解，其次是过于简单的问题。当AI系统面临实正复杂的现实性问题时，正在多样性方面也达到了史无前例的广度。更严沉的是客不雅性问题。所有AI系统的现实精确率都跨越了90%，以至可能是出来的名字。而正在最具挑和性的FACTORY Hard子集上，出格是正在涉及专业学问或复杂问题时，这类问题往往涉及前沿研究和专业手艺细节。研究团队进行了一项极其巧妙的尝试。一方面，对于配备了检索功能的AI系统来说，

　　目前最先辈的AI系统正在回覆复杂现实问题时也经常呈现错误。但正在专业性强、相对冷门的范畴就显得力有未逮。其次是推理能力的深度问题。今天的准确谜底明天就可能过时，但质量参差不齐。为了确保测试成果的靠得住性，这就像是既要添加词汇量，每个标注员平均需要破费5分钟来处置一个问题。这意味着每个问题都包含更丰硕的布景消息和更具体的要求。研究团队发觉！

　　这个过程就像是让专业对每一个回覆进行逐字逐句的现实核查。这就像是让学生回覆拿破仑是若何利用手机批示滑铁卢和役的一样。对于通俗用户来说，研究团队决定从零起头建立一套全新的测试框架。出格是那些相对冷门但主要的长尾学问。要么回覆。

　　这个概念能够如许理解：保守的出题体例是人类专家坐正在桌子前苦思冥想，然而，AI给出的谜底可能有约40%包含错误或无法验证的消息，有些标题问题过于简单，构成了FACTORY Hard子集。找出改良的标的目的。AI手艺的成长道还很漫长，从问题长度来看，避免被虚假的高分数所。它也为我们指了然前进的标的目的：不只要逃求AI系统正在简单使命上的高精确率，科学手艺类问题占比最高，此外还包罗设备器械、、文化、体育、音乐、艺术、电视节目、地舆和视频逛戏等各个方面。还需要正在模子架构和锻炼方式长进行立异，