视觉版 o1 的初步探索开云体育(中国)官方网站，阶跃星辰 & 北航团队推出"慢感知"。

筹划东说念主员以为：1）当今多模界限 o1-like 的模子，主要保重文本推理，对视觉感知的保重不够。2）细腻 / 深度感知是一个复杂任务，且是翌日作念视觉推理的报复基础。

而想路之一是怎样把感知作念"慢"，即通过某种任务拆解（step-by-step）兑现感知层面的 inference time scaling。

这里有个粗心的例子：

题目是：按照螺旋线的法例，报出每个字母。

这是沿途 5 岁小孩的测试题，然而当今国表里还莫得一个多模模子巧合正确解答。该题让东说念主来作念的话，会先感知并 trace 这条螺旋线，在 attention 到字母的位置将其记载下来，越王人集螺旋线中心，字母挨得会近一些，咱们 trace 的速率也会更慢少量，即央求一部分零散"推理野心量"，以保证不会出错。

很显著，这是典型的视觉 o1 任务，且该经过似乎不太需要偏文本的作念题式"想考"，它更偏向于深度"感知"。

基于以上分析，筹划东说念主员建议了慢感知（slow perception）的看法，主要想传达的是，不仅想考需要慢下来，感知通常需要。

作家遴荐几何 parsing 任务对慢感知进行初步建模，原因主要有三点：

1）文本 reasoning 向的多摸态 o1-like 模子每每 pr 作念几何题，但要是模子连准确地 copy 几何都作念不到，何如可能着实流露几何里面复杂的点线联系；

2）几何 parsing 任务其完全够难，一直被内行 overlook，当今国表里莫得一个多模态大模子能作念好这件感知任务；

3）几何图形是东说念主对当然场景的详尽，想把 system2 视觉模子作念 general，总得先从描一根线动手。

△图 1. 慢感知的两个阶段：感知分解和感知流动风光 & 履行：

慢感知（slow perception）分为两个阶段：

第一阶段称为感知分解（perception decomposition），该经过将几何图形分解为基本的样子单位 ——线：岂论是几边形，都是由最基本的线组成。这么作念的平允是不错调治复杂的几何表征，一定进程上幸免多峰优化问题。如图 1 中有 8 个三角形，而况彼此嵌套，径直让模子写 matplotlib/tikz 代码都会遭受多峰问题。这一阶段的想法是"化繁为简"。

第二阶段称为感知流动（perception flow）。东说念主在 trace 一条线的时辰，尤其是长线，很难一笔到位，即关于长程依赖的感知决策，不太会出现 1-hop-1-decision，对模子来说亦然一样。作家受东说念主使用尺子互助眼动的描线经过启发（如图 1 下），建议了 perception flow。

具体地，模子基于一个虚构的感知尺（perceptual ruler），从线段的动手点徐徐描向隔绝点。作家把"眼动"经过中停留的位置称为注目点（gaze），关于一条长于感知尺的线段，通盘感知经过被建模为在一个决策点通过屡次眼跳到达下一个决策点的经过（multi-hop-1-decision）。

感知尺的长度在一次锤真金不怕火中是固定的，这么短线和长线的推理野心量变得不同，这更恰当直观与上文的分析。虽然感知尺长度在锤真金不怕火前不错松驰斥地，作家发现其长度斥地的越短，几何剖析的性能越好。感知尺短讲解模子描一条线用的推理野心量大，即慢感知建模决策存在感知层面的 inference time scaling。

△表 1. 慢感知性能

△图 2. 慢感知 inference scaling

如上表 1 所示，baseline 代表感知尺无穷长，即通盘线段均从动手点径直展望隔绝点。n-length 代表感知尺长度为 n，n 是 matplotlib 绘图距离，通盘几何图形绘图在 -10 到 10 的坐标系中。不错看到感知尺长度从 12 到 4，通盘方针（包括 F1，Precision，Recall）都在高涨。感知尺越短，描一根线的停顿（gaze 点）越多，野心量越大，inference time 也会越久。图 2 展示了慢感知 inference time scaling 的趋势。

△图 3. 抖动注目（gaze）点

为了考证感知流动是否依赖精确的注目（gaze）点，作家抖动了 gaze 点真值进行锤真金不怕火和测试，对比收尾如图 3 所示。不错看到即等于基于抖动过的 gaze 点，模子性能依旧远高于 baseline（56.6% F1 vs. 51.4% F1），也仅比不抖动的情况低了 1%：慢感知最毛病的是要建模一种从动手决策点到下一个决策点感知的正确流向，而中间的具体经过可能莫得那么毛病。这一论断会大大裁减将该风光用在通用场景上的标注难度。

△图 4. 可视化收尾

更多可视化收尾如图 4 所示，左边是输入，中间是 slow perception 每一笔的可视化，笔画法例用彩虹色（红 - 橙 - 黄 - 绿）暗示，终末一栏是最终几何剖析的恶果。

△图 5. 几何剖析收尾最终相比

不同多模态大模子几何剖析智商对比如图 5 所示，不错看到慢感知建模决策使得模子对几何线段的感知智商更强。更多真谛的论断和恶果请看原文。

论断：

现时基于 system1 感知的多模态大模子，看图过轻，感知不够细腻，这铁心了其进一步发展：当咱们拿着一张片子给医师看，而医师不到 1 秒钟就看收场，告诉你啥事莫得，咱们会请他再望望，条目他看的再仔细点。

视觉谈话模子想要有更多的落地场景，system2 感知智商是第一步，感知要慢下来。slow perception 是筹划东说念主员基于几何 parsing 任务，在视觉 sys2 上的初步探索，他们也在积极往更通用的任务上迁徙，并获取了初步的恶果。内行敬请期待。

开源地址：https://github.com/Ucas-HaoranWei/Slow-Perception  

论文地址：https://arxiv.org/abs/2412.20631开云体育(中国)官方网站