搜索
4月，OpenAI Codex正式把计费口径从按消息估算转向按token用量；Anthropic侧的企业续约和新版模型tokenizer（分词器），也让 Claude Code的实际账单压力集中显现。明升与暗涨，两家各有各的玩法。
在生成式 AI 领域，视觉分词器（Visual Tokenizer）通常采用固定压缩率 —— 无论是单调的监控画面，还是复杂的动作大片，都被切分为等量的 Token。这种 "一刀切" 的做法不仅会造成巨大的计算冗余，也产生了 “信息量” 不同的 Token，不利于下游理解生成任务处理。
MiniMax海螺视频团队不藏了！首次开源就揭晓了一个困扰行业已久的问题的答案——为什么往第一阶段的视觉分词器里砸再多算力，也无法提升第二阶段的生成效果？翻译成大白话就是，虽然图像/视频生成模型的参数越做越大、算力越堆越猛，但用户实际体验下来总有一种微妙的感受——这些庞大的投入与产出似乎不成正比，模型离完全真正可用总是差一段距离。
MiniMax 海螺视频团队「首次开源」了 VTP（Visual Tokenizer Pre-training）项目。他们同步发布了一篇相当硬核的论文，它最有意思的地方在于 3 个点：「重建做得越好，生成反而可能越差」，传统 VAE 的直觉是错的
扩散模型「去噪」，是不是反而忘了真正去噪？何恺明携弟子出手，回归本源！
近期，RAE（Diffusion Transformers with Representation Autoencoders）提出以「 冻结的预训练视觉表征」直接作为潜空间，以显著提升扩散模型的生成性能。
为此，北大、UC San Diego 和 BeingBeyond 联合提出一种新的方法——Being-VL 的视觉 BPE 路线。Being-VL 的出发点是把这一步后置：先在纯自监督、无 language condition 的设定下，把图像离散化并「分词」，再与文本在同一词表、同一序列中由同一 Transformer 统一建模，从源头缩短跨模态链路并保留视觉结构先验。
最近，Mamba 作者之一 Albert Gu 又发新研究，他参与的一篇论文《 Dynamic Chunking for End-to-End Hierarchical Sequence Modeling 》提出了一个分层网络 H-Net，其用模型内部的动态分块过程取代 tokenization，从而自动发现和操作有意义的数据单元。
视觉Token可以与LLMs词表无缝对齐了！
当我们看到一张猫咪照片时，大脑自然就能识别「这是一只猫」。但对计算机来说，它看到的是一个巨大的数字矩阵 —— 假设是一张 1000×1000 像素的彩色图片，实际上是一个包含 300 万个数字的数据集（1000×1000×3 个颜色通道）。每个数字代表一个像素点的颜色深浅，从 0 到 255。