搜狗9
关闭广告

DeepSeek开源新模型:单张A100日处理可超20万页数据

第一财经资讯1925人阅读

2025.10.20


本文字数:1556,阅读时长大约3分钟

作者 |第一财经 刘晓洁

DeepSeek又发新模型了,这次是一个OCR 模型。10月20日,DeepSeek在Github开源了这一新模型,并发布《DeepSeek-OCR:Contexts Optical Compression》(《DeepSeek OCR:上下文光学压缩》)论文,解释了这一成果。


论文提到,当前的大语言模型在处理过程中面临着重大的计算挑战,文本内容过长,因此团队探索了一种具有潜力的解决方案:利用视觉模态作为文本信息的高效压缩介质。

具体来说,这一OCR模型可以将文本压缩成视觉模态,所谓“一图胜千言”,这样可以消耗更少的Token,测试显示,通过文本到图像的方法可以实现近 10 倍无损上下文压缩,OCR 准确率还能保持在 97% 以上。

论文提到,在实际应用中,单张A100-40G显卡,可支持每日20万页以上的大语言模型/视觉语言模型训练数据生成。

简单来看,团队的思路是,既然一张图就能包含大量文字信息,同时用的 Token 更少,那就可以将文本转成图像,这就是题目中提到的“光学压缩”,用视觉模态压缩文本信息。这一结果显示出该方法在长上下文压缩和大模型的记忆遗忘机制等研究方向上具有相当潜力。

DeepSeek-OCR由两个核心组件组成,其中DeepEncoder(编码器)负责图像特征提取和压缩,DeepSeek3B-MoE(解码器)负责从压缩后的视觉 Token 中重建文本。

解码器用的是 DeepSeek-3B-MoE 架构。虽然只有 3B 参数,但采用了 MoE(混合专家)设计,64 个专家中激活 6 个,再加 2 个共享专家,实际激活参数约 5.7 亿。这也让模型既有 30 亿参数模型的表达能力,又保持了5亿参数模型的推理效率。

实验数据显示,当文本 token 数量在视觉 token 的 10 倍以内(即压缩率小于10倍)时,模型的解码(OCR)精度可达 97%;即使在压缩率达到 20倍的情况下,OCR 准确率仍保持在约60%。

DeepSeek 团队在论文里还提出了具有想象力的未来——用光学压缩模拟人类的遗忘机制。人类的记忆会随时间衰退,越久远的事情记得越模糊,那是否AI也能这样?于是,团队设计将更久远的上下文,逐步缩小渲染图像的大小,以进一步减少token消耗。随着图像越来越小,内容也越来越模糊,最终达到“文本遗忘”的效果,就像人类记忆的衰退曲线一样。

论文中提到,这还是个需要进一步调查的早期研究方向,但这对于平衡理论上无限的上下文信息是一个很好的方法,如果真能实现,对于处理超长上下文将是个巨大突破。因此,这次发布的DeepSeek-OCR 表面上是个 OCR 模型,但从另一个角度来看,其研究代表了一个有前景的新方向。

有网友认为,这是一步好棋,人类就是阅读视觉文字,同时理解物理世界的时空概念,如果能统一语言和视觉,可能通向超级智能。

这一OCR模型发布不久就在GitHub获得超过1400颗星星。从论文署名来看,这一项目由 DeepSeek 三位研究员 Haoran Wei、Yaofeng Sun、Yukun Li 共同完成。行业消息显示,其中一作 Haoran Wei 曾在阶跃星辰工作过,曾主导开发了旨在实现“第二代 OCR”的 GOT-OCR2.0 系统,因此由其主导 DeepSeek 的 OCR 项目也在情理之中。

不过,DeepSeek迟迟不发R2这样的新模型,市场已经有一些声音认为其落后了,也有观点认为,DeepSeek目前只是在修炼“内功”,为下一代模型蓄力。

微信编辑| 苏小

第一财经持续追踪财经热点。若您掌握公司动态、行业趋势、金融事件等有价值的线索,欢迎提供。专用邮箱:bianjibu@yicai.com

(注:我们会对线索进行核实。您的隐私将严格保密。)

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

路边停车累计欠费490元 车主拒缴:车被刮花没人管

封面新闻 浏览 7283

外观酷似G级 奔驰全新纯电SUV谍照曝光

车质网 浏览 1440

齐沃:阿森纳和拜仁是目前欧洲最强,但这不意味着我们输定了

懂球帝 浏览 1046

十分亮眼,阿马德5场非洲杯比赛贡献3球1助,3次获得全场最佳

懂球帝 浏览 1013

委内瑞拉外长:感谢中方支持

环球网资讯 浏览 3818

特雷·扬和老鹰正式协商分手 奇才有意围绕CJ报价

体坛周报 浏览 1130

跨年档12部新片来袭!没有大片全是情怀,55岁古天乐对打71岁成龙

萌神木木 浏览 1334

郭晓冬夫妇赶农村大集!程莉莎啃鸡腿不忘撒娇

裕丰娱间说 浏览 857

破亿品牌数增长,3万品牌成交翻倍,今年双11的商业变革悄然开始

一点财经 浏览 1873

袋泡茶品牌茶里成“老赖”,被执行超1.4亿元,有员工被拖欠工资超一年

红星资本局 浏览 1045

女孩引产遭拒生女婴被医生"送人" 抱养方称捡弃婴露馅

澎湃新闻 浏览 6656

鲁内跟腱断裂后,弗里茨等球员控诉ATP不顾球员死活!

网球之家 浏览 1902

《双轨》空降逻辑混乱,赛车泰拳伪骨科叠加,虞书欣演技难撑人设

不八卦会死星人 浏览 1331

法国将在格陵兰岛开设领事馆 法外长:这是个政治信号

鲁中晨报 浏览 3782

巴基斯坦俾路支省反恐行动打死145名恐怖分子

上观新闻 浏览 871

全球首款飞行汽车来了!售价222万元,可以飞177公里

象视汽车 浏览 1305

特朗普:以色列与哈马斯签署"20点计划"第一阶段协议

央视新闻客户端 浏览 1769

特朗普:以色列须立即停止轰炸加沙

央视新闻客户端 浏览 2076

日产终于学会“先赢中国市场,再谈全球”

汽车通讯社 浏览 1738

技能养宠人,好麻烦,好费钱!

时尚COSMO 浏览 1982

新东方员工发文吐槽「加班成奴」,账号被秒封!公司回应;负债238亿拟花1.8亿炒股?乐视网:被误读;美光停止向消费者销售存储产品

雷峰网 浏览 1526
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
Copyright © 2020-2022,版权所有 qukanredian.com
沪ICP备20002587号-1