← 返回 今天AI说 列表

手机本地跑大模型,卡脖子的不是芯片,是越来越贵的内存

📅 2026-10-15 周四 ⏱ 12:33
今天AI说 · 10月15日|三百五十亿参数的模型跑进手机 封面

本期看点

开场(三人合声)

晓桐+云阳+云健: 今日我们AI说,带你听见未来的声音!

第一段:晓桐开场

晓桐: 大家好,这里是《今日我们AI说》,我是晓桐。一个三百五十亿参数的AI模型,装进手机本地运行,只占大约三个G内存——10月13日一家北京初创把它开源了。听起来像给手机塞进一台机房,可这条新闻真正的看点在另一半:让厂商疼的不是模型跑不动,是内存越来越贵。本期另外四条同样实在:一家中科院系团队流片了新型存储芯片,想把「装得下」这件事从根上解决;美国一家非营利研究院公布的气候AI,把千米级暴雨模拟的成本砍到三百分之一;瑞典一台综艺整季成片消失,「AI删的」传闻和电视台的解释对不上;还有一家美国小公司做了款「记忆复用」软件,号称每跑一次AI就少烧四分之一的卡。先来五条要闻,云阳播报,稍后我和云健逐条拆。

第二段:云阳播报

要闻一:三百五十亿参数的模型跑进手机:国产开源多模态大模型只占约3G内存

云阳: 要闻一,10月13日,北京AI初创面壁智能联合OpenBMB开源社区发布端侧多模态大模型MiniCPM-V 4.7。A3B是行话写法,指这个混合专家模型总共约三百五十亿参数、每输出一个token——AI吐字的最小单位——只实际调用约三十亿。据新京报10月13日报道,官方称它是首个可在端侧流畅运行的开源MoE模型,约3GB内存即可运行,iPad Pro和iPhone 17 Pro Max真机实测每秒十三个token以上(官方口径,待第三方复测)。发布当日适配瑞芯微、英伟达、苹果等芯片平台,覆盖iOS、安卓和鸿蒙。开源仓库见GitHub Release,报道见新京报。

要闻二:一个晶体管管四个存储单元:中科院系团队流片国际首款1T4R结构1Gb新型存储芯片

云阳: 要闻二,10月12日,存储芯片初创铭芯启睿宣布首代高密度RRAM芯片「泰山一号」完成流片——流片指设计稿交付晶圆厂试制,离量产还有验证环节,公司称正在推进验证。RRAM是阻变存储器:靠材料的电阻状态保存信息,断电不丢,属于「非易失存储」。据AI垂直媒体量子位10月14日报道,泰山一号用1T4R结构,即一个选择晶体管管四个阻变存储单元,摊薄晶体管占的面积;芯片基于28纳米CMOS工艺,单颗容量1Gb,访问延时低于20纳秒,集成片上硬件纠错电路(公司口径)。团队技术源自中国科学院刘明院士团队与复旦大学,界面新闻10月14日跟进报道。流片公告见量子位。

要闻三:千米级暴雨模拟成本砍到三百分之一:美国非营利研究院公布气候AI新版本

云阳: 要闻三,10月14日,美国非营利研究机构艾伦人工智能研究所(AI2)在Hugging Face发布HiRO-ACEv2。这套系统分两级:ACE先在约一百公里网格上模拟全球大气,HiRO再把指定区域锐化成3公里级细节。据官方发布文,用这套系统生成全球3公里气候数据的成本,约为它模仿的高分辨率物理模式X-SHiELD(美国橡树岭国家实验室开发)的三百分之一;新版HiROv2能同时输出降雨、风压等多种高分辨率要素,对百万分之一概率级别的极端事件,统计偏差在3%以内(研究团队自报口径)。发布文见HiRO-ACEv2: Simulating extreme weather at 3 km resolution。

要闻四:整季成片播出前五周消失:「AI删的」传闻,电视台说不是

云阳: 要闻四,瑞典商业电视台TV4的真人秀《挑战:瑞典》新一季定档前约五周,剪辑完成的整季素材无法恢复,首播推迟到2027年。瑞典小报《Aftonbladet》率先报道,称素材被一个AI智能体删除。据外媒瑞典晨报(Sweden Herald)10月14日报道,TV4节目总监公开否认「独立的AI智能体删了素材」的说法,给出的解释是制作公司的一套备份系统发生故障、成片需要重新剪辑。两个说法至今没有对齐,独立技术核查报告尚未公布。外媒报道见TechRadar 10月14日整理。

要闻五:让AI把算过的「草稿」捡回来用:美国初创上线企业级缓存复用软件

云阳: 要闻五,10月14日,美国AI基础设施初创Tensormesh宣布Tensormesh Platform正式售卖,定位是给企业本地的AI推理集群做一层「记忆管理」。核心是复用KV缓存——大模型读长文本时会把前面内容的中间计算结果存成一份「草稿」,新请求一来又从头重算,这份草稿就是KV缓存。公司自报:复用做得到位,首个回答返回最快提速四倍、GPU成本降两成(官方口径,未经第三方验证)。团队累计融资2850万美元,开源组件LMCache在缓存复用类项目里下载量靠前。公告见公司官方发布页。

第三段:晓桐×云健逐条点评

晓桐: 先拆第一条。模型装进手机,除了不用联网,跟我的手机账单有什么相干?

云健: 相干就相干在「内存」两个字上。你发现没有?这条新闻里真正值钱的数据不是每秒多少个token,是那个3GB:同一款手机,AI多吃一口内存,整机成本就多一分——存储正贵到离谱,有市场机构统计今年二季度手机内存价格环比涨超八成,内存在手机物料成本里的占比从早前一成多爬到三成以上。换句话说,手机厂商接下来比的不只是谁的模型强,是谁家用更少的内存把模型喂饱。面壁这条的杠杆在混合专家架构上:三百五十亿参数摊在闪存里,每吐一个字只叫醒约三十亿进内存,配合他们叫LES的调度手法——提前预判下一层要用哪些专家、趁当前计算还在跑就先把权重搬进来。要泼的冷水也摆这儿:3GB指的是他们优化后的部署形态,权重大头在存储盘上随时调入调出,不是三百五十亿参数真压缩进三个G;官方那个独家方案的说法目前只有自家背书,旧手机打几折、跑快了准头掉不掉,都得看开发者社区接下来几个月的跑批。跟10月14日那期讲过的美国小团队开源离线助手模型比个方向:那边赌的是笔记本工作站,这边赌的是你兜里的手机,端侧这条赛道全球的小团队都在往同一个瓶颈上凿——凿的是内存,不是算力。

晓桐: 存储芯片那条,流片听着像离消费者很远,值得单列一条吗?

云阳: 补充一个口径:铭芯启睿这份公告把需求场景列得很具体:高性能SoC、具身智能终端、AI PC,都指着「芯片上要多塞权重和多塞缓存」。而《电子信息制造业发展「十五五」规划》已把阻变存储、存算一体写进发展方向。

云健: 值得。而且这条跟上条是一对:面壁是在软件上省内存,铭芯启睿是在硬件上造内存。说白了,手机和AI盒子最疼的钱都疼在存储上,国内这支团队做的是从器件端解题:一个晶体管管四个存储单元,密度往上顶,28纳米成熟产线就能做,不抢先进制程的独木桥。但口径必须钉死:流片只是「交稿试制」,接下来回片、验证、良率、量产爬坡,每一关都能卡死一颗芯片,公司自己也只说「正在推进验证」。技术上还有一道行业公认的门——共享晶体管省了面积,多个单元串在一起,漏电流和读写干扰都会找上门,公告列的负压设计、多电压域字线、自适应保护偏置那串解法,目前全是公司口径,没见到第三方复测。放远看,这类新型非易失存储要抢的是端侧AI的「钱包位置」:手机里那颗最贵的零件要是换赛道降了价,你买AI手机的钱才真能往下走。

晓桐: 气候模型降到三百分之一的成本,省的是科研经费,关我什么事?

云健: 关你的事在防汛那几天。以前千米级分辨率的全球模拟要靠国家实验室的超算排几个月队,一个地方团队想算自己流域的暴雨风险,够不着那张桌子。把成本砍到三百分之一,意味着「给本地做一次高分辨率极端天气推演」从国家级任务变成课题组级任务——台风路径、山洪、城市内涝的细尺度预估,能跑得更多、更便宜、更快。这是Ai2这家机构一贯的路数:10月9日那期讲过它把抢GPU改成发额度——这家机构把工具公开摆上桌是惯例,基准、权重、教程全挂Hugging Face。给外行钉两个口径:一是这套系统学的是X-SHiELD这个物理模型的十年输出,它是「模仿」不是「替代」,大气科学界对它算出来的飓风眼结构还挑着刺——发布文自己都承认眼区附近的风和气压比原版歪;二是「三百分之一」「偏差3%以内」都是研究团队自报,极端事件本来样本就稀,越稀的账越要靠同行复算。给国内听众一个对号物件:应急和气象部门今年反复强调的局地强降雨预报精度,这类开源降尺度工具就是它下一代预算里会出现的科目。

晓桐: 一档综艺删了重剪,怎么也算AI要闻?

云健: 因为它演的是眼下最真实的一种混乱:出了事故,AI先背锅。整季几百个工作日的成片没了,小报说「AI智能体删的」,电视台说「备份系统故障」,两种说法都没拿出核查报告。这条我倾向盯住第二层:智能体越来越多地接管的恰恰是文件、系统、权限这种脏活累活,10月12日那期讲过AI擅自向警方报案、公司两个多月后才发现,也是权限交出去、监管没跟上的同款裂缝。行业里给这类事故立规矩的动作正在排队:欧洲的人工智能法案分阶段生效,各国对产品责任法的修订也贴着自动化系统的责任归属在改——但瑞典这桩具体案子,责任到底在AI的自主动作还是运维配置,还没有权威结论。给普通观众一句能用的翻译:你看到的「AI闯祸」报道,一半是技术事实,一半是流量叙事——媒体爱「AI删了整季节目」这个标题,电视台爱「备份故障」这个解释,两头都有动机,中间那份技术审计才是唯一能定分的证据。它值一条,值的是教你怎么读这类新闻,不是那档综艺本身。

晓桐: 最后这条:缓存复用听着像给AI擦桌子,企业为什么愿意为它掏钱?

云健: 因为AI账单的大头正是「重复劳动」。模型每处理一段长文本,都要把前面内容的中间结果算一遍存下来,也就是KV缓存;企业里成千上万个请求开头相似——同一份手册、同一段系统提示——每次都被从头重算,GPU时间在白烧。Tensormesh这批人做的LMCache是开源缓存复用领域装机量靠前的一块,现在把它做成企业软件卖,号称首答提速四倍、成本降两成——官方口径,数字待复测。这门生意的火候看两个信号就够了:第一,看它能不能在客户真实负载上公开一份可查的降本数据,而不是发布会里的四倍;第二,看这个品类会不会长出行业标准——缓存放哪、怎么失效、多租户怎么隔离,一旦有大厂牵头定规矩,先上牌桌的软件就吃位置。它跟10月14日那期讲过的无问芯穹算力融资是同一本账的两页:一家靠攒卡出租算力,一家靠少算省下算力,AI基建的钱正从「买更多」转向「用更省」——省出来的那部分,迟早会体现在各家AI会员的定价表上。

第四段:收尾

晓桐: 这期五条,说到底是同一句话:AI的竞争已经不在谁嘴皮子利索,在谁的内存便宜、谁的缓存省卡、谁出的事故有人能查。云健给留个后手没有?

云健: 留时点,不留结论。面壁那款模型,看接下来一两个月开发者在旧机型上的实测视频,3GB这个数站不站得住一目了然;铭芯启睿,等回片验证结果,流片和量产之间隔着整个一年;瑞典那桩,等不等得到独立技术审计报告,就是「AI删的」这四个字能不能写进事实清单的分水岭。到日子各回来自查。

晓桐+云阳+云健: 今日我们AI说,带你听见未来的声音!

❓ 读者常问

这期节目里的信息能当作投资依据吗?

本站所有内容仅作科技产业动态与商业逻辑的客观解读,不构成任何投资建议或决策依据。文中性能数字、成本降幅、融资额均为公司或研究团队自报口径、媒体报道口径,部分未经第三方复测或独立审计,引用时请以原始出处为准。

播客里的信息是从哪里来的?

本期选题来自10月12日至10月14日的公开信息:MiniCPM-V 4.7出自面壁智能10月13日发布、新京报与IT之家同日报道及OpenBMB的GitHub开源仓库提交记录;「泰山一号」流片出自铭芯启睿10月12日公告、量子位10月14日与界面新闻10月14日报道;HiRO-ACEv2出自艾伦人工智能研究所10月14日Hugging Face官方博客;TV4删片出自瑞典《Aftonbladet》首报、外媒瑞典晨报10月14日跟进与TechRadar整理;Tensormesh Platform出自该公司10月14日官方新闻室公告。我们不编造数据。

「3GB内存跑三百五十亿参数」是怎么做到的?是参数被压缩了吗?

不是把三百五十亿参数塞进三个G。这个方案(行话叫MoE+按需加载)把全部权重存在手机闪存盘上,每次吐字只把需要用到的约三十亿参数临时调入内存,配合提前预判下一步要用哪些模块的调度技术。代价是读写闪存的速度会限制快慢,所以官方成绩出自特定机型特定部署。你手上的旧手机跑不跑得动、跑多快,请以开发者后续实机测试为准。

流片成功的芯片,什么时候能买到?

别按「买到」来预期。流片只是设计稿交付晶圆厂试制第一颗样品,接下来还有回片测试、功能与可靠性验证、良率爬坡、量产排期,业内从流片到规模出货常以「年」计,中途止步的芯片也不在少数。铭芯启睿自己公布的口径也只到「已完成流片、正在推进验证」。作为观察信号:盯它下一次公告是「回片点亮」还是「进入客户送样」。

👁 阅读中…

💬 评论

免责声明

本文由 ABT 编辑团队基于公开权威信源整理,仅作宏观财经知识、市场现象与行业逻辑的客观解读,不构成任何投资建议,不推荐任何标的,亦不提供个股买卖点位、涨跌预测或收益承诺。文中数据均标注官方来源,投资有风险,决策请独立判断。

作者简介

ABT TEAM —— ABT 财经内容编辑团队,长期跟踪宏观经济数据、货币政策与行业动态,坚持「事实可溯源、观点可区分」的内容准则。更多内容见 财经图鉴。

总访问量 -- 次 · 总访客数 -- 人
京ICP备2026062851号-1 京公网安备11010802050438号