研究者称DeepSeek等模型用被禁英伟达芯片训练
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
研究者称DeepSeek等模型用被禁英伟达芯片训练
本文由云顶国际整理发布:
美国对英伟达、AMD高端AI加速芯片的对华出口管制,最近又起了几道波折。
抛开黄仁勋那边的纷扰不谈,业内一个公开的秘密是:英伟达的Blackwell芯片总能以某种方式进入中国,无论是实体的还是虚拟的。
独立研究机构UnemploymentLabs给出了有力证据,称这些芯片被用于训练中国的开放权重模型,包括DeepSeek V4、Kimi K3.
1、MiniMax-M3和Ling-3.
1-Flash。
研究者对结论保持了谨慎措辞:数学推导站得住脚,但它并不能揭示芯片位于何处、通过何种方式被访问,也无法证明出口管制被违反。
就目前公开信息看,中国企业在境外租用Blackwell硬件并不违法;
即便英伟达的口子越收越紧,美国公司也未被严格禁止这样做,腾讯与甲骨文近期的交易就是一例。
这套识别方法只适用于开放权重的模型,且依赖训练所用的硬件与软件栈组合。
方法本身既巧妙又简单,堪称哥伦布竖鸡蛋。
先立几个基本事实。
第一,不同AI加速器家族的着色器模块(SM)数量各不相同,大致可类比CPU核心:英伟达Hopper芯片有132个,Blackwell B系列有148个,Blackwell GB系列则是152个。
第二,训练AI模型的软件栈不止一种,但在英伟达硬件上,PyTorch及其CUDA生态相关工具是绝对主流。
训练模型的第一步是初始化权重,也就是模型对每个输入赋予多大权重。
在现代大语言模型架构中,初始化要经过随机化步骤,用cuRAND把数值做正负伪随机调整——随机,但给定一个种子起始值,每次得到的调整数值完全相同。
对整个模型做这件事计算量很大,因此过程会分摊到所有SM上,再细分为线程。
对于大规模权重集,Blackwell和Hopper芯片每个SM的线程数是2048,这个数字显然是经过精心选择和优化的。
研究者用相同的芯片、软件和线程数复现了初始化过程。
经过相对简单的统计分析,他们发现最终权重值的统计分布与DeepSeek、Kimi等模型精确吻合。
作为对照,他们改动SM数量和线程数,相关性如预期般彻底瓦解。
由此,他们能辨认出每个模型使用了哪一族Blackwell/Hopper芯片,并进一步估算出所用显卡的大致数量。
但具体是哪一款变体产出了这些权重,他们无法锁定——因为分析只与初始化布局数量挂钩,也就是SM数量和使用模式,而不涉及显存容量、内存带宽等区分单卡的其他特征。
那AMD的MI300X,或者其他SM数量足够高、跑同一套软件栈的芯片呢?
研究者表示,把AMD卡配置成呈现为两组152或148个着色器并非不可能,尽管看不出有什么理由这么做。
针对DeepSeek V4,他们还通过分析权重值本身排除了这种可能,发现AMD卡依然无法产生相同的权重值模式。
特别
更多体育热点,关注云顶国际。
推荐阅读
Search
热点新闻
你以为石油只是汽油?错!你穿的衣服、用的手机,竟全是它变的!
很多人一听"石油"两个字,脑子里浮现的就是加油站那块来回跳动的价格牌。 但要是把这事儿说透了你可能会愣住——衣柜里挂的那条速干裤、孩子书包上的塑料扣、老花镜的镜框、智能手机后盖、甚至小区门口那条新铺的黑亮马路,统统是从一桶黑乎乎的原油里"变"出来的。 这玩意儿可不只是车的口粮,而是织进现代人衣食住行里的一根隐形丝线。 打个比方,原油刚从井下抽上来那会儿,跟一锅没过滤的杂粮粥差不多——成分多到上千种
心理学:父母对孩子的5种隐形掌控,将使孩子陷入分离焦虑
父母对孩子的5种隐形掌控,将使孩子陷入分离焦虑。 我们这里讲的隐形掌控,本质上是一种无意识的掌控,是不被父母觉察到的掌控。之所以要做出这样的澄清,就是说不是父母本质上是坏的,他要把孩子控制在自己的身边。而是说这是父母在无意识中处理焦虑的一种方式,也就是说父母本身存在对分离的焦虑,然后他消除焦虑的方式就是掌控关系。 父母之所以出现分离焦虑,与他成长中经历的创伤有关,或者存在分离焦虑的代际传递。就是说
老蒋日记曝出“陈粟如鱼,叶项似鳖”,一句话道尽新四军两派结局
“叶项是瓮中之鳖,陈粟是海滨之鱼。”这句冷冰冰的判断,像一把刀,把一九四〇年前后的新四军切成了两半。 一半在皖南山里,一半在苏北水网。 一半越走越窄,一半越打越活。 一九三七年卢沟桥枪声响后,南方八省十四个地区的红军游击队,被改编为国民革命军新编第四军。 军长叶挺,副军长项英。 叶挺是北伐名将,打过独立团,参加过南昌起义,后来长期离开中共组织。项英则是中央苏区留下来的老干部,三年游击战争里扛过最难
再见NBA!结束12年生涯!马刺超级射手,正式退役
麦克德莫特退役了,可“超级射手”四个字,容易让人漏看他最难的一步:一个大学得分王,怎样靠缩小自己的角色,在NBA打了12年? 34岁的他通过经纪公司Priority Sports宣布告别NBA。这段生涯值得肯定的地方,就在于他把得分手的本事,装进了配角的位置。 听着有点憋屈,做起来却相当费劲。 大学里,你可以等队友把球交过来,再决定怎么进攻。角色缩小以后,机会什么时候来、能拿到多少,自己说了不算。
日本78岁“纳豆仙人”自曝曾因吃霸王餐被捕!坐拥3亿土地却穷困潦倒,40年拒绝看病!
本文授权转载自公众号东京新青年,ID:tokyomen 防走丢,大家也可以在“ 事儿君看天下 ”找到我 关注起来,以后不“失联”~ 在寸土寸金的东京,位于代代木的一块约60坪的土地值多少钱? 答案可能接近3亿日元。 但住在这块土地上的人,没有豪车,没有精致装修,甚至没有燃气。晚饭常常只是3盒纳豆,再加一袋31日元的豆芽。拥有这块土地的人名叫前田良久,今年78岁。 前田长期吃纳豆,再加上他极具个人色