FEATURED ARTICLE / 01

INSIGHT / REPORT / UPDATE

深度资讯 新闻中心

180B级!业内首款国产“TokenStation”工作站来了!

问鼎国际体育赛事平台编辑部 964 阅读 约 5.5 分钟

对工业设计团队来说,用AI分析项目资料时,有个很实际的问题。图纸和技术文件需要留在本地,手边的电脑却未必跑得动处理复杂任务所需的大模型。 中科可控的TokenStation W50X给出了一种桌面方案。作为业内首款国产TokenStation工作站,W50X支持在本地运行180B级MoE模型,也就是总参数量约1800亿的混合专家模型。 把这么大的模型放到工位旁,首先要解决的是容量。模型的权重放在哪里,推理时又怎么及时读到? 超大内存,让180B级大模型在桌面常驻 受算力和显存限制,过去桌面端通常部署27B级及以下的模型。W50X把本地推理支持的模型规模推到了180B级。这里有一个技术细节。MoE模型每生成一个Token,只调用一部分专家参与计算,但每一步用到的专家可能不同。要让模型连续输出,整套专家权重都需要随时可取。 如果每次用到新的专家,都要临时从SSD读取权重,生成速度就容易忽快忽慢。W50X采用最高1TB的企业级内存,配合国产AI算力卡的高速显存,让整套专家权重可以常驻在内存和显存中。其中,大容量内存提供存放权重所需的空间,高速显存承担高频访问,减少从SSD反复读取权重带来的等待。 拿一份技术文档来说,第一轮可以让模型找出关键条款,下一轮再让它结合前文,解释两条要求之间的关系。这个过程中,模型会用到一块叫KV Cache的缓存。它保存模型处理前文时产生的中间结果,让模型继续生成时可以复用。文档越长、追问越多,缓存占用的空间也就越大。 这就是大模型装进工作站后,还需要给实际任务留出空间的原因。W50X的内存和显存组合,在容纳180B级模型权重的同时,也为长上下文缓存留出了余量。团队可以在本机围绕同一份长文档连续提问。如果工作中需要在不同模型之间切换,或者同时运行领域知识库,更大的容量也为这些任务留出了空间。 从本地推理到3D建模,一台工作站都能接 对设计师来说,同一台工作站可以先用大模型查阅项目资料,再用熟悉的专业软件继续建模。整个过程中,项目文件可以留在本机。按需扩展高性能显卡后,W50X还可以承担工业建模、3D绘图和视频剪辑等工作。 要在办公室里长期使用,工作站还得兼顾可靠性和噪声。W50X采用企业级部件和服务器级RAS机制,为长时间运行提供硬件保障。处理器最高支持64线程,可应对复杂并行任务。按产品资料,整机满载噪声低于40 dB,适合部署在工位旁。 对设计团队、开发者和小型工作室来说,W50X带来的变化很具体。原本需要调动云端算力的一部分大模型推理任务,现在可以在日常工作的那台机器上完成。想看看它能接住多少工作,试用时可以带上一份平时最难处理的长文档,按自己的工作习惯连续追问几轮。 目前,中科可控已开放W50X免费试用申请,面向渠道伙伴的工作站招募“引力计划”也在持续进行中。 加入【引力计划】申请工作站免费试用 特别

about image

分享这篇内容

如果文章对您有所帮助,欢迎将它分享给更多读者。

RELATED READING / 02

推荐阅读

从相近主题、延伸观点和最新动态中继续阅读,了解更多相关信息。

DISCOVERY BOARD / 03

继续发现

通过栏目导航和热点内容,快速进入更多文章页面。

热点新闻

杨虎城的后人今何在:长子省委书记,俩女儿厅级,孙子移民加拿大

杨虎城的后人今何在:长子省委书记,俩女儿厅级,孙子移民加拿大

“以身殉志,不亦伟乎!” 对于著名爱国将领杨虎城将军的遭遇,毛主席忍不住发出这样一句沉甸甸的评价。 1936年, 震惊中外的西安事变扭转了国家危局,彻底打破“攘外必先安内”的消极局面 ,促成全国抗日统一战线正式形成。 这场挽救民族危亡的千古义举,拯救了满目疮痍的华夏大地,却也 让杨虎城将军招致记恨、身陷绝境。 历经12年幽禁磨难, 他最终在1949年新中国成立前夕惨遭杀害, 阖家蒙难、忠魂殉国。
男子奸杀女友的姨妈和表妹,2015年还侵犯过一女子,只为练胆杀女友

男子奸杀女友的姨妈和表妹,2015年还侵犯过一女子,只为练胆杀女友

母女二人被杀 2015年10月3日,吉林省延吉市的金先生给女友刘淑芬打电话。 打了十几个都没有人接,他觉得不正常,女友从来没关机过。 他就开车来到女友刘淑芬家里。 他们是二婚认识的,还没有领结婚证。 进门后,他看到女友刘淑芬死在了床上。 她身上的衣服,都是被掀开的,没有来得及多想,他就报警了。 报完警他想给刘淑妃二十多岁的女儿周晓燕打电话,让她赶紧过来。 刘淑芬的女儿周晓燕,就是住在隔壁不远的地方
大国粮仓记

大国粮仓记

保障粮食安全,要害是种子和耕地。 ——习近平 东北黑土地保护记 本报记者方圆刘以晴 东北地区,我国秋粮主产区、最大的商品粮生产基地,这里100多万平方公里的黑土地,是我国最肥沃的土地,目前秋收已进入扫尾阶段。 “要把黑土地保护作为一件大事来抓,把黑土地用好养好。”习近平总书记高度重视东北黑土地保护和利用。 2018年9月,在黑龙江七星农场万亩大地号考察时,总书记强调:“坚持用养结合、综合施策,确保
王濛、杨鸣本周末都要来沈阳!

王濛、杨鸣本周末都要来沈阳!

11月21日王濛将空降沈阳大悦城a馆参与熊喵来了品牌活动。 王濛1984年出生于黑龙江省七台河市,是中国短道速滑史上最具统治力的运动员之一,也是冬奥会四金得主,但她的形象远不止“冠军”这一个标签。退役后,她成功转型为教练、解说员,并活跃在综艺舞台,以直率、自信的个性持续获得关注。 杨鸣11月21日将惊喜空降沈阳中兴李宁金标龙店 杨鸣1985年生于大连,整个15年CBA生涯全部效力于辽宁队,长期担任
女子照料重病男友一年多,在其离世前后转走 29 万,遭男方家属起

女子照料重病男友一年多,在其离世前后转走 29 万,遭男方家属起

最近湖南临湘法院晒出来的一起特殊官司,直接戳中了现在不少搭伙养老的老年人最不敢碰的那块软肋。没领结婚证的俩人搭伴过了五年,女方贴身伺候患癌男友整整一年,转头却因为转走对方29万存款,把自己送进了被告席。网上两拨人吵得不可开交,有人骂她早有预谋趁病捞钱,有人说辛苦一年拿点钱怎么了,可最后法院判的结果,真的比所有人预想的都要周全。 这老两口当初认识的时候,男方老伴早就走了,一个人独居闷得慌,2020年