DeepSeek开源放大招：FlashMLA让H800算力狂飙！曝光低成本秘笈

Android社区 发表于 收藏文章

2月24日消息，DeepSeek放出了开源周首日的重磅炸弹——FlashMLA。这是DeepSeek专为英伟达Hopper GPU打造的高效MLA解码内核，特别针对变长序列进行了优化，目前已正式投产使用。经实测，FlashMLA在H800 SXM5平台上（CUDA 12.6），在内存受限配置下可达最高3000GB/s，在计算受限配置下可达峰值580 TFLOPS。

团队在致谢部分表示，FlashMLA的设计参考了FlashAttention-2、FlashAttention-3以及CUTLASS的技术实现。有网友对此表示，「DeepSeek王炸开局，FlashMLA是真正能加速AGI进程的」。

DeepSeek的成本涉及两项关键的技术：一个是MoE，一个就是MLA（多头潜注意力）。其中，MLA的开发耗时数月，可将每个查询KV缓存量减少93.3%，显著减少了推理过程中的内存占用（在训练过程也是如此）。

MLA架构需要一些巧妙的设计，因此实现的复杂性大大增加。而DeepSeek成功地将这些技术整合在一起，表明他们在高效语言模型训练方面走在了前沿。

相关标签
所有标签
 相关文章
王慧文病休53天，旗下OneFlow团队重新创业 1年以前  |  1次阅读
智己CEO现场怒怼！不满LS6和小鹏G6当对手 1年以前  |  1次阅读
董明珠回应落榜世界500强：总比爆雷的世界500强好 1年以前  |  1次阅读
阿里云上线 AI 视频生成工具 Live Portait：可一键让照片开口说话 1年以前  |  78次阅读
妙鸭相机将并入神力视界，阿里大文娱CTO郑勇：不是“搬家”是“回家” 1年以前  |  85次阅读
特斯拉上海超级工厂约40秒下线一台车，零部件本土化率超95% 1年以前  |  69次阅读
宁德时代发布神行超充电池，可实现充电10分钟行驶800里 1年以前  |  71次阅读
中科院博士被骗到缅甸已一年！女友：他负债几万，家里条件一般，以为去当翻译 1年以前  |  85次阅读
小鹏汽车否认收购玛莎拉蒂传闻：系谣言 1年以前  |  63次阅读
联想二季度净利润猛降66%，股价应声跳水 1年以前  |  80次阅读
业内人士：视觉中国对不同侵权主体采用差异化策略，老客由销售沟通新客发律师函 1年以前  |  70次阅读
恒大集团在美国申请破产保护 1年以前  |  56次阅读
劳斯莱斯首款纯电轿跑将在北美亮相 1年以前  |  89次阅读
realme印度前CEO确认加盟荣耀，即将推出手机新品 1年以前  |  88次阅读
OpenAI正在测试内容审核系统，一天可以完成六个月的工作 1年以前  |  80次阅读
谷歌百人“复仇者联盟”出击，将发对标GPT-4的大模型，26位研发主管名单流出 1年以前  |  77次阅读
OpenAI收购数字产品公司Global Illumination，为创立以来首笔公开收购 1年以前  |  80次阅读
海口规定：电动汽车充电服务费不得超过0.65元每度 1年以前  |  80次阅读
波音任命柳青为波音中国总裁 1年以前  |  88次阅读
业内人士谈图片复杂代理链：图片代理商越多摄影师分成越少 1年以前  |  67次阅读

扫一扫

在手机上阅读