特斯拉2022 AI Day会议纪要：Optimus后续的生产规模可能会达到数百万台

【Optimus】

Optimus后续的生产规模可能会达到数百万台，并且因为这台机器人所采用视觉算法、计算芯片、电池均与特斯拉汽车产品线共用，所以它并不是一个完全从零开始的产物，并且可以获得比其他类人型机器人更好的成本控制。未来售价或低于2万美元。

最新一代采用了2.3kWh容量的电池，并采用了集成式的设计，能提高52伏特的电压。

芯片部分则采用了特斯拉的全自动驾驶芯片，但是针对具体的软件、硬件适配情况进行了更改。

针对机器人的不同动作，对躯干的28个关节进行受力功耗模拟，并设计了6款单独的模拟肌肉的电机，可以在很小的体积以及重量下实现巨大的动力。

手掌设计部分通过六个致动器完成11个角度的自由动作，并能够举起超过20磅的物体，使用工具。

通过AI计算，该机器人可以将目标路径和相关的轨迹结合起来，生成最佳的计划，并且当外界存在意外的情况时，还能进行动作上的适应，实现在稳定性的基础上，实现机器人动作的自然性，是特斯拉视觉方案的室内体现。

目前Optimus的研发仍然处于初级阶段，还有很多需要优化的点。

【自动驾驶】

2021年，大概有2000用户使用特斯拉研发的FSD Beta软件，直至2022年9月，160，000用户使用了该款软件。

FSD Beta可以实现自动泊车、根据交通灯或交通标志行驶、在与其他车辆交汇处转弯等功能。

通过收集大量的数据，生成对应的图像，训练强大的神经网络模型

特斯拉的推理系统可以在两个独立的计算机上分配单个神经元网络的执行，这两个相互独立的计算机与自动驾驶系统相互连接。

轨迹评分系统包括碰撞预测、舒适度分析、干预可能性、拟人鉴别器四个方面。

特斯拉的自动驾驶系统利用全方位的3D技术，预测周围环境占用的可能性，识别车、人等、识别路上随机移动的物品，以10毫秒的速度运行。

基于图像处理，车辆可以识别移动物品与非移动物品，预测物品移动方向，并能够识别路面情况，在下坡路段降低速度行驶。

特斯拉建设了三台超级计算机，拥有14，000片GPU，其中10，000片用于训练系统及运行，4000片用于自动标签。

使用优化后的视频模型训练，提升了30%的训练速度，IOPS存储性能提升四倍。

FDS Lanes：目标通过神经网络系统产生全面的道路集和不同道路的连接点。该神经网络系统由视觉部分、地图部分、语言部分。视觉部分通过转换器将车辆上的8个摄像头的数据转换为视觉代表数据，传入下一个部分。在地图部分，通过已有的道路导航模型对数据进行处理，对传入数据进行强化，将传入得数据拓扑化。在语言部分，用这些复杂的数据集来预测道路情况以及相应的连通情况，并将这些信息编码为一种专属于特斯拉的语言。通过这一系统，可以将所有的操作简单的、完整的编译到训练引擎中。

FDS道路神经系统可以在9.6毫秒的延迟内处理达7500万参数，并能耗保持在8w左右。

FDS神经系统总共能够同时处理超过10亿的参数，超过15w的神经网络层和超过3750万的神经节点。总体算力达到了100TOPS。为了达到这些，需要对每个层面进行优化。

特斯拉的自动标注系统也变得效率更高，采集环境信息、重构可用于训练的3D模型、再在模型上让系统完成自动标注、再用少量的人工对于特殊标记进行校正的流程。在目前的特斯拉数据标注体系里已经跑通，而且效率相比之前有着巨幅提升。

数据引擎是指通过数据来提升神经网络性能的过程，使用数据引擎功能，车辆行动的准确率得到了快速的提升，从去年九月的88%左右提升到目前的99%以上

数据引擎的工作模式：在影子模式下，特斯拉汽车会在行驶过程中不断收集数据，并将车辆自身决策与驾驶者决策一致的情况定义为正确，否则定义为不准确，将这些数据与定义结果放入评估集中。将评估集中最有意义的数据进行标签后加入训练集，通过深度学习来训练线上及线下的模型，最后将更新的模型再更新到车辆配置中。

FSD Beta 可能在今年底开启全球推送。

【Dojo】

Dojo的出现主要为两个目的，其一是比市售云计算更便宜，其二是比市售云计算更强大。

Dojo从设计之初就考虑了硬件层面要为深度的神经网络训练做考虑，所以整个Dojo系统从芯片到机组再到机房的传输带宽都十分可观，并且特斯拉也将Occupancy网络应用于Dojo系统之中，实现了AI硬件与AI软件的更佳匹配，最后在降低延迟和性能损失上取得的效果十分惊人。

电压调节模块可以传输1000A电流，具有超高密度，利用多层垂直电源管理材料过渡。

特斯拉未来的目标是减少54%的CTE，提升3倍性能。提高密度是提升系统性能的核心和基石。

System Tray参数：75mm高度、54 PFLOPS（BF16/CFP8）、13.4 TB/S（对分带宽）、100+ KW Power

Standard Interface Processor参数：32GB（高带宽动态随机存取存储器）、900 TB/S（TTP带宽）、50 GB/S（以太网带宽）、32GB/S（第四代PCI带宽）

High Interface Processor参数：640GB（高带宽动态随机存取存储器）、1TB/S（以太网带宽）、18 TB/S（Aggregate Bandwidth To Tiles）

【Dojo系统建立目标：解决很难形成规模的约束模型】

单一的加速器到前向和后向通道，再到优化器，再到多个加速器上运行多个副本的流程；线性扩展的；更大激活度的模型想运行前向通道时会遇到适合单个加速器的批量大小往往小于批量规范面的问题；多个加速器上设置同步批量规范模式；通信瓶颈；模型并不是线性扩展的

高密度集成是为了加速模型的计算约束和延迟约束部分；Dojo网格的一个片断可以被分割出来运行模型（只要分片足够大）；统一的低延迟中的细粒度同步原语加速跨集成边界的并行性；Tensors是以RAM的形式存储Chardon，并在各层执行时及时复制；张量复制的另一个数据传输与计算重叠，编译器也可重新计算层。

稳定扩散模型：编译器以模型并行的方式映射；通信阶段从节点计算本地平均值和标准偏差开始；协调后继续并行；期望每个骰子上的350个节点协调是由平均值和标准偏差值

编译器的操作：从编译器中提取通信树；真实硬件的时间节点，中间辐射减少的值由硬件加速；这个操作在25个Dojo编译器上只需要5微秒，同样的操作在24个GPU上需要150微秒。这是对GPU的一个数量级的改进。

峰值内存使用：Dojo是为解决更大的复杂模型而建立的；当前两个GPU集群的使用模式，一个是自动标注网络（用于生成地面真相的离线模型）第二，占有率网络（高算术强度的大型模型）。

测试结果：多模系统上对GPU和Dojo进行的测量显示已经可以超越任何100个使用当前硬件运行的老一代PRMS的性能；A100的吞吐量翻了一番；关键的编译器优化达到M100的3倍以上的性能。

成果：一个Dojo瓦片取代6个GPU盒子上的ML计算机，而成本比一个GPU盒子还低。一个多月时间来训练的网络现在只需要不到一个星期

问题：计算量过大导致运行在主机上的数据加载器根本无法跟上ML硬件。

扩展传输协议；建立Dojo网络接口卡；添加了装有DINA卡的数据加载主机；通过以太网交换机重新连接网状结构。优化后占用率从4%上升到97%，实际上期望这个数字很快就能达到100%。

建立高算术强度自动标签网络：为单一巨型加速器服务；pytorch层完全达到了预期的速度；高性能的密集计算机期望只用4个Dojo就能提供同样的吞吐量；计划在2023年的第一季度建立。

成果展示：6块芯片密集集成；54 petaflops的计算；640千兆字节的高带宽内存；集群组件新版本并不断改进；下一代将实现10倍的改进

【Q&A】

1：为什么用肌腱的方法驱动机器人，我们都觉得采用肌腱驱动的方式可靠性较低？同时为什么用弹簧？

A：首先金属线缆做肌腱，可靠性还是很高的。同时肌腱方案能量消耗较低，我们可以在人手上找到用肌腱和弹簧类似的方案。我们用肌腱收缩，用弹簧舒张。

马斯克补充：因为我们要快速量产，所以不会等到所有问题都解决后。我们想把机器人部署在工厂，看看机器人有什么用。当然这是我们的第一版，后面一定会有2.0 、3.0 手部架构会升级。

2：机器人会有人格吗？会不会后面和我们讲笑话 ，成为我们的朋友 ？

A：当然，只要解决好核心人工智能和关键执行器的问题，人们可能会给机器人穿各种衣服，未来会很有趣。

3：想知道人和机器人之间是否会有干预措施，比如在人类不同意正在发生的事情时就行标记？

A：如果机器人做了坏事，我们会在远程监控机器人。

马斯克补充：我们希望我们的机器人变得比科幻片里更像人，随着AI 发展，我们可以模仿学习更像人类，它能够执行简单的指令，甚至可以执行您想要的操作。所以你可以给它一个高级指令，然后它可以把它分解成一系列动作并采取这些动作。

4：之前你说机器人会显著提升社会经济产出量级。最开始的时候你说特斯拉的使命是推动世界向可持续能源转型。对于机器人来说，依然是这个使命吗？特斯拉会不会把自己的使命改成“推动世界向无限生产力转型”？

A：机器人的出现当然进一步推动世界向可持续能源转型。另外我对于机器人几年以后能做的事情，我很激动；你们肯定也很想找到一个技术几年以后的发展。对我来说 ， 我也很感兴趣。

5：机器人后面会具备对话能力吗？机器人的终极目标是什么？

A：当然会有对话能力，机器人后面肯定会有一个很有意思的终局，也许最后和电影终结者类似吧。不过我们会很注意机器人的安全性，我们会有一个“停止按钮”。机器人里会有一个本地ROM，无法通过网络升级。这对安全性来说很重要。会很有意思，不会无聊。

6：Dojo项目的目标是什么？和亚马逊云一样出借算力吗？我看用7nm ，那么投入也很大 ？商业化怎么做？

A：Dojo 是一个大型计算机，和亚马逊一样是合理的，这是最高效的。这个世界正在和软件2.0 转型（软件2.0：用神经网络取代逻辑编程），后面一个软件会有很多神经网络。这需要Dojo。

7：机器人会理解我们的情感、艺术吗？机器人后续如何为我们的创造力服务？

A：如同DallE-2 ，机器人已经可以创造 艺术了。未来是很有趣的。

Ashok 补充：机器人可以创造物理艺术，比如跳舞。人工智能画画是数字艺术。

8：特斯拉自动驾驶的模型是受到自然语言处理模型的启发，想知道这方面的历史，为什么这样做，使用语言模型后提升了多少 ？

A：两个方面：第一个是我们之前用密集的网络训练道路，之前的模型搞不定稠密的数据。同时道路预测是一个多模型问题，有时候我们无法知道马路的另一边是什么，我们希望模型的预测是连贯的，语言模型可以提供。

9：FSD的神经网络怎么做单元测试的？

A：除了软件测试以外还有神经网络测试，对于一个神经网络，我们会把之前错误的历史数据都丢给他，看他是否会有更好的表现。同时，我们有影子模式，我们把神经网络静谧地推送给用户，用户也在协助我们做QA测试。在推给用户之前我们会做9轮测试，我们的基础设施保证环节高效。

10：提一个有关基础模型的问题，我们看到大模型现在都有比较好的表现，比如从GPT-3到PaLM，我们发现大模型都可以做推理了。你们觉得是否应该提高数据量和参数个数，这样的话可以得到一个可以解决所有问题的教师模型“Teacher Model” ，然后剪裁出一个学生模型，作为在大街上的基础模型？

A：我们的标注系统就是这样做的。我们云端标注模型是很大的，我们把一小部分部署在车端。关于基础模型，我们的数据集有好几PB， 模型在这样大的数据集上的表现是很好的。别人说我们用摄像头无法做感知，但你看我们用大数据做的多好。我们在这样的模型上做裁剪，最后出来的就是你们看到的。

11：最开始老马说特斯拉正在做通用人工智能（AGI），想知道公司如何保证安全性 ？

A：我觉得应该会有一个AI 法律机构，比如管理人形机器人、自动驾驶汽车等等。我们觉得应该有个裁判，就像我们在药物上做的一样。机器人到时候上街以后，将会通过摄像头搜集数据，这个数据集会是世界上最大的数据集。到时候公司借助数据集和训练模型，将会对通用人工智能（AGI）有较大的贡献。

12：Semi 卡车的感知和乘用车的感知有什么区别 ？

A： 人类开车就是两个眼睛+一个大脑，大脑反应还很慢。车用8个摄像头和高速计算器，肯定能做的更好。

13：机器人能否安装部署不同的软件和硬件？

A：我们的神经网络不支持，下个问题。

14：现在就在美国和加拿大有FSD，推广到其他国家的瓶颈是什么？我还注意到你们想把低速和高速场景融合到同一个神经网络中，现在的进展？

A：技术上年底就可以推广，但不同国家有法规要求。我们在等法规批准。技术上来说，年底就行。我们下个月就会在北美推新版，进步很大。之前Autopilot 和FSD 差别很大，但现在越来越像了， 几个月前，我们在Autopilot 和 FSD上用了同一个视觉栈。但在道路检测上，Autopilot 和FSD还是不一样的。FSD用更复杂的模型。

另一位同事补充：带泊车功能的FSD年底就能推出来，到时候停车场到停车场的自动驾驶就能实现。

马斯卡补充：每英里干预次数是很重要的指标，我们正在肉眼可见得提高。

15：问个各人问题，如果老马你回到20岁，想给20岁的自己说什么话，提供什么建议？

A：让他加入特斯拉，哈哈。多接触聪明人；多看书；压力不要太大，珍惜此刻，停下来闻闻路边玫瑰香也是很好的。我在做猎鹰火箭的时候，试验场在一个很美的沙滩边，我们没有在沙滩边喝过一次咖啡， 我应该喝一杯才对。

16：马斯克你现在做机器人的状态和10年前做自动驾驶的时候一样，但自动驾驶发展似乎比想象的更难。你有什么办法让机器人和AGI来得更快？

A：AGI发展很快，AI 现在赢了所有的基于规则的游戏，画画、写文章，都能完成。AI 人才也很多，AI的能力是线性增长的。特斯拉有很强的执行器研发能力，和四轮机器人相比，双足机器人只要把执行器作对，就能实现。

17：下一个超级工厂只有机器人吗？什么时候我们可以订购自己的机器人？

A：我们会在工厂里找一些简单的工作给机器人，比如装卸的工作。后面在扩展机器人的能力边界。至于什么时候可以买机器人？不知道，3年-5年吧。3-5 年后人们就能收到了。

18：机器人软件会开源吗？

A：小心人们用机器人干坏事。有些和安全有关的问题需要处理， 所以概率不大。

19：机器人的带宽有多大？

A：需要搞清楚你想让机器人做的事情，转换成比如 手臂抬多高这样的问题。之后才能回答带宽问题。

20：特斯拉那么伟大，是什么独一无二的东西促成的？

A：现在特斯拉很大，各方面专家也很多 。我们从电动车做到无人电动车。我觉得我的作用是给伟大的工程师提供环境，让我们发展。有些公司员工的能力是被压制的。在硅谷就有些公司，员工在公司是没有发展的。特斯拉不是这样的公司，员工加入特斯拉以后 所发挥的能力在其他公司是没有的。

21：公司如何平衡FSD发生碰撞的风险和驾驶表现 ？ 你们觉得FSD监管是否应该更加透明？

A：首先特斯拉车的被动安全是所有车里最强的。另外主动安全，我们公布 没有Autopilot的车、有Autopilot的车、有FSD的车的事故率，有FSD的车事故率最低。另外FSD可以避免事故发生，但被救下来的人是不知道自己被救的。所以我们要看总体的事故率。部署FSD 肯定比不部署更安全。

22：为什么机器人要做到左右平衡？人类有左右撇子，机器人也这样设计，其中一边不会更快损坏吗？另外人类有时候会有一些“神话“的想法，希望自己能有更长的手，可以轻易拿到更远地方的东西，特斯拉以后会做更像 神话故事里的机器人吗？

A：现在我们还是想尽快生产一个有用的机器人，来帮助人类。生产一个有用的机器人，是最难的，我们会衡量一个东西的效用，比如今天帮助了几个人，怎么帮助的，这回把我们拉回现实。对于一个企业来说，大规模量产一个大家喜欢的，有用的东西是异常困难的。展望未来，后面如果我们做一个8个手臂的机器人，或者开放一个接口给其他公司用。其他公司基于机器人做插件都有可能。