积累算力没有意义——丰田量产L4系统软硬件分析

大家都想了解一些关于积累算力没有意义——丰田量产L4系统软硬件分析和一些丰田简介论文相关话题，接下来就让小编带你走进积累算力没有意义——丰田量产L4系统软硬件分析的案吧。

作者周彦武

2021年4月6日，丰田在SAE上公布了搭载自动驾驶技术的TeammateAdvancedDrive系统，并详细介绍了TeammateAdvancedDrive系统。2021年4月12日，丰田将搭载TAD系统的丰田新款Mirai和雷克萨斯新款LS500h投放到日本市场。前者起售价为860万日元，后者起售价为1794万日元。使用TAD系统仅增加66万日元的硬件成本。展望未来，这应该成为所有丰田汽车的一个选项。

TAD是一个彻底的L4系统，但丰田谦虚地称其为L2系统。该系统具有两个完全独立且不同的自动驾驶系统，特别是在执行器方面。丰田利用自身的供应链优势进行运营。两个需要对底盘进行深度改造的系统只能由传统汽车制造商来完成，而科技公司或新兴汽车制造商则无法完成。关键是丰田单凭这一点就超越了Waymo，Waymo只能采购捷豹路虎的I-PACE或者GrandCaravan混合动力版本，在底盘领域无能为力，而且I-PACE是麦格纳代工的。对于捷豹路虎来说，移动底盘并不容易。

上图为丰田TAD系统的框架图。蓝框部分是新增部件，红框部分是Mirai和雷克萨斯LS500h标配的ADAS部件。

我们来看看传感器的具体参数。

长焦相机传感器应该是索尼的IMX490。IMX490具有出色的性能。根据EMVA标准，动态范围可达140分贝。是目前动态范围最宽的相机。它还达到了ASIL-D功能安全性。同类产品中首款实现ASIL-D并消除LED闪烁的相机。AD10位精度为每秒40帧，12位为每秒30帧，像素分辨率为28961876，有效像素为28801860（540万像素）。标准立体双目相机目前尚未详细公开，由丰田子公司电装提供，实际上由日本电装和理光提供。立体双目摄像系统需要超高的尺寸稳定性，德国的奔驰和大陆集团使用了昂贵的青铜铸件。还存在在线校准题，这对使用双筒望远镜构成了障碍。而且立体双目视觉主要基于传统的几何算法，很少采用黑盒深度学习，这种人才非常稀缺。Denso第一篇关于自动驾驶立体双筒望远镜的研究论文于2001年发表。

丰田的立体双目摄像头可能有130万像素，基线长度估计为22至25厘米，与奔驰相似，比斯巴鲁的30厘米短。NVIDIA的Xavier和Renesas的V3H都具有双筒望远镜的硬核处理电路，可以提供视差图和光流图。雷克萨斯LS系列标配立体双筒望远镜，奔驰、斯巴鲁、、铃木、捷豹路虎、Rivian、本田L3均采用立体双筒望远镜。

丰田LiDAR与奥迪A8中使用的法雷奥Scala非常相似，有效范围稍长，这可能是为了降低成本，包括计算系统成本。丰田激光雷达的分辨率非常低，为513。必须是3线车手。另外两个摄像头的刷新率也比较低，一般为30Hz，显然丰田计算系统的计算性能不高。四个丰田ECU的总计算能力为1074KCPU能力，GPU或INT8为359TOPS。

此前我们预计丰田会采用瑞萨的V3U，但现在看来不可能了，单个V3U的CPU运算能力为96K，INT8为60TOPS。而且，丰田曾公开宣称采用Nvidia的Xavier，但8核版本的XavierCPU的平均计算性能约为94K，而其他三个ECU的计算性能仅为13K，显然太低了。因此，必须使用6核版本的XavierNX。6核版本的XavierNX分为10瓦和15瓦两个版本，其中15瓦的可能性更大。15瓦CPU的平均计算能力为49K，最大算力为49K。算力为49K，最小为70k，INT8为21TOPS。

假设四个ECU的SoC芯片将与上表相同，但这只是测。

丰田TAD车架图，照片

从图片中不难看出，它是两个独立的系统和一个主系统，传感器主要是立体双筒望远镜、毫米波雷达和360度环视。另一个备用系统，传感器主要是激光雷达、长焦摄像头和定位摄像头。ADS必须有一个以太网交换机来连接两组传感器并连接到ADX。ADS是核心，具有双电源。

丰田TAD定位流程图，照片

首先，利用GPS进行道路层面定位，利用定位摄像头检测车道标线和车道类型，利用毫米波雷达和激光雷达检测周围车辆，利用高精度地图和周围车辆确定车辆位置。为了持续修正车道级定位IMU预测的横向位置，利用远焦摄像头检测道路曲率半径和路标来修正IMU预测的垂直位置。

如果没有车道标线怎么办？那就利用周围车辆进行冗余定位。次优参数的冗余估计。日本的车道级地图目前长31,361公里。

识别部分，我们先来看LiDAR。激光雷达具有三大功能首先，它确定位置，其次，它检测前方车辆与您的车辆之间的距离，最后，它检查车辆是否已进入前车道。所以丰田的LiDAR只有3条线。

它通过计算前车的接近角位置和速度来判断前车是否会进入车道。在这里，丰田没有提到任何车道检测摄像头，所以我们测丰田的激光雷达也可以检测车道。可以通过车道材质反射的激光强度差异来检测车道，但由于国内车道材质不均匀，有时反射强，有时反射弱，所以这可能无法实现。它可以检测京藏高速公路的车道，但不能检测沪蓉高速公路的车道。

丰田TAD系统视觉流水线，视觉分为三个部分第一个是立体双筒望远镜，它使用视差图来提取路面的语义分割。第二步是通过光流预测车辆的运动轨迹，最后利用DNN进行目标识别和跟踪。关键是路面语义分割。

RoadSurfaceFreespaceSegmentation，路面语义分割，实际上是路面3D重建，也称为路面3D表示。事实上，它是自动驾驶中常用的自由空间方法。除了次优感知之外，这里没有视觉感知聚类。其主要功能包括分离路面、移动物体并固定它们。这通常是使用基于概率的占用网格和动态规划算法来实现的。激光雷达也可以做到这一点，但您需要至少64线的激光雷达，最好是128线，才能获得良好的效果。但即使是256线激光雷达也无法与1.3兆像素双筒望远镜的密集像素相媲美。单筒理论上可以利用深度学习来实现，但是相对双筒来说，精度很低，鲁棒性很差，消耗计算资源巨大，而且价格昂贵，NVIDIA有专门的教程，只能使用单筒。目前正在尝试。实验室研究还远未成熟。SFM也可以与多个相机一起使用，但它的精度非常低，鲁棒性非常低，并且消耗巨大的计算资源。

利用立体双目视差图和高度分割，可以获取道路、天空、道路中的目标，并利用光流方法区分移动车辆和静止目标。

上图是奔驰的路面自由空间分割流程图。为了减少计算量，奔驰提出了Stixel概念。Stixel算法将地面上的物体抽象成棍子。这根棍子把图片分开了。自由空间和障碍物。Stixel是一个细长的矩形，其固定宽度为3px、5px，高度等于障碍物。本质上，Stixel是像素和物体之间的超像素抽象，在性能和算法复杂度方面比两者具有明显的优势。

由于立体双筒望远镜具有3D深度信息，因此光流法更适合立体双筒望远镜，尤其是目标跟踪。当人眼观察运动的物体时，物体的景物在人眼的视网膜上形成一系列连续变化的图像。这一系列不断变化的信息就像一道光的“流”一样不断地“流”过视网膜。所以我们称之为光流。光流表达了图像的变化，可以被观察者用来判断物体的运动，因为它包含了物体运动的信息。虽然丰田只是用光流来预测自己的姿态，但实际上它是与IMU配合进行V-SLAM的。

上图是奔驰的光流方法，奔驰使用Stixel来减少计算量，光流跟踪也被运用在量产车上。照片中的箭头是骑车人05秒后的移动位置，右侧是05秒后的场景，可以与预期位置进行对比。蓝色表示静态目标。它可以跟踪和预测位置并提供目标速度。

梅赛德斯-奔驰推荐了四种光流算法SparseKLT、PatchKLT、Census和DenseTV-L1。KLT和卡尔曼滤波器配合得很好，密集TV-L1的精度比较高。左侧显示了颜色编码的示意图，其中包括方位角和速度，这对于估计移动目标的位置非常有用。

事实上，大众和福特也是立体双筒望远镜的粉丝，上图是福特和大众合资公司ArgoAI的自动驾驶原型车。

丰田的传感器融合是在同一系统下将简单的坐标变换转化为简单的融合，而不是像另一种确定车道的方法那样融合。复杂的传感器不仅价格昂贵，而且出错的可能性很高。最好的例子就是Uber撞死人的事件。激光雷达和毫米波雷达都检测到推车的行人，但融合后信心增加。液位太低，车辆没有采取任何行动。降低你的速度。因此，复杂的传感器融合只能停留在论文阶段。

丰田TAD系统的决策控制框架要简单得多，因为它专用于自动高速公路驾驶。简单来说，分为三个部分车道选择、超车选择、变道选择。其中，超车选择主要根据本车车速、前车车速以及相邻车道车辆状况来决定。过了很长一段时间后，选择超车，回到自己的车道，然后降低车速。说起来简单，但实践中很有必要。根据长时间积累的数据，判断什么速度低，超车时应设定什么速度，回到车道中心时应减速多少。丰田已经积累了50多年的数据，例如丰田建议的AEB识别的TTC时间是24秒。该科技公司和特斯拉收集图像聚类数据进行深度学习，这与驾驶员行为数据完全不同。科技公司和新兴汽车制造商与传统的欧美驾驶员行为数据不同。汽车企业之间至少有20年的差距。变道时，还必须考虑驾驶员的注意力；如果驾驶员不注意，则不会发生变道。

丰田TAD系统的驾驶员状态监测系统在自动驾驶过程中，当驾驶员的视线落在相应的红十字点上时，就会发出警告。丰田声称这是经过54万公里失败运行测试后获得的解决方案。即使未开启自动驾驶，系统也会通过头位、嘴位、视线方向、眼追踪等方式监控驾驶员的状态，如果驾驶员继续聊天或低下视线，则判定驾驶员分心。HUD显示下图，搜索最近的服务区域，并提供语音指导。

如果检测到驾驶员分心而无法控制车辆，丰田提出了紧急驾驶停止系统EDSS，这是一个全面的L4设计。

丰田的EDSS系统指出，如果车辆出现题且无法进行手动接管，EDSS就会激活，车辆会自动打开双闪光灯，并降低大约每个2TR和3RZ发动机的速度。发动机之间存在明显差异。其中2TR为大排量4缸发动机，3RZ为小排量4缸发动机。2TR提供更高的性能和更好的燃油经济性，而3RZ更耐用并具有更好的低速动力。此外，2TR具有环保排放，使其更适合使用在大型越野车上，而3RZ则更适合使用在较小的车型上。如果您想了解有关这两款发动机的更多详细信息，请参阅与发动机设计相关的技术杂志或专业论文。