开放式Model Zoo如何促进边缘AI系统开发

振奋人心的新型专用处理架构的出现推动了边缘AI系统的发展，这些架构使我们能够在边缘做更多事情。边缘AI产品的一个不可分割的重要部分是支持硬件的专用软件。当然，每个新芯片都有自己的软件栈和开发环境，但对开发者的支持程度有差异

为了真正支持开发者，AI软件不仅需要稳健，还需要赋予开发者灵活性，通过一系列开发者工具加快产品上市时间。开放式人工智能Model Zoo对开发者来说是一个很好的资源，也是这个包络的关键部分。

什么是Model Zoo？

Model Zoo是一个存储库，其中包含广泛的预训练、预编译深度学习NN模型和任务，以TensorFlow和ONNX格式提供。其目标是通过为每个预训练模型提供二进制HEF文件，并支持Hailo工具链和应用套件，为开发者提供快速功能。

为了使开发者能够尽可能轻松地使用Hailo AI处理器，我们构建了自己的开放式Hailo Model Zoo，其中包括：

• 预训练模型 – 一个大型选择集，展示了Hailo-AI处理器的多功能性和高人工智能性能。
• 预配置构建流 – 经过验证和优化的流程，将每个网络从ONNX/TensorFlow模型转化为可部署的二进制模型，并纳入模型评估和性能分析。

为了实现简单的评估，我们在Model Zoo中包含了从开源存储库中获取的热门模型，这些模型未经修改，并在公开可用的数据集上进行了训练。此外还添加了到模型源链接，让用户可以调整模型，例如通过在他们自己的自定义数据集上进行训练。

此外，为了帮助用户为他们的AI应用选择最佳的神经网络模型，Hailo Model Explorer可以帮助用户做出更明智的决策，确保Hailo平台的最大效率。Model Explorer提供一个交互式界面，其中包含基于Hailo设备、任务、模型、FPS和准确性的过滤器，让用户可以从Hailo的庞大库中探索大量神经网络模型。

如何运行

Model Zoo采用Hailo数据流编译器，实现从预训练模型（ckpt/ONNX）到可以在Hailo-8上执行的最终Hailo可执行格式（HEF）的完整流程。为此，Hailo Model Zoo为用户提供以下功能：

• 解析：将Tensorflow/ONNX模型转换为Hailo的内部表示，其中包括模型的网络拓扑和原始权重。这个阶段的输出是一个HailoArchive文件（HAR）。
  
• 概要: 一份报告，其中包含预期模型在Hailo-8上的性能，包括FPS、延迟、功耗和HTML格式的各层完整分解。
• 量化：通过将其从全精度转换为有限整数位精度（4/8/16）来优化运行时模型，同时最小化精度退化。这个阶段包括几个算法，通过保证量化模型的准确性来优化性能。此阶段的输出是包含量化权重的Hailo Archive文件。
• 评估：在常用数据集（如ImageNet、COCO）上评估模型的准确性。使用我们的数值仿真器或Hailo-8可以对全精度模型和量化模型进行评估
• 编译：编译量化模型，生成可部署在Hailo-8芯片上的Hailo可执行格式（HEF）文件。

Hailo Model Zoo的最后阶段生成用于最终应用的HEF文件。举例来说，这是ADAS应用YOLOv3对象检测网络的HEF文件或智能家居相机解决方案CenterPose（姿态估计）网络的HEF文件生成的地方。

选择了我们存储库中的模型，以涵盖各种各样的通用架构和任务。它热门的先进架构，如YOLOv3、YOLOv4、CenterPose、CenterNet、ResNet-50等，其中许多已经是我们的AI基准的一部分。为了实现轻松的基准测试，每个预训练模型都有自己的预处理/后处理功能和数据集采集流程，以使评估可行。我们将所有这些功能打包到一个易于使用的包中，因此它可以简单快速地复制，并且可以在广泛的网络中测量性能。借助Hailo-8 AI处理器强大的AI加速功能，用户可以利用Model Zoo在边缘设备中为这些热门模型提供卓越的性能。

这与TAPPAS有什么关系

用户可以将AI Model Zoo中的加速模型集成到自己的应用中。将Hailo Model Zoo与我们的TAPPAS高性能应用工具包结合，边缘AI开发人员可以在短时间内构建和部署有意义的应用。事实上，TAPPAS中的所有应用都建立在Model Zoo网络之上

以一个常见的用例为例，姿态估计可以获得有关购物者行为和愿望的有意义洞察，用于智慧零售智能视频分析（IVA）。开发这种应用的用户可能会发现基于预训练的姿态估计模型（如我们的model-zoo中的CenterPose_RegNetX_1.6GF）来开发很有用。基于Hailo TAPPAS，模型可以轻松集成到您的应用中。

另一个有趣的用例是智慧城市应用的智能交通监控。您可以使用现有的预编译模型SSD_MobileNet_v1 VisDrone立即启动并运行应用。事实上，Hailo的一个小型工程师团队在Hailo首次黑客马拉松中24小时就做到了！

Hailo Model Zoo为边缘人工智能开发者提供一个综合环境，以生成他们的下一个深度学习应用，为各种有用的神经任务提供开箱即用的预训练模型和应用解决方案。展望未来，我们将不断添加新的先进模型，涵盖新的任务和元架构，改进我们的预配置构建流和优化流程，以帮助开发者构建卓越的边缘AI应用，充分利用Hailo-8 AI处理器的行业领先功能。

如需了解更多信息，请查看我们的 或访问Hailo Model Zoo Github

---