Hailoのデバイスには、深層学習モデルのコンパイルおよび本番環境におけるAIアプリケーションの実装を可能にする包括的なAI Software Suiteが付属しています。このモデル構築環境は、一般的なMLフレームワークとシームレスに統合でき、既存の開発エコシステムにおいてスムーズかつ容易な導入を実現します。ランタイム環境は、Hailoのビジョンプロセッサをサポートし、x86やARMベースのホストプロセッサへの統合および展開を可能にします。これにより、HailoのAIアクセラレータを活用できます。
Model Zoo Vision, TensorFlowおよびONNXに対応した、一般的かつ最先端の事前学習済みモデルやタスクの多彩なライブラリ。
Model Zoo GenAI, CLIおよびREST API経由で利用可能な、事前学習済み生成モデルの厳選コレクション。
Dataflow Compiler,ユーザーのモデルをHailoデバイス向けにオフラインでコンパイルおよび最適化するためのツール。
Example Applications, Vision、GenAI、カメラアプリケーション向けに、パイプライン要素および事前学習済みAIタスクを実装した完全なアプリケーション例のセット。コミュニティやGitHubリポジトリでも追加のサンプルアプリケーションをご覧いただけます。
HailoRT, Dataflow Compilerでコンパイルされた深層学習モデルを使用し、ホストプロセッサ上でリアルタイム推論を実行する、プロダクション品質の軽量ランタイムソフトウェアパッケージ。Visionモデルおよび生成AIモデルの両方をサポートします
Hailoのデバイスには、既存の深層学習開発フレームワークとシームレスに統合し、既存の開発エコシステムへのスムーズかつ容易な導入を可能にする、包括的なDataflow Compilerが付属しています。
業界標準フレームワークからHailo実行形式へのモデル変換
最先端の量子化スキームを用いた内部表現へのモデル最適化
FPS、レイテンシ、消費電力などユーザー要件を満たすための自動リソース割り当て
専用の深層学習コンパイラによるHailoバイナリへのモデルコンパイル
Hailoターゲットデバイスへのバイナリ読み込みと推論実行
デバイスへの直接アクセスを可能にするスタンドアロン推論と、既存環境への容易な統合を実現するTensorflow統合型推論の両方をサポート
チップ動作をビット単位で正確にエミュレーションするエミュレータ
FPS、消費電力、レイテンシなど、チップ性能を推定するプロファイラ
HailoRTは、堅牢なライブラリと直感的なAPIを備えた、軽量かつスケーラブルなプロダクション品質のランタイムソフトウェアであり、最適なパフォーマンスを実現します。弊社AI SDKにより、開発者は本番環境向けAIアプリケーションの高速パイプラインを容易に構築でき、評価やプロトタイピングにも適しています。Hailo AI Vision Processor上、またはHailo AIアクセラレータを利用する場合はホストプロセッサ上で動作し、1つ以上のHailoデバイスを用いた高スループット推論を可能にします。HailoRTはオープンソースソフトウェアとしてHailo GitHubから入手可能です。
マルチホストアーキテクチャ対応：x86およびARMアーキテクチャをサポート
複数OS対応：Linux、Windows、Androidをサポート
柔軟なAIアプリケーション向けインターフェース：C/C++およびPython APIに対応
デバイスおよびパイプラインとの容易な統合：
GStreamer、ONNX Runtime、Ollamaなどの標準フレームワークをサポート
マルチストリーム処理：複数の動画ストリームを同時処理可能
最大16台のHailo AIアクセラレータデバイスによる高スループット推論をサポート
双方向制御およびデータ通信：Hailo NNコアとのシームレスなインターフェース制御
Hailo AIアクセラレータとのハードウェア統合検証プロセスのためのツール
Hailoデバイスの制御、デバイス上での推論実行、推論統計やデバイスイベントの収集を行うコマンドラインアプリケーション。
ユーザースペースで動作し、堅牢なC/C++ APIを通じて、Hailoデバイスの制御やデータ転送を実現
Hailoは幅広いAIワークロードの開発を加速するため、2つの専用Model Zooリポジトリを提供しています。
事前学習済みの深層学習モデルを提供し、さまざまなコンピュータビジョンタスクに対応。Hailoデバイス上での迅速なプロトタイピングを可能にします。付属のGitHub repositoryでは、一般的にサポートされているモデルやアーキテクチャを用いて、Hailoの公開ベンチマーク性能を容易に再現できます。
Hailo Model Zoo GenAIには、LLM、VLM、ASR、Stable Diffusionなどを含む、厳選された事前コンパイル済み生成モデルのコレクションが収録されています。これらのモデルはCLIおよびREST APIの両方からアクセス可能で、OpenAIおよびOllamaと完全互換性を持ち、GenAIワークフローへの迅速な統合に最適です。
TensorFlowやONNXに対応した、多様かつ最新の事前学習済みモデルとタスクを提供
モデルの詳細情報（フル精度精度と量子化モデル精度の比較など）を提供
各モデルごとにコンパイル済みのバイナリHEFファイルを提供し、HailoRTやサンプルアプリケーションで読み込み可能
幅広いAIアプリケーションに対応するため、Hailoは2種類の専用Model Explorerツールを提供しています。1つはコンピュータビジョンモデル向け、もう1つはGenAIモデル向けであり、いずれも開発者が最適な判断を下し、導入を加速できるよう設計されています。
Model ExplorerはHailo Model Zooの深層学習モデルを閲覧・フィルタ・評価可能です。インタラクティブなインターフェースを備え、Hailoデバイスタイプ、タスク、モデル名、FPS、精度などでフィルタ可能。リアルタイム推論ワークロードに最適なモデルを選択できます。
各モデルは事前学習済みで、Hailoツールチェーンとアプリケーションスイートと互換性のあるHEFファイル付きます。モデルはTensorFlowおよびONNX形式で提供され、再トレーニング・コンパイル・デプロイ可能です。
モデル選択は、推論速度、精度、モデルサイズ、ハードウェア互換性などの複数要因を考慮します。静的属性（FLOPSやパラメータ数）だけでは推論速度を正確に予測できないため、Vision Model ExplorerはHailoのハードウェアベンチマークを利用し、性能に基づく意思決定をサポートします。
Model Explorer GenAIでは、製品別およびタスクタイプ別に事前コンパイル済みのGenAIモデルを閲覧することができます。対応するすべてのモデルはHailo Model Zoo GenAIに一覧化されており、実行に必要なCLIツール、REST API、およびOpenAIやOllamaと互換性のある統合サポートが含まれています。
各モデルは事前学習済みで、Hailoツールチェーンとアプリケーションスイートと互換性のあるHEFファイル付きます。モデルはTensorFlowおよびONNX形式で提供されており、再学習、コンパイル、そしてHailoデバイス上での迅速なプロトタイピング向けにデプロイすることが可能です。
モデル選択は、推論速度、精度、モデルサイズ、ハードウェア互換性などの複数要因を考慮します。静的属性（FLOPSやパラメータ数）だけでは推論速度を正確に予測できないため、Vision Model ExplorerはHailoのハードウェアベンチマークを利用し、性能に基づく意思決定をサポートします。
Hailoは、エッジAIアプリケーションの開発と展開を簡素化するための一連のリファレンスアプリケーション例を提供します。これらの例は、GStreamerと事前学習済みAIモデルを活用して、リアルタイムパイプラインを構築する方法を示し、HailoのAIアクセラレータを利用する開発者に実践的な出発点を提供します。Hailoデバイスの高スループットと高い電力効率を強調するために設計され、Hailoランタイムおよびシステムアーキテクチャとの統合におけるベストプラクティスを示します。これらはカスタマイズや拡張が可能なテンプレートとして提供され、特定のユースケースに合わせられるため、開発時間の短縮と市場投入までの時間短縮に貢献します。
画像内のオブジェクトを検出して分類することは、オブジェクト検出として知られるコンピューター ビジョンにおける重要なタスクです。物体検出用の一般的なデータセットである COCO データセットで練習された深層学習モデルは、効率と精度の間にさまざまなトレードオフをもたらします。たとえば、Hailo-8 で推論を実行すると、YOLOv5m モデルは 218 FPS と 42.46mAP の精度を達成し、SSD-MobileNet-v1 モデルは 1055 FPS と 23.17mAP の精度を達成します。例えば、Hailo-8上で推論を実行した場合、YOLOv5mモデルは218 FPSと42.46mAPの精度を達成し、SSD-MobileNet-v1モデルは1055 FPSと23.17mAPの精度を達成した。COCO データセットには、屋内と屋外の両方のシーンを含む、一般的な使用シナリオ向けのオブジェクトの 80 の固有クラスが含まれています。
ナンバー プレート認識 (LPR) パイプラインは、自動ナンバー プレート認識 (ANPR) とも呼ばれ、高度道路交通システム (ITS) 市場で一般的に使用されています。このサンプル アプリケーションは、複雑なパイプライン内の 3 つの異なるネットワーク間での自動モデル切り替えを示します。車両検出用の YOLOv5m モデル、ナンバー プレート検出用の YOLOv4-tiny モデル、およびテキスト抽出用の lprnet モデルを並行して実行します。
詳細については、こちらをご覧くださいナンバープレート認識のブログ投稿
マルチストリーム物体検出は、スマートシティの交通管理や高度道路交通システム (ITS) などの複雑なアプリケーションを含む、さまざまな業界のさまざまなアプリケーションで利用されています。独自の物体検出ネットワークを使用することも、すべて COCO データセットで練習された YOLOv5m などの事前構築モデルに依存することもできます。特に、これらのモデルは、Hailo-8 の高スループットを利用して高解像度画像 (FHD、4K) を小さなタイルに分割して処理するタイリングなどの独自の機能を提供します。高解像度の画像を処理することは、混雑した場所や小さな物体が多く存在する公共安全アプリケーション、例えば小売業やスマートシティの群衆分析など、他のユースケースの中でも特に有用です。
さまざまなストリームにわたる複数人の再識別は、セキュリティおよび小売アプリケーションにとって不可欠です。これには、特定の場所で長期間にわたって、または複数の場所の間の経路に沿って、特定の人物を複数回識別することが含まれます。このサンプル アプリケーションでは、Hailo のデータセットで練習された YOLOv5s と repvgg_a0_person_reid の両方の深層学習モデルの、推論ベースの意思決定を伴う複雑なパイプラインでの NN モデルの切り替えを示します。これは、モデル切り替え用の自動ツールであるモデル スケジューラを使用して実現され、実行時に複数のモデルを同時に処理できるようになります。
セマンティック セグメンテーションの目的は、入力画像内の各ピクセルに特定のクラスを割り当て、異なるカテゴリを形成するピクセルの集合を認識することです。この技術は一般的にADAS アプリケーションに使用され、車両が道路、歩道、他の車両、歩行者がどこにあるかを判断できるようにします。また、産業オートメーションにおける光学検査アプリケーションを通じて品質管理における欠陥の検出を強化し、医療用画像カメラや小売用カメラなどでの詳細検出の精度を高めます。この特定の設定では、パイプラインは Cityscapes データセットに依存しています。このデータセットには、車両の前面カメラの視点からキャプチャされた画像が含まれており、19 の異なるクラスが含まれています。事前構成された TAPPAS セマンティック セグメンテーション パイプラインは、FCN8-ResNet-v1-18 ネットワークを使用しながら FHD 入力ビデオ ストリーム (1080p) を処理するために必要な堅牢な計算能力を示します。
単一の画像からの深度推定は、2D 画像から深度または距離情報を推定し、それを 3D マッピングに変換する機能によって実現されます。これにより、車載カメラが物体までの距離をより正確に把握できるようになり、産業用検査カメラが欠陥検出や品質管理などのタスクに役立ち、より詳細な空間情報を証明することでセキュリティカメラの人物検出の精度を向上させることができます。
この例では、NYUv2 データセットで練習練習された fast_ Depth 深層学習モデルを使用しており、入力フレームの同じ形状で距離行列 (ピクセルごとに異なる深さ) を予測します。
インスタンス セグメンテーション タスクは、オブジェクト検出 (オブジェクトの識別と分類を含む) とセマンティック セグメンテーション (特定のクラスを個々のピクセルに割り当てる) の機能を統合して、特定のシーン内のオブジェクトごとに個別のマスクを生成するプロセスです。このタスクは、境界ボックスの位置特定の精度が不足している場合や、アプリケーションでオブジェクト間のピクセルレベルの区別が必要な場合に特に重要になります。このアプリケーションは、yolov5seg または YOLACT アーキテクチャを利用しており、COCO データセットを使用したこれらのモデルの練習が必要です。
姿勢推定は、画像またはビデオ内の人体の姿勢を検出して追跡するコンピューター・ビジョン・テクノロジです。家庭や工場現場での緊急事態の認識から、より良いビジネス成果を得るために顧客の行動を分析することまで。これには、頭、肩、腕、脚、胴体などの人体のさまざまな部分の位置を特定し、3D 空間内での位置と方向を推定することが含まれます。このパイプラインには、COCO データセットで事前練習されたセンターポーズ モデルの組み合わせが含まれています。
顔検出は、顔の特定のオブジェクトに対してオブジェクト検出ネットワークを利用する一般的なタスクです。顔検出ネットワークは WIDER データセットを使用して練習され、その出力はフレーム内のすべての顔のボックス予測です。このアプリケーションでは、検出器によって生成された関心領域 (ROI) をトリミングし、2 番目のネットワークにフィードして、予測された顔ごとに顔のランドマークを予測する方法を示します。顔のランドマークは、顔の向きや構造などを分析する上で重要な特徴です。
大きな入力解像度を処理するためにHailoデバイスの処理能力を強化するために、入力フレームを複数のタイルに分割し、各タイルに対して個別にオブジェクト検出を実行することができます。たとえば、4K 入力フレームで 10×10 ピクセルを占めるオブジェクトについて考えてみましょう。このオブジェクトには、YOLOv5m などの 640×640 検出器の情報が 1 ピクセルしか含まれていないため、検出することはほぼ不可能です。この課題に対処するために、タイルを使用して入力フレームを小さなパッチに分割し、サイズ変更による情報を犠牲にすることなく各タイル内のオブジェクトを検出します。タイルは青い四角形で識別され、VisDrone データセットで練習された事前学習 済み SSD-MobileNet-v1 モデルを利用します。
