恩智浦發表微控制器為基礎的 Glow 神經網路編譯器

NXP 恩智浦半導體發 eIQ機器學習(ML)軟體對 Glow 神經網路(Neural Network;NN)編譯器的支援功能,針對恩智浦的 i.MX RT 跨界微控制器,帶來首款能夠實現佔用較低記憶體並提供更高效能的神經網路編譯器應用。

Glow 編譯器由 Facebook 開發,具有整合特定目標的最佳化,恩智浦利用這種能力,使用適用於 Arm Cortex-M 核心和 Cadence Tensilica HiFi 4 DSP 的神經網路運算元庫(NN operator libraries),最大程度地提升 i.MX RT685 以及 i.MX RT1050 和 RT1060 的推論效能。此外,此功能已整合至恩智浦的eIQ機器學習軟體開發環境中,於恩智浦的 MCUXpresso 軟體開發套件(Software Development Kit;SDK)中免費提供。

運用 Glow 發揮微控制器架構特性的優勢

2018 年 5 月率先開發 PyTorch 的 Facebook 導 入Glow (Graph Lowering 神經網路編譯器),作為開源社區(open source community)專案,目的是藉由最佳化提高一系列硬體平台上的神經網路效能。作為神經網路編譯器,Glow 能在尚未最佳化的神經網路的基礎上,生成高度最佳化的代碼。

這項特點有別於典型的神經網路模型處理(neural network model processing),後者採用即時編譯,因此需要更高的效能,並增加記憶體消耗。而 Glow 這樣直接運作最佳化的代碼可以顯著降低處理與記憶體要求。

最佳化機器學習框架增強競爭

未來幾年內,對機器學習應用的需求預期將大幅增加。消費型裝置製造商和嵌入式物聯網開發人員將需要將機器學習框架最佳化,進而實現使用微控制器的低功耗邊緣嵌入式應用。

恩智浦針對機器學習的邊緣智慧環境解決方案是一個全面的工具包(toolkit),提供開發人員需要的建構模組,幫助他們高效地在邊緣裝置中實現機器學習。Glow 整合到 eIQ 軟體後,機器學習開發人員將擁有全面的高效能框架,可在包含 i.MX RT 跨界微控制器和 i.MX 8 應用處理器在內的恩智浦邊緣處理解決方案上進行擴展。客戶擁有更強大的工具,能夠在 i.MX RT 微控制器和 i.MX 應用處理器上開發機器學習語音應用、物體辨識、臉部辨識等應用。

藉由實施恩智浦的 Glow 神經網路來提高效能

eIQ 現在具有針對 Glow和TensorFlow Lite 的推論支援,對此,恩智浦會定期執行基準測試以衡量其效能。微控制器基準測試包含標準神經網路模型,例如CIFAR-10。以 CIFAR-10 模型為例,恩智浦採集的基準測試資料展現了如何運用 i.MX RT1060 裝置(採用 600MHz Arm Cortex-M7)、i.MX RT1170 裝置(採用 1GHz Arm Cortex-M7)和 i.MX RT685 裝置(採用 600 MHz Cadence Tensilica HiFi 4 DSP)的效能。

恩智浦對 Glow 的支援與 Cadence為Tensilica HiFi 4 DSP 提供的神經網路庫(Neural Network Library;NNLib)緊密相結合,DSP 提供 4.8GMAC 效能。以 CIFAR-10 為例,恩智浦的 Glow 藉由使用此 DSP 來加快神經網路運算,實現 25 倍的效能提升。

延伸閱讀:

AMD 發表內建 Radeon 顯示核心的 Ryzen 4000 系列桌上型處理器

Intel 發表 Thunderbolt 4 ,相容 USB4 規格

NVIDIA DGX A100 採用 AMD 第 2 代 EPYC 處理器,打造 AI 系統

NXP 恩智浦新一代高效能汽車平台採用 TSMC 台積電 5 奈米製程

Intel 英特爾推出「Lakefield」混合處理器,讓主機板縮小 47% !

圖片及資料來源:NXP


大家對網站文章上的一個讚、+1及轉分享,都是對我們的最好的鼓勵及繼續下去的原動力,請大家不要吝嗇。