太極平臺高效支持MKLDNN動態shape推理

太極平臺確實高效支持MKLDNN動態shape推理。具體來說：

MKLDNN作為計算庫：太極機器學習平臺的TIMO方案采用MKLDNN作為計算庫，該庫是Intel專為X86CPU設計的高性能神經網絡計算庫，支持多種框架和CPU型號。

解決動態shape推理性能問題：針對MKLDNN在動態shape推理方面的性能不佳問題，TIMO進行了優化。通過擴展MKLDNN，優化適配OpenVINO，并開發了一套支持動態shape推理的kernel庫，實現了無需重新編譯即可進行即時推理。

動態shape推理框架：該框架在視覺計算場景中進行了優化，支持動態Batch和動態分辨率兩種動態shape場景。在線推理流程中，重點包括shape推斷、primitive descriptor更新、最優核函數選擇和primitive kernel重置等步驟。

動態shape kernel的實現：核心思想是使用寄存器替代立即數存儲形狀變化相關的算法參數，避免了重新編譯。實現方法包括使用寄存器裝載和遍歷整數。這一優化顯著減小了jit編譯時間開銷，同時保持了卷積推理執行的時間和精度不變。

業務驗證與性能提升：該方案已在多個業務場景中驗證，包括人臉識別和視頻相似度分析等，取得了良好的效果。特別是在人臉識別業務中，與Onnxruntime相比，實現了50%的性能提升。

人工智能平臺有哪些

阿里云、華為云、騰訊云、百度AI和谷歌AI是一些常見的人工智能平臺。

人工智能平臺是為機器學習開發人員、數據科學家和數據工程師提供便利的工具，使他們能夠快速、高效地將機器學習項目從構思到實際應用。這些平臺提供了豐富的功能和工具，使用戶能夠構建、訓練和部署自己的機器學習應用。