青云QingCloud?推出?Inference Engine?推理引擎（詳情：http://1t.click/bbbH）。青云QingCloud?推理引擎作為?DeepLearning?深度學習平臺的重要組成部分，將通過?AppCenter?交付，一鍵云端部署，為用戶提供一站式的模型部署與推理方案。此外，青云QingCloud?推理引擎還提供了應用全生命周期管理能力，包括創(chuàng)建、擴容、監(jiān)控、健康監(jiān)測等，助力開發(fā)者快速擁有生產(chǎn)環(huán)境?AI?推理引擎。

訓練和推理是機器/深度學習的兩個重要組成部分。AI?開發(fā)者通過各種深度學習框架，如?Tensorflow、PyTorch?等訓練好模型后，將模型部署到生產(chǎn)環(huán)境，管理模型版本并提供API用于推理。成熟的推理產(chǎn)品除了要支持多種推理框架、多種加速器（CPU/GPU）之外，還需要支持諸如推理?API (HTTP/GPRC)?負載均衡、模型上傳、模型存儲、模型部署、水平/垂直伸縮、推理引擎日志/推理?API?訪問日志查看等諸多功能。

作為成熟的推理產(chǎn)品，青云QingCloud?此次推出的?Inference Engine?推理引擎，除了完全具備上述功能，還具備以下優(yōu)勢：

主流推理框架：集成針對英特爾?CPU?優(yōu)化的?CPU?版?Tensorflow Serving，未來還將陸續(xù)支持?ONNX Runtime / OpenVINO?等主流推理框架，助力用戶快速部署機器/深度學習推理環(huán)境。

多種加速模式：支持使用?GPU?或僅使用?CPU?進行機器/深度學習推理，同時可根據(jù)自身需求選擇單節(jié)點或分布式部署模式；其中，CPU 版基于第二代英特爾至強可擴展處理器，采用了?Intel DeepLearning Boost VNNI?技術，AI?推理性能與上一代型號?CPU?相?提升高達?100%?。

多種存儲方式：?支持本地磁盤存儲、對象存儲以及兼容?S3?協(xié)議的?MinIO?私有對象存儲等多種存儲方式存儲模型。集成對象存儲命令行工具，通過配置對象存儲相關參數(shù)，可便捷地從對象存儲中獲取模型，完成推理。

多種部署方式：支持單模型服務節(jié)點+本地模型存儲、多模型服務節(jié)點+私有對象存儲模型庫?( MinIO?對象存儲?)、多模型服務節(jié)點+公有云對象存儲模型庫?( QingStor^??對象存儲或其他兼容?S3?協(xié)議的公有云對象存儲)?等多種部署方式。

青云QingCloud?運營副總裁林源表示，Inference Engine?推理引擎對于圖像/語音識別、圖像分類和實時翻譯領域的突破有著重要的意義，也是青云QingCloud 補齊 AI 服務能力、完善深度學習平臺的重要一環(huán)。未來，青云QingCloud 將持續(xù)推出更多 AI 相關服務，助力 AI 開發(fā)者更加便捷地開展工作，推動全面人工智能時代的加速到來。