上海2018年12月14日電 /美通社/ -- 近年來，深度學習作為AI領域較受歡迎的技能之一，在圖像、語音識別等眾多領域都有著重大的技術飛躍，越來越多的公司在大力開發基于深度學習的能力。深度學習始于研究人腦神經元，其涉及如概率論、統計學等多個學科，目的是使機器有能力自主“學習”，輔助人們檢測、決策，便利人們的生活，隨著深度學習的不斷發展，也在不斷拓展整個AI的應用。深度學習技術在當前行業智能化轉型的過程中能夠發揮的作用已經不言而喻，因此，選擇一款真正便于應用的高度集成化深度學習平臺就成了決策者們需要考慮的問題。
近日，七牛云聯合Gartner最新發布了一份《深度學習平臺完全實踐指南》（A Complete Practical Guide of Deep Learning Platform）白皮書，該白皮書從多角度闡述了用戶如何選擇最能滿足業務需求場景的深度學習平臺，并展示深度學習技術在今后行業應用中體現的巨大價值，本文則是結合Gartner白皮書進行了編譯解讀。
深度學習平臺解讀：十項綜合評價標準需參考
為了更好地滿足業務場景并持續提高研發能力，國內外技術實力雄厚的公司都紛紛發力自研深度學習平臺。如 Google Cloud Platform、AWS Machine Learning、騰訊DI-X、阿里云PAI、七牛云AVA等。各大深度學習平臺都擁有著自身獨到的優勢，然而對于想要將深度學習技術與業務場景充分結合的使用者來說，有些標準是在搭建、選擇平臺時需必須遵循的。
在本篇報告中，則詳細介紹了選擇深度學習平臺需要參考的十項綜合評價標準，主要包括：
1、支持數據預處理；
2、性能指標可視化；
3、支持全部主流框架，如MXNET、TENSORFLOW、PYTORCH、CAFFE等；
4、訓練參數交換延遲低；
5、具有強可擴展性；
6、用戶友好度高；
7、私有化部署時間短；
8、存儲與計算分離；
9、調參及迭代優化；
10、安全性
為了適應用戶不停變化的需求，深度學習平臺則需要不斷自我演進，并適配不同的框架和算法，這使得搭建使用深度學習平臺的過程遇到諸多挑戰，但在當下大規模的深度訓練平臺傾向于數據存儲和計算獨立擴展，并通過訓練過程的優化，滿足各種各樣的挑戰。
在本篇報告中，則明確指出了應對方案，如：基于云存儲搭建深度訓練平臺，存儲系統具有良好的擴展性；提供高效便捷的數據集管理，支持格式自動轉換；定制化計算策略，提升GPU使用效率；優化流程，提升訓練效率；高性能深度學習平臺等應對方案。
綜上所述，深度訓練的過程中難免會遇到各種挑戰，但如果能利用好高性能的深度學習平臺，這些挑戰就能被逐一解決。
探尋深度學習新路徑：AVA深度學習平臺四大優勢
AVA深度學習平臺基于通用服務器和標準開源組件搭建，并在其中完成大量優化。從以下AVA平臺的整體架構圖可見，存儲和計算集群獨立建設、演進。由于存儲完全搭建在云端，能夠同時對接各主流廠商的對象存儲，使訓練不受地域限制，并配以本地高速緩存，滿足高性能和高擴展性要求。AVA深度學習平臺使用Kubernetes負責管理GPU集群，并配以自定義的調度器和Quota管理框架，充分發揮GPU資源，提高訓練速度。
報告中顯示，七牛云AVA深度學習平臺具有如下優勢：
1、通過資源調度較大化GPU利用率：調度算法設計的好壞對訓練速度和效果有至關重要的影響。對此，AVA做了以下優化，調度時選取具有Affinity的GPU、通過配置，可選均衡調度或集中調度方式，缺省采取集中調度模式。此外，由于不同訓練任務之間可能需要通訊，而位于同一臺機器上兩個訓練任務間的通訊效率明顯高于將任務分置于兩臺機器。通過指定策略，AVA可以通過指定策略，采取不同的調度方法，適應不同的訓練需求。
2、安裝簡單，易于集成和使用：AVA平臺所有服務均基于Docker和Kubernetes打造，并以Docker鏡像加Kubernetes部署Yaml腳本方式對外提供服務。AVA平臺可同時部署在公有云和私有云。對接常用的公有云標準組件，只需一天即可完成部署調試，而對于比較復雜的私有云環境，也只需2到3天即可完成部署和調試過程。
3、部署靈活，支持公有云和私有云：AVA平臺具有很大的靈活性，既可以部署在私有云環境中，也可以部署在不同的公有云環境中，且能避免數據或服務局限在單一服務商。用戶完成部署后，能夠方便地從公有云遷到私有云，反之亦然。對于數據較為敏感的行業，用戶可以將AVA平臺部署于私有存儲系統，在數據不出島的情況下進行訓練。此外訓練平臺和數據可以分開部署，使用存放在AWS或Azure的數據在AVA平臺進行訓練，不需要數據遷移。
4、高效的調參和迭代管理：參數的選擇對于深度訓練的效果同樣重要。為了獲得高精度的模型，深度訓練需要反復觀察訓練精度和損失率，并不停調整模型層次結構、學習率等參數。AVA平臺能夠整合訓練過程，使用高效搜索和排序算法，并根據預定義規則，自動或半自動挑選網絡模型及組合不同的訓練參數，批量運行深度訓練。
AI時代下，AVA深度學習平臺創造更多價值
可以看到，有了AVA深度學習平臺的依托，算法人員能在短時間內實現許多高難度訓練，并且將其運用于實際生產中。對此，報告中基于AVA深度學習平臺應用，能夠為行業帶來的價值進行了舉例說明。
在內容安全審核方面，對于企業來說，如果全部依靠人工完成針對色情、暴恐、政治敏感內容的識別，將會造成大量的人力、物力、管理等額外成本。原本每人每日只能審核幾百張的圖片，在結合AVA深度學習平臺后，這項應用的效率得到了指數級的提升，圖片、視頻日處理量可達十億級規模，毫秒級處理結果響應。
在智慧城市方面，城市建筑垃圾產出大，污染嚴重，要解決這個問題渣土車超速行駛、占道、沿路拋灑等的問題，可以通過計算機視覺，利用交管攝像頭對渣土車進行識別，對違法行為實現智能告警，形成對渣土運營的“出土--運輸--回填”監管閉環，大幅提升治理效率與效果。基于強大GPU集群算力和優秀的深度學習算法的AI模型，能夠在AVA平臺上快速迭代，并結合用戶的反饋不斷進行升級。通過私有化部署保障數據安全，正是城市運營與管理所需要的。
在智慧廣電方面，廣電行業存儲的數據巨大，每個頻道每年累計點播的數據量可達百萬小時級別。并且，由于新聞具有時效性，看似價值密度并不很高的數據，如果得到有效利用，實際上是極具社會價值的。目前的云播控和云媒資，分別對應直播場景和點播場景，這些產品都是基于深度學習的。結合AVA后，直播調度和直播互動的效率提升50%，并能節約20%的人力；媒資管理效率提升30%，并能節約50%的人力。一個優秀的深度學習平臺就像一個地基，有了平穩的基礎，才能夠開始搭建目標分割、特征學習、動態回歸、時序分析、目標角度歸一化等的“磚頭”，將業務細細打磨。
除此之外，報告中還列舉了深度學習在醫療、交管、物流、教育等行業的應用價值。從報告中可以看到，深度學習的價值巨大，目前可預見的未來發展也很廣闊。除了上文的應用，能做的還有更多：結合虛擬現實，將AR應用于更多的如看房、游戲等的商業場景，多行業開發工業機器人等等；家居助理、文本翻譯、智能問答、無人駕駛、航天航空、軍事機器等的應用都將越來越成熟。在實現大量應用的過程中，充分利用深度學習平臺來實現算法優化將是產品告訴落地的關鍵。深度學習技術是未來的大勢所趨，選擇優秀的深度學習平臺則是當下的最優選擇和必經之路。
想了解更多《深度學習平臺完全實踐指南》的相關內容，可點擊詳細報告：
Gartner白皮書英文版鏈接：https://www.gartner.com/technology/media-products/newsletters/qiniu/1-5PAX8DA/client1.html#2
Gartner白皮書中文版鏈接：https://mars-assets.qnssl.com/gartner_atlab_white_book.pdf
