北京2020年11月30日 /美通社/ -- 日前,亞馬遜云服務(AWS)宣布面向Apache Airflow的Amazon Managed Workflows(MWAA)正式可用。這項全新服務讓數據工程師可以更輕松地在云端運行數據處理工作流。Apache Airflow是一款流行的開源工具,可以幫助客戶編寫、調度和監控工作流。通過Amazon MWAA,客戶可以使用熟悉的Airflow平臺來管理工作流,而不改變現有的操作方式,同時改善可伸縮性、可用性和安全性,又無需承擔構建、擴展和管理底層基礎設施。Amazon MWAA可根據客戶需求,擴展工作流執行能力,并與AWS安全服務集成,提供安全訪問客戶數據的入口。使用Amazon MWAA無需前期投入,客戶只需為使用的資源付費。如欲開始使用Amazon MWAA,請訪問:https://aws.amazon.com/mwaa。
如今,客戶正使用數據分析和機器學習,從大量數據中獲得洞察力。為了有效地使用這些數據,客戶通常需要首先構建一個工作流,定義一系列連續的任務來準備和處理這些數據。數以萬計的客戶使用AWS Step Functions,可視地構建和運行具有成本效益和可伸縮的事件驅動工作流,這些工作流跨多個AWS服務執行任務。還有一些客戶想要通過Apache Airflow來編排工作流。Apache Airflow有著活躍的開源社區,有大量的庫,集成了Apache Spark、Hadoop等第三方數據處理工具,并可使用Python腳本創建工作流。然而,使用Apache Airflow需要數據工程師安裝、維護、擴展和保護Apache Airflow環境,這增加了成本和操作復雜性。此外,為了支持基于角色的身份驗證、以實現安全訪問,Apache Airflow通常需要手動、反復地更改配置,有時要使用命令行命令,在某些情況下,還需要對Apache Airflow代碼進行編輯,容易出錯??蛻暨€必須集成和配置額外的工具,用以對系統停機、工作流錯誤和任務執行延遲等問題發出告警。雖然客戶確實喜歡Apache Airflow預集成第三方工具、使用熟悉的Python編程語言等特性,但他們希望不要增加運營成本和復雜性。
Amazon MWAA使得客戶可以很方便地在AWS中構建和執行Apache Airflow工作流。Amazon MWAA負責管理Apache Airflow的配置和日常維護,客戶不再需要操心補丁、擴展,不需要保護自管理的Apache Airflow部署。使用Amazon MWAA,執行任務的計算資源可以按需伸縮,為用戶提供一致的性能??蛻魯祿J是安全的,因為工作負載使用Amazon VPC虛擬私有云,運行在客戶自己隔離的安全云環境中,存儲的數據使用AWS KMS 密鑰管理服務加密。Amazon MWAA使得客戶可以很容易地使用任何Apache Airflow的集成來組合數據,可以使用AWS服務,也可使用Apache Hadoop、Presto、Hive和Spark等流行的第三方工具,從而實現數據處理、機器學習管道以及軟件開發與運營的自動化??蛻艨梢酝ㄟ^AWS IAM身份與訪問管理服務,輕松安全地實現基于角色訪問Apache Airflow用戶界面,為調度和查看工作流執行提供用戶單點登錄(SSO)的訪問。Amazon MWAA自動向AWS監控服務Amazon CloudWatch發送Apache Airflow系統指標和日志,客戶無需第三方工具,即可輕松查看跨一個或多個環境的任務執行延遲和工作流出錯情況。通過使用Amazon MWAA,數據工程師可以獲得Apache Airflow可擴展性、可用性和AWS的安全性。
“客戶告訴我們,他們非常喜歡Apache Airflow,因為它可以加速數據處理和機器學習工作流的開發,但希望它沒有擴展、操作和保護服務器的負擔?!盇WS應用集成副總裁Jesse Dougherty表示,“有了Amazon MWAA,客戶就可以和現在一樣地使用Apache Airflow平臺,同時獲得AWS的可伸縮性、可用性和安全性?!?/p>
客戶可以從AWS管理控制臺、CLI、AWS CloudFormation或AWS SDK啟動新的Amazon MWAA環境,并在幾分鐘內開始運行。Amazon MWAA現已在美國東部(弗吉尼亞北部)、美國西部(俄勒岡)、美國東部(俄亥俄)、亞太地區(新加坡)、亞太地區(東京)、亞太地區(悉尼)、歐洲(愛爾蘭)、歐洲(法蘭克福)和歐洲(斯德哥爾摩)區域正式推出,其它區域也將很快推出。