薪酬保護計劃（PPP）由美國聯(lián)邦政府實施，旨在為企業(yè)提供直接激勵措施，以使員工保持工資，特別是在Covid-19大流行期間。 PPP幫助合格的企業(yè)保留其勞動力，并幫助支付相關業(yè)務費用。美國財政部網(wǎng)站的數(shù)據(jù)顯示了哪些公司獲得了PPP貸款以及保留了多少職位。美國財政部批準了全美大約100萬筆PPP貸款。

對這些數(shù)據(jù)的分析提出了三個挑戰(zhàn)。首先，數(shù)據(jù)量很大。提取，整理，轉換，檢索和報告該數(shù)據(jù)的時間非常耗時。其次，數(shù)據(jù)集可能會發(fā)展，這將消耗額外的開發(fā)時間和資源。最后，在這樣的多階段流程中，事情可能會破裂。快速確定錯誤或瓶頸的能力將有助于一致地滿足SLA。

本文說明了如何使用Apache Spark將Cloudera數(shù)據(jù)工程（CDE）用于基于PPP數(shù)據(jù)生成報告，同時解決上述所有挑戰(zhàn)。

目的

下面設置了德克薩斯州立法預算委員會（LBB）的模擬方案，以幫助數(shù)據(jù)工程師管理和分析PPP數(shù)據(jù)。 該數(shù)據(jù)工程師的主要目標是向LBB提供兩個最終報告：

• 報告1：德克薩斯州所有保留工作的城市的細目分類
• 報告2：保留職位的公司類型明細

Cloudera數(shù)據(jù)工程（CDE）

這是運行Apache Spark的Cloudera數(shù)據(jù)工程（CDE）可以提供幫助的地方。 CDE是Cloudera Data Platform（CDP）中的一項服務，它允許數(shù)據(jù)工程師創(chuàng)建，管理和調度Apache Spark作業(yè)，同時提供有用的工具來監(jiān)視作業(yè)性能，訪問日志文件以及通過Apache Airflow編排工作流程。 Apache Spark是一個數(shù)據(jù)處理框架，能夠快速運行大規(guī)模數(shù)據(jù)處理。

 美國財政部提供了兩種不同的數(shù)據(jù)集，一種用于大于15萬美元的批準貸款，另一種用于15萬美元以下的批準貸款。為了生成LBB的兩個最終報告，請遵循以下步驟。

• 第一步是將兩個單獨的數(shù)據(jù)集加載到S3存儲桶中。
• 為每個數(shù)據(jù)集創(chuàng)建了一個Spark作業(yè)，以從S3存儲桶中提取和過濾數(shù)據(jù)。
• 這兩個Spark作業(yè)將轉換干凈數(shù)據(jù)并將其加載到Hive數(shù)據(jù)倉庫中以進行檢索。
• 創(chuàng)建了第三個Spark作業(yè)，以處理來自Hive數(shù)據(jù)倉庫的數(shù)據(jù)以創(chuàng)建兩個報告。

作業(yè)運行完成后，CDE將提供每個Spark作業(yè)內各個階段的圖形表示。這使數(shù)據(jù)工程師可以輕松地查看工作中哪些部分可能花費最多的時間，從而使他們可以輕松地優(yōu)化和改進代碼，從而最好地滿足客戶的SLA。

結果

實現(xiàn)了從一百萬個批準申請人的記錄中生成兩個最終報告的主要目標。 第一份報告的圖形摘要顯示了得克薩斯州每個城市保留的職位數(shù)量的前10個樣本，第二份報告顯示了保留的職位數(shù)排名前5的樣本（按公司類型）。 例如，借助這些報告，德克薩斯州立法預算委員會可以推斷出人均保留工作量最少的城市可能需要資源來減輕任何經濟影響。

關于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠將復雜的數(shù)據(jù)轉換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺服務。在開源社區(qū)不懈創(chuàng)新的支持下，Cloudera推動了全球最大型企業(yè)的數(shù)字化轉型歷程。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費業(yè)務咨詢，定制開發(fā)等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關業(yè)務咨詢！