欧美男男激情videosI久久黄色a级片I免费精品视频在线观看I久久er99热精品一区二区I日本精品久久I久操综合I黄色一级在线观看I久久久久久久18

一、數據導入/預處理驗證階段

根據具體的應用背景和業務需求,各種數據源如網絡日志,物聯網,社會網絡及互聯網文本和文件等被按需加載到HDFS中待處理。在這個過程可能會由于不正確或不 ** ,存儲而導致的錯誤數據,對于這種情況,可采用以下方式進行測試:

1.輸入文件與源文件進行比對,保證數據的一致性;

2.根據數據需求來保證獲取數據的準確性;

3.驗證文件被正確的加載進HDFS,且被分割, ** 到不同的數據節點中。

二、MapReduce數據輸出驗證階段

當數據加載進行HDFS后, ** preduce開始對來自不同數據源的數據進行處理。在這個過程中可能會出現 ** preduce處理過程中的編碼問題,如在單一節點上運行正確,在多個節點上運行不正確的問題,包括不正確的聚合,節點配置,輸出格式等。針對于這個階段的問題,可采用以下驗證手段:

1.驗證梳理數據處理正常完成,輸出文件正常得到;

2.在單個節點上驗證大數據的業務邏輯,進

而在多節點上進行相同驗證;

3.驗證 ** preduce處理過程的key/value對是否正確生產;

4.在reduce過程結束后驗證數據的聚 ** 并是否正確;

5.通過源文件驗證輸出數據來保證數據處理正確完成;

6.按照大數據業務所需,驗證輸出數據文件格式是否符合要求。

三、驗證大數據ETL到數據倉庫

當 ** preduce過程結束后,產生的數據輸出文件將被按需移至數據倉庫或其它的事務型系統.在此過程中,可能會由于不正確地應用轉換規則,從HDFS中提取的數據不完全而帶來問題。針對于這個階段的問題可采用以下方法:

1.驗證轉換規則是否正確應用;

2.通過比較目標表數據和HDFS文件數據來驗證是否有數據損壞;

3.驗證目標系統數據加載是否成功;

4.驗證目標系統的數據完整性。

上述就是為你介紹的有關大數據功能性測試包含哪些內容的內容，對此你還有什么不了解的，歡迎前來咨詢我們網站，我們會有專業的人士為你講解。

關鍵詞：  功能性驗證報告  購物袋生物降解檢測  除病毒測試  一次性用品生物降解能力檢測  中藥材檢測報告  毒害物質檢測報告

編輯精選內容：

紡織品抗病毒性能的測試方法

各類消毒產品病毒殺滅效果試驗標準

什么是生物降解性檢測

生物降解塑料的應用

微生物樣品取樣幾種較常見的表面取樣技術

生物藥品檢測的介紹

可降解材料檢測主要測試項目

細胞毒理學安全評價與功能檢測