大數據分析（BigDataAnalysis）是當前信息技術的一個重要應用領域，對我們的工作和生活產生著巨大的影響。
相對于傳統的數據概念，“大數據”的定義為四個“V”：數量大（volume）、多樣化（variety）、變化快（velocity）和有價值（value）。具體，請參閱我之前的文章《三分鐘讀懂大數據》。本文著重介紹對于大數據的分析方法。
大數據分析的流程一般為：
數據采集→數據傳輸→數據預處理→數據統計與建模→數據分析/挖掘→數據可視化/反饋。
下面依次加以說明：
數據采集：
數據采集的功能包括：
通過物聯網設備采集數據。（參見《三分鐘讀懂物聯網》）
通過在應用程序中插入特定代碼（“埋點”）來采集數據。
將采集的數據傳輸到指定的服務器。
不論是采集數據，還是傳輸數據，都要求最大限度地保證數據的準確性、完整性和及時性，這就要求數據采集能處理很多細節方面的問題，比如用戶標識、網絡策略、緩存策略、同步策略、安全保障等。
數據預處理：
主要包括數據清理和數據整理。
1.數據清理
數據清理是指發現并處理數據中存在的質量問題，如缺失、異常等。例如，某用戶在填寫調查問卷時，沒有填寫“年齡”一欄的信息，那么對于該用戶填寫的這條數據來說，年齡就是缺失值；異常是指雖然有值但值明顯偏離了正常取值范圍，如針對18～30歲成年人的調查問卷中，某用戶填寫調查問卷時將年齡誤填為2。
必須處理好包含缺失值或異常值的數據，否則會嚴重影響數據分析結果的可靠性。
2.數據整理
數據整理是指將數據整理為數據建模所需要的形式。例如，在建立房屋價格預測模型時，通常需要將對房價預測無用的數據項（如房屋的ID編號）去除，將用于預測目標值的特征（如房齡、朝向等）和目標變量（房屋價格）分開。
數據統計與建模：
數據統計是指對數據計算均值、方差等統計值，通過統計分析掌握數據特性，完成對已知數據的解釋。建模則是根據已有數據建立模型以對未來數據進行預測、分類，解決實際應用問題。
數據分析/挖掘：
數據挖掘是從大量數據中挖掘出隱含的、先前未知的、對決策有潛在價值的關系、模式和趨勢，并用這些知識和規則建立用于決策支持的模型，提供預測性決策支持的方法、工具和過程。
數據可視化/反饋：
數據可視化是指將數據
搜浪信息科技發展（上海）有限公司 備案號：滬ICP備17005676號
