本文摘自深智數位《資料科學入門完全指南：資料分析的觀念處理實作》未經同意請勿轉載、摘編
清理數據在資訊處理的必要性
資料的清理是數據分析過程中極其重要的一個步驟，在這個領域有一個經典的名言「Garbage in, garbage out」——如果原始資料中存在各種問題和缺陷，後續的分析和應用結果也會受到影響，因此資料的清理雖然說是數據科學家和分析師工作中最耗時和繁瑣的任務之一，卻也是不可或缺的一個步驟。
清理數據可以讓我們更好地理解數據的內在特徵，發現潛在的模式和趨勢，從而幫助我們做出更好的決策，若是如果不進行資料的清理則可能會有各種問題：
- 分析結果不準確：存在著缺失值、重複值、錯誤的數值或格式等問題，這些都會導致數據分析的不準確，進而對決策產生錯誤的影響
- 模型訓練不穩定：模型訓練的成果是高度仰賴資料的，因此當資料不一致時，模型訓練的結果也會變得不穩定，這將影響預測的效果
- 浪費時間和資源：如果在前期對於資料沒有進行過妥善的清理，在後續的過程中很有可能會需要花費更多的時間和精力來解決相關的問題，甚至需要重頭開始
資料的品質問題
當我們收集到大量的資料時，這些資料中可能存在著缺失值、重複值、錯誤的數值或格式，甚至是不一致的資料，這些都會對分析和預測的結果產生負面的影響。而常見的資料品質問題，我們大致可以歸納為以下三種情況：
- 不一致性：資料中的格式、單位或表示方法可能存在差異，這可能導致分析過程中的困惑和錯誤。例如日期格式可能有多種表示方式，如 “YYYY-MM-DD” 和 “MM/DD/YYYY”
- 不完整性：資料中可能存在缺失值或不完整的記錄，這會影響到資料分析的準確性和可靠性。例如某些欄位可能缺少部分資訊，如客戶的電話號碼或地址
- 不準確性：資料中可能存在錯誤或不真實的資訊，這可能導致分析結果出現偏差。例如錯誤的銷售金額或不正確的客戶資訊
資料清理6步驟
即使清理數據是一個非常取決於不同資料而有不同處理方式的過程，但還是有一些常見的步驟可以作為參考：
- 檢查資料格式和型別：在進行資料的清理之前，必須先確定資料的格式和型別是否正確，這包括檢查資料是否是正確的數值型別、日期型別、文字型別等。如果資料型別不正確，需要將其轉換為正確的型別
- 檢查資料的完整性：數據清理的一個重要步驟是檢查資料的完整性，包括檢查缺失值、重複值、異常值等。缺失值是指某些觀測值缺失，需要進行填補；重複值是指某些觀測值重 複，需要進行刪除或合併；異常值是指某些觀測值與其他觀測值不一致，需要進行處理
- 處理缺失值：缺失值是清理過程中常見的問題之一，常見的處理方法包括填補缺失值、刪除包含缺失值的觀測值等。
- 處理重複值：重複值是指某些觀測值在資料集中出現多次，需要進行處理以保證資料的準確性和可靠性。常見的處理方法包括刪除重複值、合併重複值等
- 檢查資料的一致性和準確性：在進行數據清理之後，需要對資料進行進一步的檢查，以確保資料的一致性和準確性。這包括檢查欄位之間的關係、計算欄位統計數據等
- 資料的轉換和處理：在完成上述步驟之後，可能需要進行進一步的資料轉換和處理，以滿足具體的分析需求。這包括對資料進行排序、過濾、聚合等操作，以便進行後續的分析
先行智庫為台灣管理顧問公司，服務內容包含企業內訓、顧問諮詢等服務，了解更多企業服務內容：https://kscthinktank.com.tw/custom-training/
【先行智庫系列講座】
【先行智庫線上課程系列】
