原書第 6 章以作者早期參與歐洲太空總署（European Space Agency, ESA）航線預測專案的真實經驗開場，說明資料準備對模型品質的影響。原始資料約 8,000 萬筆，但兩個供應商提供的資料幾乎重複；清理重複、格式錯誤與缺漏值後，最後只剩約 400 萬筆可靠資料。
作者第一次建立船舶航線預測模型時，先用約 2,000 萬筆訓練、其餘約 6,000 萬筆測試；訓練超過一個月，但預測表現很差。深入檢查後才發現兩個來源幾乎提供相同資料。
| 階段 | 原書數量 |
|---|---|
| 原始資料 | 約 80,000,000 筆 |
| 第一次訓練集 | 約 20,000,000 筆 |
| 第一次測試集 | 約 60,000,000 筆 |
| 去除近乎重複來源後的實質資料量 | 約 40,000,000 筆 |
| 完成資料清理後 | 約 4,000,000 筆 |
| 第一次訓練時間 | 超過 1 個月 |
本案例不是 Excel 小表格操作，而是資料準備原則。可先以唯一識別欄位、全欄比對或雜湊找重複，再檢查數字格式、缺漏值與文字／數值型別。人工智慧可以協助列出檢查規則與異常模式，但實際刪除資料前應保留可追溯紀錄。
若以原書近似數字計算：
| 比較 | 結果 |
|---|---|
| 80M → 40M | 約減少 50% |
| 40M → 4M | 約再減少 90% |
| 80M → 4M | 最終保留約 5% |
| 總減少 | 約 95% |
第一次模型失敗不是因為資料太少，而是因為大量資料品質差。清理後雖只剩原始量約 5%，模型反而能較準確預測航線。這說明資料科學流程中「準備資料」不是建模前的小事，而是模型可靠性的前提。
我有一個來自兩個供應商的大型資料集。請設計資料品質檢查清單，依序檢查完全重複列、近似重複列、唯一識別碼衝突、缺漏值、數字被存成文字與格式不一致。不要直接建議刪除資料；先列出每一類問題的筆數與占比，再讓我決定處理策略。