公衛體檢系統的數據質量直接影響分析結果的可靠性，而數據清洗與去噪是剔除 “臟數據” 的關鍵步驟。以下是一套簡潔易懂的操作流程，幫助系統高效凈化數據：
一、明確清洗目標：先定標準，再動手
數據清洗不是 “一刀切”，需先根據業務需求設定清洗規則：
基礎規則：如年齡需＞0 歲且＜150 歲，血壓收縮壓需在 90-180mmHg 之間，超出范圍直接標記為 “待處理”。
業務定制規則：例如糖尿病分析中，空腹血糖＞11.1mmol/L 且糖化血紅蛋白＞6.5% 才判定為 “疑似糖尿病”，單一指標異常需復核。
關鍵邏輯：先通過規則過濾 “明顯錯誤”，再處理 “模糊異?！?，避免過度清洗導致數據失真。
二、六步清洗法：從粗到細，層層過濾
1. 缺失值處理：補漏或舍棄
小范圍缺失：
數值型數據：用均值 / 中位數填充；
分類數據：用眾數填充。
大范圍缺失：直接剔除該字段或樣本。
2. 異常值識別：用醫學邏輯 “抓 outliers”
統計法：
繪制箱線圖，剔除超出 Q3+1.5IQR 或 Q1-1.5IQR 范圍的數據；
計算Z-score，絕對值＞3 的標記為異常。
醫學常識法：
直接排除矛盾數據：如 “年齡 18 歲，診斷為前列腺癌”；
核查邏輯沖突：如 “身高 170cm，體重 50kg，BMI=17.3，但標注‘肥胖’”。
3. 重復值處理：去重留一
按唯一標識字段篩選重復記錄，保留最新或完整度最高的一條。
4. 數據一致性校準：統一 “語言”
單位統一：如血壓單位有的用 “mmHg” 有的用 “kPa”，需全部轉換為 mmHg（1kPa≈7.5mmHg）；
分類統一：如 “吸煙史” 字段存在 “是 / 否 / 偶爾 / 經?！保栌成錇?“吸煙（是 / 否）”，“偶爾 / 經?！?歸為 “是”。
5. 邏輯校驗：用規則鏈排除隱性錯誤
建立多層規則校驗：
第一層：基礎格式校驗；
第二層：指標關聯校驗；
第三層：跨表校驗。
6. 人工復核：機器之外的 “最后防線”
對機器標記的異常數據，由公衛人員人工核查原始表單：
例：某條記錄 “年齡 25 歲，血壓 220/110mmHg”，機器標記為異常，人工核對紙質表發現實為 “120/80mmHg”，系錄入時誤觸鍵盤。
三、清洗效果評估：用指標檢驗成果
清洗后需驗證數據質量是否提升，核心指標：
缺失率：目標＜3%；
異常值占比：目標＜1%；
邏輯沖突率：目標＜0.3%。
四、自動化與標準化：讓清洗可持續
建立清洗模板：將常用規則固化為系統默認規則，新數據導入時自動觸發清洗流程；
記錄清洗日志：詳細記錄每條數據的清洗操作，便于追溯和審計；
定期更新規則：根據醫學指南變化，及時調整清洗規則，避免 “刻舟求劍”。
