Power BI, Power BI Basics, Power Query

Data Cleaning: Phát hiện và xử lý một số lỗi dữ liệu thường gặp với Power Query

Cập nhật gần nhất: 24/02/2025

Ngày đăng bài: 24/02/2025

Làm Sạch Dữ Liệu Là Gì?

Làm sạch dữ liệu (Data Cleaning) là bước quan trọng trong khoa học dữ liệu, giúp loại bỏ lỗi, xử lý thiếu sót và chuẩn hóa dữ liệu thô. Quy trình này đảm bảo dữ liệu đạt chất lượng cao, phục vụ hiệu quả cho các phân tích và dự báo.

Trong kỷ nguyên chuyển đổi số, dữ liệu sạch là nền tảng để doanh nghiệp đưa ra quyết định chính xác, tối ưu hóa hiệu suất và tránh sai lầm chiến lược. Ví dụ, một lỗi nhỏ như trùng lặp dữ liệu bán hàng có thể làm sai lệch kết quả dự báo doanh thu, ảnh hưởng đến kế hoạch kinh doanh.

Ngoài ra, làm sạch dữ liệu giúp tiết kiệm thời gian, giảm tải cho nhà phân tích và nâng cao độ tin cậy từ các bên liên quan. Với dữ liệu sạch, doanh nghiệp không chỉ phân tích chính xác mà còn xây dựng niềm tin vào các kết quả đưa ra.

Tầm quan trọng của việc làm sạch dữ liệu?

Làm sạch dữ liệu không chỉ là bước chuẩn bị cho phân tích mà còn đóng vai trò cốt lõi trong việc tối ưu hóa chiến lược và nâng cao hiệu suất tổ chức. Dưới đây là những lý do chính:

Nâng cao độ chính xác và độ tin cậy: Dữ liệu sạch đảm bảo nền tảng cho các phân tích và dự báo chính xác, giúp các tổ chức đưa ra quyết định chiến lược hiệu quả và giảm thiểu rủi ro.
Tăng cường ra quyết định chiến lược: Dữ liệu đồng nhất và chính xác hỗ trợ lập kế hoạch dài hạn, tối ưu hóa tài nguyên và điều chỉnh chiến lược kinh doanh, mang lại lợi thế cạnh tranh.
Cải thiện trải nghiệm khách hàng: Dữ liệu sạch cho phép cá nhân hóa dịch vụ và sản phẩm, từ đó tăng cường sự hài lòng và lòng trung thành của khách hàng.
Đảm bảo tuân thủ và bảo mật: Dữ liệu sạch giảm rủi ro vi phạm pháp lý và bảo mật, đặc biệt quan trọng trong các ngành yêu cầu tiêu chuẩn nghiêm ngặt như tài chính và y tế.
Hỗ trợ tích hợp công nghệ mới: Các hệ thống như AI, học máy và IoT yêu cầu dữ liệu sạch để hoạt động hiệu quả, làm sạch dữ liệu giúp đảm bảo triển khai công nghệ mượt mà.

Một số lỗi dữ liệu thường gặp và cách xử lý với Power Query

Lỗi dữ liệu có thể làm giảm chất lượng của phân tích và ảnh hưởng trực tiếp đến tính chính xác của các quyết định chiến lược. Dưới đây là một số lỗi dữ liệu phổ biến thường gặp trong quá trình làm sạch dữ liệu:

Thiếu dữ liệu (Missing Data)

Định nghĩa

Null values trong Power BI đề cập đến dữ liệu bị thiếu hoặc không xác định trong tập dữ liệu. Các giá trị này có thể xuất hiện do nhiều nguyên nhân, chẳng hạn như lỗi nhập liệu hoặc dữ liệu không đầy đủ, và chúng có thể ảnh hưởng tiêu cực đến phân tích dữ liệu cũng như trực quan hóa, dẫn đến những hiểu biết không chính xác. Bằng cách loại bỏ null values, các nhà phân tích có thể đảm bảo độ chính xác của dữ liệu, tăng cường tính toàn vẹn của dữ liệu và hỗ trợ đưa ra quyết định tốt hơn.

Cách xác định lỗi dữ liệu

Để xác định null values trong Power BI, chúng ta dùng Power Query Editor với các bước như sau:

Vào tab Home > Chọn Transform Data để mở Power Query Editor. Trong Power Query:

Trong Power BI, phía dưới mỗi cột sẽ hiển thị Column Distribution, cho phép bạn dễ dàng quan sát tình trạng dữ liệu. Qua đó, chúng ta nhận thấy hai cột Date và Transaction_Code có giá trị rỗng (Empty/null):

Date: chứa 1% giá trị null.
Transaction_Code: chứa 10% giá trị null.

Chọn giá trị null.

Kết quả trả về.

Cách xử lý

Một số cách phổ biến để xử lý Null Values hiệu quả:

Loại bỏ bản ghi chứa giá trị null:
- Áp dụng khi giá trị null chiếm tỷ lệ nhỏ và không ảnh hưởng đáng kể đến tập dữ liệu.
Thay thế giá trị null:
- Bằng các chỉ số thống kê trung tâm:
  - Mean (Trung bình): Phù hợp với dữ liệu số, đặc biệt khi phân phối dữ liệu gần chuẩn.
  - Median (Trung vị): Tốt cho dữ liệu có sự chênh lệch lớn (outliers).
  - Mode (Mode): Dùng cho dữ liệu phân loại (categorical).
- Bằng số 0:
  - Phù hợp khi giá trị null có ý nghĩa là không tồn tại hoặc không áp dụng.
- Bằng giá trị từ bản ghi trước hoặc sau:
  - Áp dụng với dữ liệu thời gian (time-series) hoặc khi dữ liệu có tính liên tục, nhằm duy trì xu hướng.

Quan sát cho thấy, các bản ghi liền trước và liền sau các giá trị null thường có giá trị tương tự nhau. Vì vậy, chúng ta có thể áp dụng phương pháp điền giá trị null bằng cách sử dụng giá trị từ bản ghi trước đó để đảm bảo tính nhất quán trong dữ liệu.

Bước 1: Chọn cột cần điền giá trị, trong trường hợp này là cột Date.
Bước 2: Trên thanh Ribbon, chuyển đến tab Transform.
Bước 3: Tìm đến nhóm công cụ Fill.
Bước 4: Chọn Fill > Down để điền giá trị từ bản ghi phía trên xuống các ô trống.

Tương tự như cột Date, chúng ta tiếp tục xử lý giá trị null cho cột Transaction_Code. Đây là cột thể hiện mã giao dịch, thường liên quan đến các giao dịch thẻ.

Chúng ta kiểm tra các giá trị null trong cột Transaction_Code bằng cách lọc, như đã thực hiện đối với cột Date.

Các giá trị null trong cột Transaction_Code có Payment_Type là Cash (tiền mặt). Vì giao dịch tiền mặt không phát sinh mã giao dịch thẻ, nên các giá trị null này đã phản ánh đúng thực tế. Do đó, không cần thực hiện thêm bất kỳ xử lý nào với các giá trị này.