Trong bài viết này, KPIM sẽ tìm hiểu về các tính năng, công cụ và ứng dụng của Power Query. Chúng ta sẽ khám phá cách công cụ này hỗ trợ việc kết nối và nhập dữ liệu từ nhiều nguồn, xử lý và biến đổi dữ liệu, ghép nối và kết hợp dữ liệu, tạo bước công việc và tự động hóa quy trình xử lý dữ liệu.
Power Query là gì?
Nhắc đến Power BI thì ta không thể không nói đến Power Query, một công cụ trích xuất và chuyển đổi dữ liệu. Power Query đi kèm với giao diện trực quan để lấy dữ liệu từ các nguồn và áp dụng các phép biến đổi. Khi sử dụng Power Query, bạn có thể thực hiện xử lý trích xuất, chuyển đổi và tải (ETL) dữ liệu.
Cách Power Query giúp thu thập dữ liệu
Người dùng từ các doanh nghiệp có thể phải dành tới 80% thời gian của họ cho việc chuẩn bị dữ liệu, điều này làm trì hoãn việc phân tích và ra quyết định. Có nhiều thách thức góp phần vào tình trạng này và Power Query giúp giải quyết nhiều thách thức trong số đó.
| Thách thức hiện tại | Power Query trợ giúp như thế nào? |
| Tìm kiếm và kết nối với dữ liệu quá khó | Power Query cho phép kết nối với nhiều nguồn dữ liệu, bao gồm dữ liệu ở mọi kích thước và hình dạng toroartsgroup. |
| Không có quy trình xử lý dữ liệu cụ thể | Tạo trải nghiệm dễ dàng xử lý dữ liệu và nhất quán trong quy trình cũng như khi đồng bộ nhiều nguồn cùng một lúc |
| Dữ liệu thường cần được định dạng lại trước khi sử dụng | Trải nghiệm trực quan và tương tác cao để tạo truy vấn nhanh chóng trên bất kỳ nguồn dữ liệu nào, ở bất kỳ kích thước nào. |
| Khó lặp lại quy trình xử lý | Khi sử dụng Power Query để truy cập và chuyển đổi dữ liệu, bạn cần xác định một quy trình có thể lặp lại (truy vấn) có thể dễ dàng làm mới trong tương lai để có thể cập nhật dữ liệu. Trong trường hợp bạn cần áp dụng cùng một quy trình cho nhiều đối tượng, bạn có thể sử dụng function để chuyển đổi. |
| Khối lượng (kích thước dữ liệu), tốc độ (tốc độ thay đổi) và đa dạng (độ rộng của nguồn dữ liệu và định dạng dữ liệu) | Power Query cung cấp khả năng làm việc với một tập hợp con của toàn bộ tập dữ liệu để xác định các phép chuyển đổi dữ liệu cần thiết, cho phép bạn dễ dàng lọc và chuyển đổi dữ liệu của mình thành kích thước có thể quản lý được. Các truy vấn Power Query có thể được làm mới theo cách thủ công hoặc bằng cách tận dụng khả năng làm mới theo lịch trình trong các sản phẩm cụ thể (chẳng hạn như Power BI) hoặc trực tiếp hiển thị dữ liệu nguồn (Direct Query). Vì Power Query cung cấp kết nối với hàng trăm nguồn dữ liệu và hơn 350 kiểu biến đổi dữ liệu khác nhau cho từng nguồn này, bạn có thể làm việc với dữ liệu từ bất kỳ nguồn nào và ở bất kỳ định dạng nào. |
Các tính năng chính của Power Query
Power Query cung cấp một loạt tính năng mạnh mẽ để xử lý và biến đổi dữ liệu. Dưới đây là mô tả về các tính năng chính của công cụ này:
Kết nối và nhập dữ liệu
- Cung cấp khả năng kết nối và nhập dữ liệu từ nhiều nguồn khác nhau như cơ sở dữ liệu, tệp tin Excel, trang web, nguồn dữ liệu OData, nguồn dữ liệu SharePoint, hệ thống CRM và nhiều nguồn dữ liệu khác.
- Người dùng có thể chọn loại kết nối phù hợp và cung cấp thông tin xác thực để truy cập vào nguồn dữ liệu.
Xử lý và biến đổi dữ liệu
- Người dùng có thể thực hiện các bước biến đổi như lọc dữ liệu, sắp xếp, nhóm, thêm cột tính toán, thay đổi kiểu dữ liệu, tách chuỗi, chuyển đổi định dạng và thực hiện nhiều hành động xử lý dữ liệu khác.
- Các thao tác xử lý dữ liệu có thể được thực hiện thông qua giao diện người dùng trực quan hoặc bằng cách viết các công thức ngôn ngữ M (M formula).
Ghép nối và kết hợp dữ liệu
- Cho phép ghép nối (join) và kết hợp (merge) dữ liệu từ các nguồn khác nhau. Người dùng có thể ghép nối các bảng dữ liệu dựa trên các cột chung hoặc kết hợp dữ liệu từ các nguồn khác nhau để tạo ra báo cáo hoặc phân tích toàn diện.
- Cung cấp các công cụ linh hoạt để chỉnh sửa cách ghép nối và kết hợp dữ liệu, bao gồm chọn loại ghép nối (inner join, left join, right join, full outer join), chỉ định cột kết nối và xử lý các trường hợp dữ liệu trùng lắp.
Tạo bước công việc và ghi lại quy trình xử lý dữ liệu
- Power Query cho phép người dùng tạo bước công việc (query) để thực hiện các bước xử lý dữ liệu. Các bước công việc được tạo ra có thể được sử dụng lại và áp dụng cho các tập dữ liệu mới.
- Người dùng có thể ghi lại quy trình xử lý dữ liệu thành mã nguồn M hoặc sử dụng chế độ xem Advanced Editor để chỉnh sửa mã nguồn M trực tiếp.
- Các bước công việc cũng có thể được tự động cập nhật để đồng bộ hóa dữ liệu mới và áp dụng các bước biến đổi dữ liệu đã xây dựng.
Giao diện Power Query Editor
Chúng ta sẽ trải nghiệm Power Query qua giao diện Power Query Editor. Mục tiêu của giao diện này là giúp bạn áp dụng các phép biến đổi bạn cần đơn giản chỉ bằng cách tương tác với thanh công cụ (ribbons), menu, nút và các thành phần tương tác khác thân thiện với người dùng.
Power Query Editor là trải nghiệm chuẩn bị dữ liệu chính, nơi bạn có thể kết nối với nhiều nguồn dữ liệu và áp dụng hàng trăm phép biến đổi dữ liệu khác nhau bằng cách xem trước dữ liệu và chọn các phép chuyển đổi từ giao diện người dùng. Các khả năng chuyển đổi dữ liệu này phổ biến trên tất cả các nguồn dữ liệu, bất kể các giới hạn cơ bản của nguồn dữ liệu có như thế nào.
Khi bạn tạo một bước chuyển đổi mới bằng cách tương tác với các thành phần của giao diện, Power Query sẽ tự động tạo code M thiết để thực hiện chuyển đổi, do đó việc học và tìm hiểu M cũng trở nên trực quan hơn và dễ dàng hơn. KPIM tư vấn các bạn tìm hiểu thêm M vì nó có thể giúp ích trong nhiều tính huống trên thanh công cụ không có tính năng.
Hiện tại, bạn có thể sử dụng Power Query theo 2 cách:
- Power Query Online — Sử dụng trên Power BI Service với các Dataflow, luồng dữ liệu Microsoft Power Platform, luồng dữ liệu kết hợp Azure Data Factory và nhiều tích hợp khác cung cấp trải nghiệm thông qua trang web trực tuyến.
- Power Query cho Desktop — Sử dụng trong phần mềm Excel và Power BI Desktop.
Ghi chú: Mặc dù tồn tại hai cách trải nghiệm Power Query, nhưng cả hai đều cung cấp trải nghiệm người dùng gần như giống nhau trong mọi tình huống.
Thanh công cụ tính năng của Power Query
Công cụ chuyển đổi trong Power Query bao gồm nhiều hàm chuyển đổi được tạo sẵn để có thể được sử dụng thông qua thanh công cụ của Power Query Editor. Những biến đổi này có thể đơn giản như loại bỏ một cột hoặc lọc các hàng, hoặc phổ biến như sử dụng hàng đầu tiên làm tiêu đề bảng. Ngoài ra còn có các tùy chọn chuyển đổi nâng cao như hợp nhất (Merge), nối thêm (Append), nhóm theo (Group By), và Unpivot.
Tất cả các phép biến đổi này có thể thực hiện được bằng cách chọn tùy chọn chuyển đổi trong menu, sau đó áp dụng các tùy chọn cần thiết để đưa ra biến đổi đó. Hình minh họa sau đây cho thấy một số phép biến đổi có sẵn trong Power Query Editor.
Công thức ngôn ngữ Power Query M
Dựa trên kinh nghiệm các dự án, KPIM nhận thấy có nhiều tính huống các tính năng trên thanh công cụ không xử lý được yêu cầu chỉnh sửa dữ liệu. Những biến đổi này có thể yêu cầu sử dụng chuỗi hành động phức tạp mà chưa có trên thanh công cụ.
Power Query sử dụng ngôn ngữ kịch bản đằng sau hậu trường cho tất cả các chuyển đổi Power Query: ngôn ngữ công thức Power Query M, còn được gọi là M. Vì vậy ở các trường hợp đặc biệt ta cần biết sử dụng M.
Ngôn ngữ M là ngôn ngữ chuyển đổi dữ liệu của Power Query. Bất kỳ điều gì xảy ra trong truy vấn đều được viết bằng M. Toàn bộ các hành động của bạn trên thanh công cụ cũng đều là kết quả của 1 dòng câu lệnh M.
Nếu bạn muốn thực hiện các chuyển đổi nâng cao bằng cách sử dụng công cụ Power Query, bạn có thể sử dụng Advanced Editor để truy cập tập lệnh của truy vấn và sửa đổi nó theo ý muốn. Hoặc ngay trên thanh công thức Formula Bar chúng ta cũng có thể tùy chỉnh M của bước hiện tại.
Nếu bạn thấy rằng các chức năng và biến đổi giao diện người dùng không thực hiện các thay đổi chính xác mà bạn cần, hãy sử dụng Advanced Editor và ngôn ngữ M để tinh chỉnh các chức năng và biến đổi của bạn.
Bạn có thể sử dụng Power Query ở đâu?
Bảng sau liệt kê các sản phẩm và dịch vụ của Microsoft nơi có thể sử dụng Power Query.
| Sản phẩm | M Engine | Power Query Desktop | Power Query Online | Dataflows |
| Excel for Windows | x | x | ||
| Excel for Mac | x | |||
| Power BI | x | x | x | x |
| Power Apps | x | x | x | |
| Power Automate | x | x | ||
| Azure Data Factory | x | x | x | |
| SQL Server Integration Services | x | |||
| SQL Server Analysis Services | x | x | ||
| Dynamics 365 Customer Insights | x | x | x |
Tổng kết
Power Query là một công cụ mạnh mẽ cho việc xử lý và biến đổi dữ liệu trong các ứng dụng như Power BI và Excel. Nó cho phép người dùng kết nối và nhập dữ liệu từ nhiều nguồn khác nhau, xử lý dữ liệu, và tạo các bước công việc để biến đổi dữ liệu theo ý muốn.
Qua bài viết này, KPIM đã giới thiệu về Power Query, vai trò và lợi ích của công cụ này trong xử lý dữ liệu. Các tính năng chính và công cụ của nó, cũng như cách tích hợp công cụ này trong Power BI và Excel.
Power Query là một công cụ hữu ích cho việc làm việc với dữ liệu và giúp đạt được sự hiệu quả trong công việc phân tích dữ liệu.
