Khái niệm về chất lượng dữ liệu (Data quality)

Hiện nay, các nhà khoa học cũng như các chuyên gia trong các lĩnh vực vẫn chưa đưa ra thống nhất chung về định nghĩa chất lượng dữ liệu. Do đó, thuật ngữ này được định nghĩa dựa trên nhiều quan điểm cũng như trên các phương diện khác nhau. Theo cách tiếp cận cổ điển, chất lượng dữ liệu là “phù hợp để sử dụng”, tức là mức độ mà dữ liệu phục vụ thành công các mục đích của người dùng7, 15. Định nghĩa này chủ yếu dựa vào bối cảnh và mang tính tương đối. Tuy nhiên, theo quan điểm nhận thức về đánh giá chất lượng dữ liệu trong bối cảnh7, các mô hình đánh giá chất lượng thông tin thường có xu hướng bỏ qua tác động của chất lượng theo bối cảnh đối với việc sử dụng thông tin và kết quả ra quyết định. Theo định nghĩa của Jurand và Godfrey (1999)16, chất lượng dữ liệu đề cập đến vấn đề “dữ liệu có chất lượng cao nếu dữ liệu đáp ứng được nhu cầu sử dụng cho vận hành, ra quyết định và lập kế hoạch”. Ngoài ra, dữ liệu phải liên quan đến mục đích sử dụng, đủ chi tiết, đủ số lượng, với độ chính xác cao và đầy đủ, thống nhất với các nguồn dữ liệu khác và được trình bày một cách hợp lý. Dữ liệu có giá trị là trung tâm của các hoạt động cấp chiến lược, tác nghiệp và vận hành của mỗi tổ chức. Dữ liệu có chất lượng cao được cung cấp đúng thời điểm sẽ hỗ trợ doanh nghiệp ra quyết định đúng và giúp cho doanh nghiệp thành công trong kinh doanh.

Các nghiên cứu chỉ ra rằng có nhiều cách phân loại chất lượng dữ liệu khác nhau17, 18. Cụ thể, Ballou và Pazer (1985) đã phân chia chất lượng dữ liệu thành bốn khía cạnh bao gồm: độ chính xác, tính kịp thời, tính đầy đủ và tính nhất quán17. Theo nhóm tác giả này, độ chính xác là dễ đánh giá nhất, vì đây chỉ là sự khác biệt giữa giá trị chính xác và giá trị thực tế được ghi lại. Tương tự, việc đánh giá tính kịp thời cũng có thể được thực hiện theo cách trên trong khí đó, việc đánh giá tính đầy đủ cũng tương đối đơn giản, miễn là dữ liệu có đầy đủ hay không hơn là mức độ hoàn chỉnh của dữ liệu. Mặt khác, việc đánh giá tính nhất quán khá phức tạp do đòi hỏi phải có hai hoặc nhiều sơ đồ biểu diễn để so sánh17. Trong khi đó, Wand và Wang đã giới hạn chất lượng dữ liệu nội tại và xác định bốn yếu tố nội tại, bao gồm tính đầy đủ, tính rõ ràng, tính có ý nghĩa và tính đúng đắn18. Theo nghiên cứu của Redman về tác động của chất lượng xấu đến doanh nghiệp, việc phân loại dữ liệu của một doanh nghiệp có thể theo các vấn đề như chế độ xem dữ liệu (mức độ liên quan, mức độ chi tiết); giá trị dữ liệu (độ chính xác, tính nhất quán, đơn vị và tính đầy đủ); trình bày dữ liệu (tính thích hợp của định dạng, tính dễ giải thích); và các vấn đề như quyền riêng tư, bảo mật và quyền sở hữu19. Trong khi đó, Wang và Strong chia chất lượng dữ liệu thành bốn loại bao gồm tính nội tại với các khía cạnh như độ tin cậy, độ chính xác, tính khách quan và danh tiếng; theo ngữ cảnh; tính đại diện; và khả năng truy cập (Table 1)18. Ngoài ra, Haug và cộng sự đã xác định ba loại chất lượng dữ liệu bao gồm tính nội tại, khả năng truy cập và tính hữu ích9. Về cơ bản, Haug và cộng sự9 ủng hộ định nghĩa do Wang và Strong20 và Wang21 đề xuất nhưng họ cho rằng “chất lượng dữ liệu mang tính đại diện” có thể được coi là một dạng của “chất lượng dữ liệu có khả năng truy cập”.

Nhìn chung, dữ liệu có chất lượng cao khi mà dữ liệu phù hợp cho mục đích sử dụng khi doanh nghiệp cần. Điều này có nghĩa rằng dữ liệu phụ thuộc vào hoàn cảnh mà dữ liệu được sử dụng, nên không thể so sánh chất lượng tuyệt đối. Do đó, để định nghĩa chất lượng dữ liệu cần tuân những tiêu chí cơ bản sau: i) Tính hoàn chỉnh (dữ liệu không thiếu và phải đầy đủ); ii) Tính giá trị (dữ liệu phù hợp với qui định); iii) Tính đơn nhất (dữ liệu không bị trùng lặp); iv) Tính thống nhất (dữ liệu thống nhất xuyên suốt các kho dữ liệu); v) Tính đúng thời gian (dữ liệu phải có thực khi cần); vi) Tính chính xác (dữ liệu phải thể hiện được thực tế); vii) Tính kịp thời (dữ liệu phải cập nhật và kịp thời); viii) Tính bảo mật (dữ liệu phải được kiểm soát và giám sát); ix) Tính nhất quán (dữ liệu giống nhau cho tất cả các trường hợp).

Các vấn đề về chất lượng dữ liệu và dữ liệu xấu

Dữ liệu và thông tin chính là “nguồn sống” của mọi cá nhân, tổ chức, xã hội nhất là trong nền kinh tế số hiện nay. Đặc biệt đối với doanh nghiệp, trong thời đại thông tin, dữ liệu được xem là tài sản vô giá. Nếu như doanh nghiệp không hiểu, nắm bắt rõ và đầy đủ tầm quan trọng của dữ liệu và thông tin trong nền kinh tế số thì không thể tồn tại và phát triển. Do được xem là tài sản của doanh nghiệp nên dữ liệu không chỉ giúp doanh nghiệp đạt được mục tiêu chiến lược mà còn giúp quản lý một cách toàn diện. Không có doanh nghiệp nào quản lý có hiệu quả và hiệu lực nếu như không có dữ liệu có chất lượng cao. Theo Hiệp hội quản lý dữ liệu (DAMA – DAta Management Association), dữ liệu có chất lượng cao là dữ liệu đáp ứng nhu cầu và mong đợi của ngưởi sử dụng, hay nói cách khác là phù hợp với mục đích sử dụng của người dùng. Ngược lại nếu dữ liệu không phù hợp với mục đích sử dụng được xem là dữ liệu có chất lượng kém hay dữ liệu xấu22. Doanh nghiệp dựa vào dữ liệu để ra quyết định, các nhà lãnh đạo dựa vào dữ liệu để tạo lợi thế cạnh tranh thông qua việc am hiểu khách hàng, sử dụng thông tin cải tiến, và vận hành hiệu quả. Do đó việc cải thiện dữ liệu xấu là hết sức quan trọng và cấp thiết22.

Theo Berti-Equille và Dasu23, các vấn đề liên quan đến chất lượng dữ liệu xấu bao gồm thiếu dữ liệu (missing data), dữ liệu bị sai (erroneous data), dữ liệu bất thường (data anomalies), trùng lặp (duplicates), không thống nhất (inconsistent data), dữ liệu lỗi thời (out-of-date data), chưa được chuẩn hóa (undocumented data). Các dạng dữ liệu được biểu diễn dưới dạng liên tục (continuous), rời rạc (discrete), nhị phân (binary), chuỗi (sequence), định danh (nominal), định khoảng (categorical), đa phương tiện (multimedia) hay địa lý (geomedia). Các dữ liệu đặt trong mối quan hệ cấu trúc (structural), chuỗi (sequential), đồ thị (graph-based), theo thời gian (temporal), theo không gian (special), theo không gian-thời gian (spatio-tempo). Việc dò tìm dữ liệu xấu dựa trên mô hình (model-based), phân phối dữ liệu (data distribution-based), ràng buộc (constraint-based), mẫu (pattern-based). Figure 1 minh họa các dạng dữ liệu và vấn đề của chất lượng dữ liệu. Bên cạnh đó, theo Berti-Equille và Dasu23, các dạng lỗi thường gặp của dữ liệu là biểu diễn không theo chuẩn (non-standard representation) lỗi đánh máy (typos), trùng lặp (duplicates), sai trường dữ liệu (misfieded value), không thống nhất (inconsistency), giá trị cũ (obsolete value), giá trị bị thiếu (missing value), giá trị bị sai (incorrect value), giá trị không hoàn chỉnh (incomplete value). Figure 2 minh họa các dạng lỗi của dữ liệu.

Các mô hình và công cụ quản lý chất lượng dữ liệu.

Ngày nay, khảo cứu lý thuyết chỉ ra rằng có nhiều mô hình và bộ khung khác nhau về quản lý chất lượng dữ liệu24. Mô hình sơ khởi quản lý chất lượng dữ liệu toàn diện (TDQM – Total Data Quality Management) được phát triển bởi Wang dựa trên triết lý và mô hình quản lý chất lượng toàn diện (TQM) – Total Quality Management), xem dữ liệu như là sản phẩm vật lý trong dòng sản xuất từ đầu vào đến đầu ra21. Chất lượng của dữ liệu được cải thiện thông qua vòng tròn Deming: Lập kế hoạch (Plan), thực hiện (Do), kiểm tra (Check), và hành động (Act)21. English Lary phát triển mô hình quản lý chất lượng thông tin toàn diện (TIQM – Total Information Quality Management) thiết lập môi trường chất chất lượng, đánh giá định nghĩa dữ liệu và chất lượng kiến trúc, đo lường chi phí chất lượng do dữ liệu xấu, tái cấu trúc và làm sạch dữ liệu, và cải thiện quy trình25. Ryu và cộng sự26 chỉ ra rằng chất lượng giá trị dữ liệu và chất lượng dịch vụ dữ liệu thấp là do cấu trúc dữ liệu thấp; vì vậy nhóm tác giả này đề xuất quản trị siêu dữ liệu (metadata) và mô hình trưởng thành quản lý chất lượng dữ liệu (Data Quality Management Maturity Model) với 4 cấp độ. Cấp độ 1 là bước quản lý dữ liệu ban đầu và quản lý chất lượng cấu trúc dữ liệu thông qua các quy tắc. Cấp độ 2 mô hình hóa dữ liệu mức logic và vật lý. Cấp độ 3 tiêu chuẩn hóa dữ liệu. Cấp độ 4 là tối ưu hóa dữ liệu thông quản lý kiến trúc dữ liệu.

Viện thông tin sức khỏe của Canada (CIHI – Canadian Institute for Health Information) đề xuất mô hình chất lượng dữ liệu CIHI, tiếp cận quản lý đối tượng dữ liệu thông qua quy trình dòng dữ liệu (data flow process) và sử dụng phương pháp cải tiến liên tục (continuous improvement). Ba thành phần chính của mô hình bao gồm vòng tròn công việc chất lượng dữ liệu, công cụ đánh giá chất lượng dữ liệu, và tài liệu hóa chất lượng dữ liệu27. Cùng tư duy về quản lý theo tiến trình thay thì quản lý chất lượng dựa trên kết quả, Kim và Lee đề xuất mô hình quản lý chất lượng dữ liệu tổng thể dựa theo triến trình (process-centric)28. Ba tiến trình chức năng là biên tập dữ liệu (data manipulation), giám sát chất lượng (quality monitoring), and cải thiện chất lượng (quality improvement), kết hợp với ba vai trò của nhà quản lý, người kiểm soát, và người sử dụng; tạo nên ma trận 3x3 của tiến trình chất lượng dữ liệu. Dựa trên mô hình này, Trần và cộng sự đề xuất mô hình kết hợp giữa đội ngũ quản lý dữ liệu (data stewards) và quản lý dòng dữ liệu (data flow management)29. Tóm lại, ngày nay có rất nhiều mô hình và bộ khung trong quản lý chất lượng dữ liệu và chưa có sự thống nhất chung ngoại trừ bộ tiêu chuẩn chất lượng dữ liệu ISO 8000 mà tổ chức quốc tế vì tiêu chuẩn hóa đang biên soạn và hoàn thiện.

Đi kèm với các triết lý, mô hình, bộ khung về chất lượng dữ liệu, để mô hình hóa các dữ liệu, các học giả và chuyên gia sử dụng đa dạng các công cụ và phần mềm để quản lý. Trong đó chúng ta cần phải kể đến công cụ IDEF0 (Definition for Function Modelling) của Hoa Kỳ; IPMAP (Information Quality MAP) của Shankaranarayanan và Wang30, kết hợp giữa IPMAP và UML (IP-UML)31. Các phần mềm thông dụng ngày nay có chức năng quản lý chất lượng dữ liệu phải kể đến Informatica Data Quality, Oracle Enterprise Data Quality, SAP Data Services, SAP Information Steward, IBM Inforsphere Information, Microsoft Data Quality Service.

Phương pháp đánh giá những tác động

Phạm vi nghiên cứu tác động của chất lượng dữ liệu đến doanh nghiệp là phát triển phương pháp đánh giá những tác động, kiểm soát tác động là tích cực hay tiêu cực. Theo đó, có năm lĩnh vực cần phân nhỏ để nghiên cứu tác động, bao gồm: các hệ thống ứng dụng Công nghệ thông tin (CNTT) trong doanh nghiệp và bị tác động bởi chất lượng dữ liệu như Quản trị quan hệ khách hàng (CRM – Customer Relationship Management), Quản trị tri thức (KM – Knowledge Management), Quản trị chuỗi cung ứng (SCM – Supply Chain Management), Lập kế hoạch nguồn lực doanh nghiệp (ERP – Enterprise Resource Planning); kết quả hoạt động kinh doanh của tổ chức và cá nhân, phân tích lợi ích chi phí, và ảnh hưởng đến hoạt động vận hành; lĩnh vực quản lý CNTT, đầu tư dự án CNTT, quản trị CNTT; thay đổi tiến trình kinh doanh và tổ chức; và cuối cùng là lĩnh vực chiến lược và chính sách.

Chất lượng dữ liệu xấu

Theo nghiên cứu của Gartner34, chất lượng dữ liệu xấu là nguyên nhân chính của 40% tất các hoạt động và dự án kinh doanh thất bại trong việc đạt được mục tiêu lợi nhuận. Chất lượng dữ liệu xấu làm giảm năng suất lao động đến 20%. Khi mà các tiến trình kinh doanh được tự động hóa, chất lượng dữ liệu trở thành nhân tố quyết định đến chất lượng toàn bộ quy trình kinh doanh. Cụ thể, chất lượng dữ liệu tác động lên ba yếu tố của doanh nghiệp. Yếu tố thứ nhất là quản lý các tiến trình kinh doanh (BPM - Business Processes Management). Ngày nay, các tiến trình kinh doanh được số hóa và công nghệ thông tin giúp tự động hóa trong các giao dịch, như tự động bán hàng, thiết kế, gia công sản phẩm mới, tuyển dụng, vấn đề dữ liệu trở nên quan trọng. Chi phí ước tính cho việc quản lý dữ liệu là 20% so với tổng chi phí các tiến trình kinh doanh. Nếu doanh nghiệp chi tiêu cho 100 triệu đô-la cho toàn bộ hoạt động bán hàng tự động thì vấn đề quản lý chất lượng dữ liệu có chi phí 20 triệu đô-la. Chi phí này không được tính một lần mà là con số tích lũy theo hàng năm. Do đó, chi phí về vấn đề chất lượng dữ liệu trong giao dịch là rất lớn. Yếu tố thứ hai là năng suất (Productivity). Tại Mỹ, nhờ ứng dụng công nghệ thông tin vào trong công việc nên năng suất lao động tăng hàng năm khoảng 2%, với năng suất trung bình của lao động nước Mỹ là 70%. Sự tăng trưởng năng suất này tiết kiệm được trung bình 20 triệu đô-la cho doanh nghiệp, nhưng vấn đề chất lượng dữ liệu xấu lại gây thiệt hại 10% trong khoảng tiết kiệm này. Yếu tố thứ ba là ra quyết định (Decision making). Theo tính toán, có 60% mục tiêu lợi nhuận đạt được, điều này đồng nghĩa với 40% là không đạt được mục tiêu trong quá trình ra quyết định. Ước tính trung bình các doanh nghiệp Mỹ tổn thất khoảng 2 triệu đô cho việc chất lượng dữ liệu xấu34.

Quản lý dữ liệu

Theo Redman (1998)19, những vấn đề thường gặp trong quản lý dữ liệu là dữ liệu không chính xác (inaccurate data) – nếu dữ liệu bị sai từ 1% đến 5% trong trường dữ liệu thì được xem là lỗi; sự không thống nhất trong cơ sở dữ liệu; dữ liệu cần cho hoạt động vận hành và ra quyết định nhưng không có. Từ đó, có những tác động đến doanh nghiệp ở các cấp độ khác nhau. Cụ thể, thứ nhất ở cấp hoạt động (Operational level), chất lượng dữ liệu xấu tác động trực tiếp đến sự không hài lòng của khách hàng, gia tăng chi phí (theo đánh giá là từ 8% đến 12%), và làm giảm sự hài lòng của nhân viên. Ví dụ đối với khách hàng, nếu dữ liệu bị sai tên hay sai địa chỉ được ghi trên sản phẩm hoặc dịch vụ phân phối đến khách hàng sẽ dẫn đến mất thời gian và chi phí cho việc giao hàng lại. Lỗi nhỏ nhưng gây ra thiệt hại lớn cho cả khách hàng và doanh nghiệp. Thứ hai, ở cấp chiến lược (Stategic level), chất lượng dữ liệu xấu tác động đến chiến lược không rõ ràng hơn so với cấp tác nghiệp vì chiến lược mang tính chất lâu dài và yêu cầu dữ liệu không những bên trong mà còn bên ngoài. Do đó, tác động đến cấp chiến lược là khó đánh giá và mang tính tiềm ẩn. Tuy nhiên, chất lượng dữ liệu xấu dẫn đến khó khăn cho ban giám đốc hoạch định chiến lược, thực thi chiến lược, xác định vấn đề liên quan đến sở hữu dữ liệu, đồng bộ hóa các hoạt động của tổ chức, và làm sai lệch trong quản trị. Thứ ba, sẽ gây ra một số tác động điển hình khác (typical impacts) như chất lượng dữ liệu xấu sẽ ảnh hưởng đến tiêu cực trong việc ra quyết định (garbage in, garbage out), làm mất thời gian trong việc quản lý kho dữ liệu (data warehouses), làm khó cho việc tái kiến trúc doanh nghiệp, và giảm lòng tin của tổ chức.

Phân loại các loại chi phí

Có nhiều lập luận khác nhau về việc phân loại các loại chi phí mà doanh nghiệp phải chịu khi gặp vấn đề về chất lượng dữ liệu xấu34, 35. Theo nghiên cứu của Eppler và Helfert 35, có hai loại chi phí về chất lượng dữ liệu chính doanh nghiệp sẽ bị tổn thất trong đó chia ra làm năm loại cụ thể bao gồm chi phí trực tiếp, chi phí gián tiếp, chi phí phòng ngừa, chi phí tìm lỗi, chi phí sửa chữa (Table 2). Gartner 34 cho rằng vấn đề chất lượng dữ liệu ảnh hưởng không chỉ đến bộ phận công nghệ thông tin mà còn ảnh hưởng liên đới đến những bộ phận khác trong doanh nghiệp (Table 3). Đối với bộ phận marketing và bán hàng, các dữ liệu về sản phẩm và khách hàng bị sai hoặc không chính xác sẽ gây mất lòng tin, giảm sự hài lòng hay mất thời gian cho khách hàng. Khách hàng sẽ bỏ đi tìm nhà cung cấp khác để nhận cung cấp dịch vụ. Đối với bộ phận tài chính và kế toán, dữ liệu sai sót về doanh thu, lợi nhuận, chi phí sẽ ảnh hưởng đến việc lập sai ngân sách, các mục tiêu về tài chính; khó kiểm soát mục tiêu chiến lược và mức độ hoàn thành công việc. Các chỉ số tài chính không phản ánh đúng thực trạng doanh nghiệp. Đối với bộ phận mua hàng trong chuỗi cung ứng, việc sai sót dữ liệu sẽ sai số lượng và thời gian giao nhận hàng, có những lúc thiếu hàng và thừa hàng. Hoặc sản phẩm được tồn kho lâu ngày do dữ liệu thông báo bị sai dẫn đến sản phẩm có khả năng bị hư hỏng, không hợp thời, giảm giá trị. Đối với bộ phận CNTT, dữ liệu sai sót ảnh hưởng đến quyết định đầu tư hay không đầu tư dự án CNTT cho các giai đoạn tiếp theo của doanh nghiệp. Theo nghiên cứu của Spruit và Linden36, dữ liệu không có chất lượng cao có thể gây ra 13 tác động đến hoạt động doanh nghiệp, bao gồm (1) mất cơ hội bán hàng, (2) chi phí dịch vụ khách hàng tăng, (3) giảm hài lòng của khách hàng, (4) giảm doanh thu, (5) giảm hiệu quả vận hành, (6) trì trệ hệ thống, (7), không tuân thủ quy định, quy chế doanh nghiệp, (8) ra quyết định kém, (9) mất cơ hội kinh doanh, (10) giảm lòng tin/ đạo đức của nhân viên, (11) giảm độ tin cậy của hệ thống.

Tóm lại, có rất nhiều nghiên cứu chỉ ra những tác động của dữ liệu chất lượng xấu đến hoạt động của doanh nghiệp, bao gồm ảnh hưởng xấu đến quá trình ra quyết định, tiến trình kinh doanh, các hoạt động cấp chiến lược, chiến thuật và tác nghiệp của doanh nghiệp (Figure 3). Trong khi đây là những hoạt động có tác động đến giá trị lâu dài của doanh nghiệp.