Chuẩn hóa dữ liệu chủ trước khi số hóa: làm sạch danh mục đang có
Số hóa một danh mục lộn xộn không làm nó gọn lại, chỉ làm sai sót nhân bản nhanh hơn. Bốn bước làm sạch danh mục sản phẩm, đối tác và địa điểm trước khi đưa vào hệ thống, kèm cách xử lý dữ liệu lịch sử đã trót sai.
Chuẩn hóa dữ liệu chủ là việc làm sạch ba danh mục nền — sản phẩm, đối tác và địa điểm — trước khi đưa chúng vào hệ thống. Đây là bước tốn công nhất của một dự án truy xuất, và cũng là bước dễ bị bỏ qua nhất vì nó không tạo ra thứ gì nhìn thấy được.
Bài này không liệt kê những nhóm dữ liệu cần có — phần đó ở bài dữ liệu cần chuẩn bị cho truy xuất nguồn gốc. Bài này nói về việc làm sạch danh mục doanh nghiệp đang có, thường nằm rải trong vài tệp bảng tính và trong đầu vài người.
Ba dấu hiệu danh mục đang có vấn đề
Không cần kiểm tra kỹ cũng nhận ra, nếu gặp một trong ba dấu hiệu sau:
- Cùng một sản phẩm có nhiều cách gọi. Bộ phận sản xuất gọi một kiểu, kinh doanh gọi kiểu khác, kế toán gọi kiểu thứ ba. Khi đối chiếu số liệu giữa ba bộ phận, người ta phải dịch thủ công.
- Không ai chắc bản nào là bản mới nhất. Danh mục tồn tại ở nhiều tệp, mỗi tệp được một người cập nhật, và không có bản nào được coi là bản gốc.
- Sản phẩm ngừng sản xuất vẫn nằm trong danh mục lẫn với sản phẩm đang bán, không có cách phân biệt.
Ba dấu hiệu này đều vô hại khi làm thủ công, vì con người tự hiểu. Chúng trở thành vấn đề ngay khi đưa vào hệ thống, vì máy không tự hiểu được.
Chuẩn hóa dữ liệu chủ bước 1 — gộp bản ghi trùng
Việc đầu tiên là tìm những bản ghi thực chất là một nhưng đang tồn tại nhiều lần. Ba chỗ hay trùng nhất:
- Sản phẩm — khác nhau ở dấu cách, viết hoa, hoặc phần mô tả quy cách.
- Đối tác — cùng một công ty nhập hai lần với hai cách viết tên, thường do có và không có phần loại hình doanh nghiệp.
- Địa điểm — cùng một kho hoặc cửa hàng ghi hai kiểu địa chỉ.
Cách làm thực tế: sắp xếp danh mục theo tên, đọc từ trên xuống, đánh dấu các cặp nghi trùng, rồi hỏi người phụ trách xác nhận từng cặp. Không nên tự động gộp bằng công thức, vì hai sản phẩm tên gần giống nhau có thể là hai sản phẩm thật sự khác.
Bước 2 — Đặt quy tắc đặt tên và mã
Sau khi gộp, cần một quy tắc để danh mục không lại loạn lên sau ba tháng. Quy tắc tốt có ba đặc điểm:
- Viết được thành một trang. Quy tắc dài hơn một trang thì không ai nhớ và không ai theo.
- Tách phần tên khỏi phần mã. Tên để người đọc, mã để máy đối chiếu. Trộn hai thứ vào một trường là nguồn gốc của phần lớn rắc rối về sau.
- Có chỗ cho trường hợp mới. Quy tắc chỉ phủ những gì đang có sẽ vỡ ngay khi ra sản phẩm mới.
Với mã định danh sản phẩm, nên tách bạch ba khái niệm ngay từ bước này: mã định danh loại sản phẩm, số lô, và serial nếu có. Phân biệt ba thứ này được trình bày ở bài GTIN, số lô và serial khác nhau thế nào.
Bước 3 — Xác định bản ghi gốc
Đây là bước ít tốn công nhất nhưng quan trọng nhất về lâu dài: chọn một nơi duy nhất là nguồn chính thức cho mỗi danh mục, và công bố cho cả công ty biết.
Nguyên tắc: mỗi danh mục có một chủ sở hữu là một người hoặc một bộ phận, và mọi thay đổi đi qua người đó. Các hệ thống khác đọc từ nguồn này, không tự giữ bản riêng.
Không có bước này thì bước 1 và bước 2 chỉ có tác dụng vài tháng, sau đó danh mục lại phân nhánh như cũ.
Bước 4 — Xử lý dữ liệu lịch sử
Đây là bước gây tranh cãi nhất trong mọi dự án. Dữ liệu cũ đã ghi theo quy tắc cũ, và việc sửa lại toàn bộ thường không khả thi.
Ba cách xử lý, tùy tình huống:
- Vạch mốc và không sửa ngược. Chọn một ngày, từ đó trở đi theo quy tắc mới, dữ liệu trước mốc giữ nguyên và đánh dấu rõ. Đây là cách phù hợp với phần lớn doanh nghiệp.
- Ánh xạ hai chiều. Giữ một bảng nối mã cũ với mã mới, để tra cứu dữ liệu lịch sử vẫn ra kết quả. Tốn công hơn nhưng giữ được tính liên tục.
- Chuyển đổi toàn bộ. Chỉ khả thi khi khối lượng nhỏ hoặc khi dữ liệu cũ vốn đã khá sạch.
Điều không nên làm là vừa dùng quy tắc mới vừa để dữ liệu cũ lẫn vào không đánh dấu. Khi đó không ai biết một bản ghi thuộc thời kỳ nào, và sai sót phát sinh im lặng.
Vì sao nên làm trước khi chọn hệ thống
Nhiều doanh nghiệp làm ngược: chọn phần mềm trước, rồi làm sạch dữ liệu trong lúc triển khai. Cách này có hai vấn đề.
Thứ nhất, thời gian triển khai bị kéo dài bởi một việc lẽ ra làm được trước, và doanh nghiệp trả tiền cho thời gian đó.
Thứ hai, danh mục sạch là thứ dùng để thử hệ thống. Khi đánh giá nhà cung cấp, đưa danh mục thật của mình vào chạy thử cho kết quả khác hẳn so với chạy trên dữ liệu mẫu của họ. Không có danh mục sạch thì không thử được như vậy.
Trình tự trước khi đặt in mã được trình bày ở bài đăng ký mã số mã vạch trước khi in tem.
Câu hỏi thường gặp
Mất bao lâu để làm sạch một danh mục?
Phụ thuộc số lượng bản ghi và mức độ lộn xộn. Với danh mục vài trăm sản phẩm, phần gộp trùng thường mất vài ngày; phần khó là thống nhất quy tắc giữa các bộ phận, và đó là việc của người quản lý chứ không phải việc kỹ thuật.
Có nên thuê ngoài việc này không?
Phần rà soát kỹ thuật thì được. Phần quyết định hai bản ghi có phải một hay không thì không, vì chỉ người trong doanh nghiệp mới biết.
Danh mục đối tác có cần sạch như danh mục sản phẩm không?
Có, và thường bị bỏ qua hơn. Khi cần biết một lô hàng đã giao cho ai, danh mục đối tác lộn xộn khiến việc khoanh vùng mất thêm nhiều giờ.
Làm sao giữ cho danh mục không loạn lại?
Bước 3 là câu trả lời: một nguồn chính thức, một người chịu trách nhiệm, mọi thay đổi đi qua đó. Không có cơ chế này thì mọi đợt làm sạch đều chỉ có tác dụng tạm thời.
Việc nên làm trong tuần này
Lấy danh mục sản phẩm hiện tại, sắp xếp theo tên và đọc từ trên xuống. Đếm xem có bao nhiêu cặp nghi trùng và bao nhiêu sản phẩm không còn bán. Hai con số đó cho biết khối lượng công việc thật, và thường lớn hơn ước lượng ban đầu.