Xử lý tài liệu hỗn hợp: Tại sao cần thêm tầng phân loại trước khi trích xuất dữ liệu

Hầu hết các pipeline xử lý tài liệu đều dễ dàng xây dựng nếu bạn giả định rằng mỗi lần tải lên là một tài liệu độc lập và có vai trò rõ ràng.

Tuy nhiên, giả định này sẽ nhanh chóng bị phá vỡ khi đưa vào vận hành (production).

Các luồng công việc thực tế thường xuyên nhận được các gói tài liệu hỗn hợp: một hóa đơn kèm theo biên lai, biểu mẫu KYC kèm thẻ căn cước, đơn yêu cầu bồi thường kèm các trang phụ trợ, hoặc các gói giao dịch chứa tài liệu chính và phụ bị trộn lẫn. Nếu tất cả những thứ này được đưa vào một đường dẫn trích xuất (extraction path) mà không thay đổi, việc giải thích dữ liệu đầu ra sẽ trở nên khó khăn hơn nhiều so với mức cần thiết.

Vấn đề phát sinh

Trong thực tế, những thất bại này không trông có vẻ kịch tính, mà mang tính vận hành.

• Các trang phụ trợ bị hiểu nhầm là trang chính.
• Các gói tài liệu chưa hoàn chỉnh được xử lý như một bản gửi đầy đủ.
• Các trường dữ liệu có vẻ giống nhau cạnh tranh lẫn nhau trên các trang phục vụ các vai trò khác nhau.
• Người xem xét (reviewers) phải tốn thời gian để xác định mục đích của trang trước khi có thể đánh giá chất lượng trích xuất.
• Logic lược đồ (schema logic) trở nên phức tạp hơn vì giai đoạn tiếp nhận dữ liệu đã bỏ quên quá nhiều ngữ cảnh.

Đây là lý do tại sao rất nhiều "vấn đề trích xuất" thực chất là vấn đề về trình tự tiếp nhận (intake-order).

Cách tiếp cận thực tế

Nếu tôi thiết kế hệ thống này từ đầu, tôi sẽ thêm một tầng phân loại (triage layer) trước khi thực hiện trích xuất sâu.

Tầng này sẽ thực hiện tốt một vài việc đơn giản sau:

• Phân loại sớm loại tài liệu và trang.
• Giữ nguyên cấu trúc gói tài liệu để các trang vẫn được nhóm lại với nhau.
• Đánh dấu trang neo (anchor page) có khả năng cao nhất cho quy trình công việc.
• Tách biệt các trang phụ trợ khỏi trang chính.
• Định tuyến các gói tài liệu hỗn hợp hoặc không rõ ràng để xem xét sơ bộ trước khi ánh xạ lược đồ đầy đủ.
• Mang vai trò của trang vào quy trình trích xuất xuôi để việc giải thích dữ liệu luôn bám sát thực tế.

Điều này không cần phải hoàn hảo mới hữu ích. Ngay cả một bước phân loại khiêm tốn cũng có thể khiến quá trình trích xuất và xem xét sau này dễ dàng hiểu rõ hơn đáng kể.

Tại sao điều này giúp ích

Có ba lợi ích cụ thể:

1) Trích xuất trở nên dễ giải thích hơn

Nếu hệ thống biết trang nào là neo cho hồ sơ đó, việc ánh xạ trường dữ liệu sẽ dễ dàng được giải thích sau này.

2) Giảm nỗ lực của người xem xét

Người xem xét có thể nhìn thấy ngay vai trò của trang và cấu trúc gói tài liệu sẽ mất ít thời gian hơn để tái tạo lại thủ công hồ sơ đó.

3) Logic lược đồ trở nên ít dễ lỗi hơn

Thay vì sử dụng một đường dẫn trích xuất khổng lồ cố gắng tính toán cho mọi trang có thể xảy ra, bạn có thể giữ phạm vi giải thích tập trung vào các vai trò tài liệu thực tế hơn.

Các đánh đổi

Tất nhiên, vẫn có những sự đánh đổi cần cân nhắc.

• Bạn giờ đây có thêm một giai đoạn trong pipeline.
• Sai sót khi phân loại vẫn có thể xảy ra.
• Bạn cần giữ lại ngữ cảnh ở cấp gói tài liệu thay vì làm phẳng mọi thứ thành một yêu cầu duy nhất.

Nhưng trong hầu hết các quy trình làm việc với gói tài liệu hỗn hợp, những đánh đổi này rẻ hơn nhiều so với chi phí dài hạn của việc ép buộc mọi trang phải đi qua cùng một logic xử lý.

Ghi chú triển khai

Một triển khai nhẹ nhàng có thể bắt đầu với:

• Nhóm tài liệu ở cấp gói (packet-level grouping).
• Phân loại loại trang.
• Gắn nhãn vai trò.
• Định tuyến xem xét cho các gói không rõ ràng.

Chỉ sau đó tôi mới mới đầu tư vào các hành vi trích xuất phức tạp hơn.

Một sai lầm phổ biến là đẩy sự phức tạp vào bộ trích xuất trước. Điều này thường làm cho đầu ra trông thông minh hơn trong khi khiến quy trình công việc trở nên khó tin cậy hơn.

Cách tôi đánh giá điều này

• Hệ thống có thể giữ nguyên cấu trúc gói tài liệu không?
• Nó có phân biệt được trang chính và trang phụ không?
• Người xem xét có thể thấy vai trò của trang nhanh chóng không?
• Việc phân loại có làm giảm các ánh xạ trường dữ liệu mơ hồ không?
• Lược đồ xuôi (downstream schema) có dễ lý giải hơn sau thay đổi không?

Rất nhiều hệ thống tài liệu trở nên đáng tin cậy hơn không phải vì tầng trích xuất trở nên mạnh mẽ hơn, mà bởi vì đường dẫn tiếp nhận đầu vào trở nên kỷ luật hơn.