Thiết kế lại quy trình trích xuất bảng từ PDF ngân hàng: Một cách tiếp cận đa tầng với Java

Trong lĩnh vực ngân hàng và công nghệ tài chính (fintech), các bản kế hoạch kỹ thuật thường tập trung vào API, xử lý thời gian thực hay di chuyển đám mây. Tuy nhiên, nhiều quy trình công việc quan trọng vẫn phụ thuộc vào một trong những định dạng kém cấu trúc nhất trong hệ thống doanh nghiệp: PDF. Các sao kê ngân hàng, báo cáo giao dịch và tài liệu khách hàng thường đến dưới dạng PDF, và việc trích xuất dữ liệu từ chúng để phục vụ phân tích hoặc kiểm tra tuân thủ là một thách thức lớn.

PDF được tối ưu hóa cho độ trung thực thị giác chứ không phải dữ liệu ngữ nghĩa. Các bảng trong PDF hiếm khi được biểu diễn dưới dạng đối tượng bảng thực sự; thay vào đó, các cột được ngụ ý bằng khoảng cách và các hàng được ngụ ý bằng sự căn chỉnh. Điều này dẫn đến việc các thuật toán phân tích cú pháp truyền thống thường thất bại khi gặp các thay đổi về bố cục, ô gộp hoặc các trang được quét.

Tại sao phân tích luồng (Stream Parsing) thất bại trong thực tế

Đối với các tệp PDF dựa trên văn bản, điểm khởi đầu phổ biến là trình phân tích luồng. Phương pháp này trích xuất các đoạn văn bản có tọa độ, nhóm chúng thành các dòng dựa trên vị trí Y và chia dòng thành các cột dựa trên phạm vi X. Mặc dù phương pháp này hoạt động tốt trong môi trường phát triển với dữ liệu sạch, nó dễ bị vỡ trong môi trường sản xuất.

Một vấn đề phổ biến là "trôi dạt bố cục" (layout drift), nơi vị trí X thay đổi do sự khác biệt về phông chữ hoặc bản cập nhật mẫu. Một sự thay đổi nhỏ vài pixel có thể khiến một giá trị số bị gán sai cột. Ngoài ra, các giao dịch trải dài trên nhiều dòng hoặc nội dung hỗn hợp (ví dụ: biểu phí hoặc biểu đồ tiếp thị) cũng khiến các thuật toán đơn giản bị nhầm lẫn.

Kỹ thuật Lattice và vai trò của OCR

Để xử lý các tài liệu được quét hoặc các bảng có đường kẻ, kỹ thuật phân tích lattice (dạng lưới) thường được sử dụng. Thay vì dựa vào căn chỉnh văn bản, phương pháp này phát hiện các đường kẻ ngang và dọc để xây dựng lưới ô. Sau đó, công nghệ OCR (Nhận dạng ký tự quang học) được áp dụng để trích xuất văn bản vào các ô đó.

Tuy nhiên, lattice parsing cũng không phải là giải pháp toàn diện. Nó có thể thất bại khi các đường lưới bị thiếu, bị đứt đoạn, hoặc khi có các yếu tố nhiễu như hình mờ (watermark). OCR cũng tự giới thiệu các lỗi của riêng mình như nhận diện sai ký tự (ví dụ: số 0 và chữ O) hoặc nhiễu hộp giới hạn (bounding box).

Tiếp cận kiến trúc lai: Xác thực và Chấm điểm

Thay vì cố gắng chọn một trình phân tích "tốt nhất", giải pháp sản xuất hiệu quả nhất là sử dụng kiến trúc lai có khả năng chọn kết quả tốt nhất tại thời điểm chạy. Cách tiếp cận này yêu cầu ba khả năng chính: nhiều chiến lược trích xuất, xác thực và chấm điểm, và hành vi dự phòng rõ ràng.

Quy trình này hoạt động bằng cách chạy cả trình phân tích luồng và lattice trên cùng một tài liệu. Mỗi kết quả sẽ được chấm điểm dựa trên các tín hiệu như độ khớp của tiêu đề bảng, tỷ lệ phân tích cú pháp ngày tháng thành công, và tính nhất quán của hàng. Hệ thống sẽ so sánh các điểm số và trả về kết quả đáng tin cậy nhất.

"Mục tiêu không phải là sự hoàn hảo, mà là bắt được các chế độ thất bại có vẻ hợp lệ nhưng về mặt cấu trúc là sai."

Kết luận

Trích xuất bảng PDF trong hệ thống doanh nghiệp là một vấn đề kiến trúc, không chỉ là lựa chọn thư viện. Việc kết hợp xác thực xác định với các kỹ thuật tiên tiến như OCR và Học máy (ML) có thể cải thiện đáng kể độ tin cậy. Tuy nhiên, trong các hệ thống được quản lý chặt chẽ như ngân hàng, các hỗ trợ của ML phải được bảo vệ bởi các kiểm tra xác thực để đảm bảo tính khả thi và khả năng kiểm toán.