Gán nhãn ưu tiên RLHF/DPO tiếng Việt: điều người bản ngữ phát hiện

💡 Gán nhãn ưu tiên RLHF và DPO cho tiếng Việt yêu cầu người bản ngữ vì sáu thanh điệu, hệ thống đại từ nhân xưng theo quan hệ gia đình và hai tầng từ vựng (Hán Việt và thuần Việt) tạo ra các lỗi gán nhãn mà hệ thống tự động và người không phải bản ngữ không thể phát hiện đáng tin cậy. Bảng kiểm tra trong bài chỉ rõ từng điểm cần người bản ngữ thực sự.

Gán nhãn ưu tiên RLHF/DPO là gì và tại sao tiếng Việt cần xử lý đặc biệt?

Gán nhãn ưu tiên RLHF cho tiếng Việt là mời người gán nhãn so sánh từng cặp câu trả lời LLM cho cùng một câu hỏi tiếng Việt và đánh dấu câu nào tốt hơn (chosen) và câu nào kém hơn (rejected). Tập dữ liệu này dùng để huấn luyện mô hình phần thưởng hoặc, theo phương pháp Direct Preference Optimization (DPO), để fine-tune trực tiếp mô hình ngôn ngữ mà không cần mô hình phần thưởng riêng biệt. DPO thực tế hơn cho tiếng Việt vì cần ít dữ liệu hơn và ít nhạy cảm hơn với nhiễu gán nhãn.

Tiếng Việt là ngôn ngữ đơn lập có thanh điệu: một dấu phụ sai là ranh giới giữa câu có nghĩa và câu vô nghĩa. Từ ma có sáu nghĩa khác nhau tùy theo thanh điệu: ma (ma quỷ), má (mẹ), mà (nhưng), mả (mộ), mã (mật mã), mạ (cây lúa non). Gán nhãn ưu tiên mà người gán nhãn không phát hiện được dấu thanh sai là dữ liệu nhiễu làm suy giảm mọi mô hình được huấn luyện từ đó.

Sáu lỗi nào mà phán đoán bản ngữ bắt được mà tự động hóa bỏ qua?

Từ thực tế gán nhãn, sáu nhóm lỗi tiếng Việt mà người không phải bản ngữ thường bỏ qua:

• Lỗi thanh điệu và dấu phụ: Tổ chức W3C định nghĩa ký tự ề là chuỗi ba combining mark (U+0065 + U+0302 + U+0300). Thiếu hoặc sai một dấu tạo ra từ hoàn toàn khác. Bộ kiểm tra chính tả tự động không bắt được việc thay thế thanh điệu giữa các từ đọc đúng riêng lẻ nhưng sai trong ngữ cảnh.
• Sai văn phong - Hán Việt so với thuần Việt: văn phong trang trọng dùng 40-60% từ Hán Việt. Câu trả lời pháp lý dùng kiến thức thay vì tri thức nghe sai với người dùng pháp lý bản ngữ dù cả hai đều đúng nghĩa. Người gán nhãn không phải bản ngữ không phân biệt được hai từ này.
• Sai đại từ nhân xưng: tiếng Việt không có you trung tính. Mỗi câu dùng đại từ theo quan hệ: bạn (ngang hàng), anh/chị (lớn tuổi hơn), em (nhỏ tuổi hơn), quý khách (khách hàng trang trọng). Câu trả lời dùng sai đại từ là lỗi xã hội mà người không phải bản ngữ hoàn toàn bỏ qua.
• Từ địa phương không phù hợp: tiếng Việt miền Bắc dùng bố/mẹ; miền Nam dùng ba/má. Không cái nào sai, nhưng mô hình phục vụ người dùng miền Nam luôn dùng từ vựng miền Bắc sẽ cảm giác xa lạ. Cần người review bản ngữ từ cả hai vùng để gắn cờ sự không phù hợp.
• Chuyển mã bất thường: người dùng công nghệ tiếng Việt tự nhiên nói update, feature, deadline bằng tiếng Anh trong câu tiếng Việt. Mô hình dịch hết thành cập nhật, tính năng, hạn chót nghe cứng đờ và không tự nhiên dù đúng kỹ thuật. Người gán nhãn bản ngữ biết chuẩn mực chuyển mã thực tế.
• Thiếu công thức lịch sự: tiếng Việt có công thức đặc trưng để mở đầu câu trả lời và kết thúc cuộc hỗ trợ. Mô hình trả lời đúng thông tin nhưng thiếu công thức mở đầu như Dạ, em xin phép... nghe vô lễ trong ngữ cảnh dịch vụ khách hàng tiếng Việt.

Làm thế nào để xây dựng hướng dẫn gán nhãn hiệu quả cho tiếng Việt?

Hướng dẫn gán nhãn ưu tiên tiếng Việt cần xác định rõ trước khi bắt đầu:

1. Thứ tự ưu tiên tiêu chí: chính xác thông tin đầu tiên, sau đó độ chính xác thanh điệu/dấu phụ, rồi văn phong (Hán Việt so với thuần Việt), rồi đại từ nhân xưng, cuối cùng là độ tự nhiên và lưu loát.
2. Văn phong theo loại tác vụ: tác vụ pháp lý và y tế yêu cầu văn phong Hán Việt trang trọng; hỗ trợ sản phẩm cho phép văn phong thuần Việt thông thường. Ghi rõ cho từng loại tác vụ, không để ngầm hiểu.
3. Chính sách phương ngữ: xác định mô hình hướng đến tiêu chuẩn miền Bắc, miền Nam hay trung lập. Tài liệu hóa biến thể từ vựng nào được chấp nhận theo từng loại tác vụ.
4. Mức độ đồng thuận giữa người gán nhãn: nhắm đến Cohen's kappa trên 0,7. Chạy phiên hiệu chỉnh trên các ví dụ chung trước mỗi loại tác vụ mới. Lô dưới 0,6 trả về để chỉnh sửa hướng dẫn.

Đội nhóm tự xử lý được gì và khi nào chuyên gia tiếng Việt bản ngữ xứng đáng đầu tư?

Đội kỹ thuật tự xử lý được: định dạng tác vụ gán nhãn (prompt/chosen/rejected), kiểm tra tự động (sự hiện diện dấu thanh, hoàn chỉnh câu, tỷ lệ độ dài), loại trùng và bộ lọc chất lượng cơ bản.

Chuyên gia tiếng Việt bản ngữ xứng đáng đầu tư ở bốn điểm cụ thể:

• Quyết định chính sách văn phong: xác định mô hình nên dùng Hán Việt trang trọng hay thuần Việt thông thường cần nhà ngôn ngữ học. Sai ở đây tạo ra tập dữ liệu fine-tune mô hình vào sai văn phong, rất tốn kém để sửa lại.
• Soạn thảo hướng dẫn gán nhãn: hướng dẫn tiếng Anh dịch sang tiếng Việt bởi người không phải bản ngữ thường tạo ra hướng dẫn mơ hồ, gây thiên kiến giữa người gán nhãn ngay từ đầu.
• Phân xử trường hợp tranh cãi: khi hai người gán nhãn không đồng ý về cặp chosen/rejected, người phân xử phải là người bản ngữ có chuyên môn về lĩnh vực tác vụ đó.
• Kiểm toán chất lượng từng lô: người review bản ngữ kiểm tra 10% mỗi lô phát hiện lỗi văn phong hệ thống, lỗi đại từ và thiếu công thức lịch sự trước khi chúng lan rộng ra toàn bộ tập dữ liệu.

Với các dự án xây dựng dữ liệu huấn luyện AI tiếng Việt đầy đủ, trang dịch vụ dữ liệu huấn luyện AI tiếng Việt trình bày các tùy chọn gán nhãn ưu tiên bản ngữ, LQA và review kho ngữ liệu.

Câu hỏi thường gặp

Nguồn

• Hugging Face Smol Course - Direct Preference Optimization - cấu trúc cặp ưu tiên (prompt/chosen/rejected), kích thước tập dữ liệu tối thiểu, nguyên tắc chất lượng cho dữ liệu alignment. Đã xác minh tháng 10/2026.
• W3C Quốc tế hóa - Định nghĩa ký tự, glyph và grapheme cluster - ký tự tiếng Việt ề là chuỗi U+0065 + U+0302 + U+0300; chuẩn grapheme cluster cho xử lý văn bản. Đã xác minh tháng 10/2026.
• DataReportal - Báo cáo số 2026: Việt Nam - 85,6 triệu người dùng internet (tỷ lệ thâm nhập 84,2%), quy mô thị trường triển khai LLM tiếng Việt. Đã xác minh tháng 10/2026.
• arXiv 2510.13212 - Hiểu giá trị dữ liệu ưu tiên cho LLM Alignment - chất lượng dữ liệu ưu tiên phụ thuộc vào mô hình; phân tích tác động từng điểm dữ liệu. Đã xác minh tháng 10/2026.