Chọn model AI hiểu tiếng Việt tốt: cách kiểm chứng bằng dữ liệu
Chủ một phòng khám thú y ở Cần Thơ từng thử dùng một model AI quốc tế rất nổi tiếng để soạn tin nhắn nhắc lịch tiêm phòng cho khách hàng, nhưng đọc lại thấy câu chữ cứ "sai sai" — không phải sai chính tả, mà là cách xưng hô và cách diễn đạt nghe như một người nước ngoài học tiếng Việt lâu năm, đủ đúng ngữ pháp nhưng thiếu hẳn cái chất gần gũi mà khách hàng quen thuộc của phòng khám vẫn mong đợi từ tin nhắn thân quen mỗi lần nhắc lịch.
Cảm nhận mơ hồ kiểu "nghe sai sai" rất phổ biến nhưng khó chứng minh bằng lời, vì vậy thay vì chỉ dựa vào cảm tính, doanh nghiệp cần một bộ test tiếng Việt tự dựng để đo lường khách quan hơn. Bài này sẽ giúp bạn xây bộ test gồm thuật ngữ ngành, văn phong khách hàng và ngữ cảnh địa phương, kèm cách chấm điểm cụ thể để chọn đúng model hiểu tiếng Việt tốt nhất cho đúng lĩnh vực của mình.
Vì sao model quốc tế top đầu vẫn có thể hiểu sai tiếng Việt
Các model AI hàng đầu hiện nay đều được huấn luyện chủ yếu trên khối lượng dữ liệu tiếng Anh khổng lồ, với tỷ trọng dữ liệu tiếng Việt nhỏ hơn nhiều lần — điều này khiến model vẫn có thể trả lời tiếng Việt đúng ngữ pháp nhưng thiếu đi sự tinh tế trong cách dùng từ, cách xưng hô theo ngữ cảnh và đặc biệt là cách hiểu các thành ngữ, tiếng lóng hay thuật ngữ chuyên ngành đặc thù của từng lĩnh vực. Đây chính là khoảng cách giữa "đúng ngữ pháp" và "nghe tự nhiên như người bản xứ" mà chỉ có bộ test tự dựng theo đúng ngành của bạn mới phát hiện được.
Ba nhóm nội dung cần có trong bộ test tự dựng
Thuật ngữ ngành
Mỗi ngành nghề đều có bộ từ vựng riêng mà model tổng quát chưa chắc đã hiểu đúng ngữ cảnh — thuật ngữ y tế, thuật ngữ pháp lý, thuật ngữ kỹ thuật xây dựng đều có những từ dễ bị hiểu nhầm sang nghĩa thông thường nếu model không được kiểm thử riêng. Nên chuẩn bị ít nhất mười đến hai mươi câu hỏi thật có chứa thuật ngữ đặc thù của ngành mình, rồi kiểm tra xem model có dùng đúng và giải thích đúng ngữ cảnh chuyên môn hay không.
Văn phong khách hàng thật
Thay vì hỏi những câu hỏi kiểm thử trừu tượng, hãy lấy nguyên văn vài tin nhắn hoặc email thật mà khách hàng của bạn từng gửi đến, đưa cho model xử lý và xem model có hiểu đúng ý định thật đằng sau cách diễn đạt đời thường, có thể có lỗi chính tả hoặc viết tắt theo thói quen vùng miền, hay không — đây là bài kiểm tra sát thực tế hơn nhiều so với việc dùng câu hỏi chuẩn mực được viết sẵn.
Ngữ cảnh địa phương
Nếu doanh nghiệp bạn phục vụ khách hàng ở một vùng miền cụ thể có phương ngữ riêng biệt, nên thử nghiệm thêm các câu hỏi hoặc đoạn hội thoại mang đặc trưng vùng miền đó, xem model có hiểu đúng ý nghĩa mà không bị lệch sang cách hiểu phổ thông chung chung hay không, đặc biệt quan trọng với các doanh nghiệp có tổng đài phục vụ khách hàng trải dài nhiều tỉnh thành khác nhau.
Cách chấm điểm bộ test
Sau khi chạy cùng bộ câu hỏi trên nhiều model khác nhau, nên chấm điểm theo từng tiêu chí riêng biệt thay vì một điểm tổng hợp duy nhất, để nhìn rõ model nào mạnh ở khía cạnh nào cho đúng nhu cầu ưu tiên của công ty mình.
- Độ chính xác thuật ngữ chuyên ngành — model có dùng đúng và giải thích đúng các thuật ngữ đặc thù hay diễn giải sai lệch sang nghĩa thông thường.
- Độ tự nhiên trong cách diễn đạt — câu trả lời có đọc như người Việt viết hay vẫn còn dấu vết cứng nhắc, dịch máy.
- Khả năng hiểu ý định thật đằng sau cách diễn đạt đời thường, kể cả khi có lỗi chính tả hoặc viết tắt theo thói quen…
Đặc biệt, nên để nhiều người trong công ty cùng tham gia chấm điểm độc lập rồi tổng hợp lại, thay vì chỉ dựa vào cảm nhận của một người duy nhất, vì cảm nhận về "tự nhiên" hay "gượng gạo" trong ngôn ngữ vốn mang tính chủ quan và mỗi người có thể có ngưỡng cảm nhận khác nhau.
Các lựa chọn model tiếng Việt trong nước
Bên cạnh việc kiểm thử các model quốc tế lớn, doanh nghiệp cũng nên cân nhắc thêm các model được phát triển riêng cho tiếng Việt bởi các đơn vị trong nước, như PhoGPT do VinAI phát triển, cùng các sản phẩm AI từ Viettel và Zalo đang tiếp tục được đầu tư phát triển. Các model này thường có lợi thế về độ hiểu văn hoá và ngữ cảnh bản địa, nhưng cũng cần kiểm tra kỹ tình trạng phát triển và mức độ cập nhật thường xuyên tại thời điểm bạn đánh giá, vì tốc độ cải tiến của các model trong nước có thể không đồng đều theo thời gian so với các nhà cung cấp quốc tế lớn có nguồn lực đầu tư liên tục hơn.
Nếu công ty bạn cần dùng AI cho việc viết nội dung tiếng Việt hằng ngày, bài Chọn model AI cho viết nội dung: tiêu chí và cách kiểm thử có quy trình kiểm thử mù chi tiết hơn dành riêng cho mục đích viết lách, có thể kết hợp cùng bộ test tổng quát ở bài này.
Ngoài ra, trước khi tin vào bất kỳ điểm số benchmark tiếng Việt nào được công bố công khai, bài Đọc benchmark AI thế nào để không bị số liệu đẹp đánh lừa sẽ giúp bạn đọc đúng các con số này và hiểu vì sao bộ test tự dựng như hướng dẫn ở bài này vẫn quan trọng hơn nhiều.
Nếu bạn đang cân nhắc chọn nhà cung cấp cho cả công ty và cần đặt tiêu chí tiếng Việt cạnh các tiêu chí kinh doanh khác, bài So sánh các nhà cung cấp model AI lớn: chọn theo nhu cầu nào sẽ cho bạn góc nhìn đầy đủ hơn. Còn nếu vẫn đang ở bước tìm hiểu tổng quan, bài AI Model là gì và doanh nghiệp nên chọn model nào cho công việc là điểm khởi đầu phù hợp.
Một khi đã có bộ test tiếng Việt của riêng mình, bạn sẽ không còn phải băn khoăn "nghe sai sai" mỗi lần đọc lại nội dung do AI soạn, vì đã có căn cứ rõ ràng để chọn đúng model thật sự hiểu và nói được đúng chất tiếng Việt của khách hàng mình — và đó chính là nền tảng để mỗi tin nhắn, mỗi câu trả lời gửi đi đều mang đúng sự gần gũi mà khách hàng vẫn mong đợi từ thương hiệu của bạn, phải không nào?