Ngay cả GPT-5.2 cũng không thể đếm đến năm: Chân trời không có lỗi trong LLM đáng tin cậy
Even GPT-5.2 Can't Count to Five: Zero-Error Horizons in Trustworthy LLMs
Một chỉ số mới mang tên **Zero-Error Horizon (ZEH)** ra đời để đo lường phạm vi vấn đề tối đa mà một **LLM** có thể giải quyết mà không mắc lỗi. Điều này hé lộ những hạn chế đáng ngạc nhiên ngay cả ở các mô hình tiên tiến như GPT-5.2, vốn gặp khó khăn với những tác vụ cơ bản như kiểm tra tính chẵn lẻ (parity checking) hay cân bằng dấu ngoặc (parenthesis balancing). Việc này nhấn mạnh rủi ro đáng kể khi triển khai LLM trong các ứng dụng đòi hỏi độ an toàn cao (safety-critical applications). Nó cho thấy khả năng thuật toán mới xuất hiện (emergent algorithmic capabilities) không đảm bảo sự nhất quán về logic ở mức cơ bản. Các developer nên sử dụng ZEH để đánh giá một cách nghiêm ngặt, đặc biệt khi làm việc trong các lĩnh vực nhạy cảm. Hãy luôn nhớ rằng, dù LLM hiện tại có hiệu suất tổng thể ấn tượng, khả năng suy luận logic của chúng vẫn còn khá mong manh (brittle logical reasoning).
Chúng tôi đề xuất Đường chân trời không lỗi (ZEH) cho LLM đáng tin cậy, đại diện cho phạm vi tối đa mà một mô hình có thể giải quyết mà không có bất kỳ lỗi nào. Mặc dù bản thân ZEH rất đơn giản nhưng chúng tôi chứng minh rằng việc đánh giá...
Tóm tắt:Chúng tôi đề xuất Đường chân trời không có lỗi (ZEH) cho LLM đáng tin cậy, đại diện cho phạm vi tối đa mà một mô hình có thể giải quyết mà không gặp bất kỳ lỗi nào. Mặc dù bản thân ZEH rất đơn giản nhưng chúng tôi chứng minh rằng việc đánh giá ZEH của LLM tiên tiến mang lại nhiều hiểu biết sâu sắc. Ví dụ: bằng cách đánh giá ZEH của GPT-5.2, chúng tôi nhận thấy rằng GPT-5.2 thậm chí không thể tính toán tính chẵn lẻ của một chuỗi ngắn như 11000 và GPT-5.2 không thể xác định liệu các dấu ngoặc đơn trong ((((()))))) có cân bằng hay không. Điều này thật đáng ngạc nhiên vì khả năng tuyệt vời của GPT-5.2. Việc LLM mắc sai lầm trong những vấn đề đơn giản như vậy được coi là một bài học quan trọng khi áp dụng LLM vào các lĩnh vực quan trọng về an toàn. Bằng cách áp dụng ZEH cho Qwen2.5 và tiến hành phân tích chi tiết, chúng tôi nhận thấy rằng mặc dù ZEH tương quan với độ chính xác nhưng các hành vi chi tiết lại khác nhau và ZEH cung cấp manh mối về sự xuất hiện của các khả năng thuật toán. Cuối cùng, trong khi tính toán ZEH phát sinh chi phí tính toán đáng kể, chúng tôi thảo luận cách giảm thiểu chi phí này bằng cách đạt được tốc độ tăng tốc lên tới một bậc bằng cách sử dụng cấu trúc cây và softmax trực tuyến.
| Chủ đề: | Học máy (cs.LG); Trí tuệ nhân tạo (cs.AI); Tính toán và ngôn ngữ (cs.CL) |
| Trích dẫn là: | arXiv:2601.15714 [cs.LG] |
| (hoặc arXiv:2601.15714v1 [cs.LG] cho phiên bản này) | |
| https://doi.org/10.48550/arXiv.2601.15714 DOI do arXiv cấp qua DataCite |
Lịch sử gửi
Từ: Ryoma Sato [xem email]
[v1]
Thứ năm, ngày 22 tháng 1 năm 2026 07:36:01 UTC (115 KB)
Tác giả: daigoba66