2% công việc giấy tờ của ICML bị từ chối vì các tác giả đã sử dụng LLM trong đánh giá của họ

AI ngày càng trở thành một phần có giá trị trong quy trình làm việc của các nhà nghiên cứu. Thật không may, AI có khả năng làm tổn hại đến tính toàn vẹn của đánh giá ngang hàng nếu được sử dụng không đúng cách. Các hội nghị phải thích ứng, tạo ra các quy tắc và chính sách để xử lý tình trạng bình thường mới và thực hiện các biện pháp kỷ luật đối với những người vi phạm quy tắc và vi phạm niềm tin mà tất cả chúng ta đặt ra trong quá trình đánh giá. 

ICML đang tích cực làm việc để thích ứng. Năm nay, chúng tôi đã từ chối 497 giấy tờ (~2% của tất cả các bài nộp), tương ứng với các bài nộp của 506 người đánh giá đối ứng đã vi phạm các quy tắc liên quan đến việc sử dụng LLM mà trước đây họ đã đồng ý rõ ràng. 

ICML 2026 có hai chính sách liên quan đến việc sử dụng LLM trong việc xem xét:

• Chính sách A (Bảo thủ): Không được phép sử dụng LLM.
• Chính sách B (Cho phép): LLM được phép giúp hiểu bài báo và các công việc liên quan, và đánh bóng các đánh giá.

Khung hai chính sách này được hình thành dựa trên sở thích và phản hồi của cộng đồng — thực sự, cộng đồng bị chia rẽ về cách tốt nhất để sử dụng LLM trong đánh giá ngang hàng, với các vấn đề như sự đồng ý của tác giả va chạm với quy trình làm việc ưa thích của người đánh giá. Thông tin chi tiết về chính sách có tại đây. 

Sau một quá trình lựa chọn, trong đó những người đánh giá phải chọn chính sách mà họ muốn hoạt động theo, họ đã được chỉ định cho Chính sách A hoặc Chính sách B. Cuối cùng, dựa trên yêu cầu của tác giả và đăng ký của người đánh giá, những người đánh giá duy nhất được chỉ định cho Chính sách A (không có LLM) là những người đã chọn rõ ràng “Chính sách A” hoặc “Tôi đồng ý với [Chính sách] A hoặc B.” Để rõ ràng, không có người đánh giá nào ưu tiên mạnh mẽ Chính sách B được chỉ định cho Chính sách A. 

795 đánh giá (~1% tổng số đánh giá) được viết bởi 506 người đánh giá duy nhất được chỉ định Chính sách A (không có LLM) đã được phát hiện đã sử dụng LLM trong đánh giá của họ. Một lần nữa, hãy nhớ rằng đây là những người đánh giá đã đồng ý rõ ràng không sử dụng LLM trong các đánh giá của họ. Phương pháp được sử dụng được mô tả dưới đây và máy dò văn bản AI chung không được sử dụng. Mỗi trường hợp được gắn cờ đã được con người xác minh thủ công, để tránh dương tính giả. 

Nếu Người đánh giá đối ứng được chỉ định cho một bài nộp đưa ra đánh giá như vậy, bài nộp của họ đã bị từ chối. Tổng cộng, điều này dẫn đến 497 lần từ chối. Tất cả các đánh giá Chính sách A (không có LLM) được phát hiện là LLM được tạo đã bị xóa khỏi hệ thống. Nếu hơn một nửa số đánh giá do Người đánh giá Chính sách A gửi được phát hiện là do LLM tạo ra, thì tất cả các đánh giá của họ đã bị xóa và chính người đánh giá đã bị xóa khỏi nhóm người đánh giá. 51 Chính sách Một người đánh giá được phát hiện đã sử dụng LLM trong hơn một nửa số đánh giá của họ, chiếm khoảng 10% trong tổng số 506 người đánh giá được phát hiện. 

Để rõ ràng, chúng tôi không đưa ra đánh giá về chất lượng của các đánh giá bị gắn cờ hoặc ý định của người đánh giá. Đây chỉ đơn giản là một tuyên bố rằng người đánh giá đã sử dụng LLM tại một số thời điểm khi soạn thảo đánh giá, điều này thật không may là vi phạm chính sách mà họ đã đồng ý tuân thủ.

Chúng tôi rất tiếc về sự gián đoạn mà điều này sẽ gây ra trong quá trình đánh giá ngang hàng. Chúng tôi đã liên lạc trực tiếp với các SAC và AC bị ảnh hưởng và cung cấp hỗ trợ ở những nơi có thể. Các đánh giá vi phạm chính sách đã bị xóa và AC có thể cần tìm người đánh giá mới. Một số bài nộp đã nhận được một bộ đánh giá đầy đủ đã bị từ chối tại bàn. Và một số người đánh giá có bài nộp đã bị bàn từ chối có thể trở nên không phản hồi. 

Phương pháp kỹ thuật 

Ở mức độ cao, việc phát hiện LLM liên quan đến hình mờ gửi các tệp PDF có hướng dẫn LLM ẩn, điều này sẽ ảnh hưởng một cách tinh tế đến bất kỳ đánh giá nào được tạo thông qua LLM. Lưu ý rằng đây không phải là một biện pháp khó phá vỡ, đặc biệt nếu nó được biết đến công khai (đó là trường hợp trong gần như toàn bộ thời gian đánh giá). Thật vậy, nó chỉ có thể nắm bắt một số cách sử dụng LLM nghiêm trọng và bất cẩn nhất khi xem xét, trong đó người đánh giá đang nhập PDF vào LLM và sau đó trực tiếp sao chép-dán đầu ra từ LLM. Hành động chỉ được thực hiện đối với các đánh giá được viết rõ ràng bởi những người đánh giá đồng ý không sử dụng LLM (Chính sách A). Bất chấp tất cả những cảnh báo này, 795 đánh giá (~1% trong số tất cả các đánh giá) đã được phát hiện là vi phạm chính sách. 

Phương pháp được sử dụng dựa trên công trình gần đây của Rao, Kumar, Lakkaraju và Shah. Đầu tiên, chúng tôi đã tạo một từ điển gồm 170.000 cụm từ. Đối với mỗi bài báo, chúng tôi lấy mẫu hai cụm từ ngẫu nhiên từ từ điển này. Do đó, xác suất mà một cặp cụm từ nhất định được chọn nhỏ hơn một phần mười tỷ. Chúng tôi đã đánh dấu bản PDF của mỗi bài báo được gửi kèm theo hướng dẫn, chỉ hiển thị cho LLM, hướng dẫn họ đưa hai cụm từ đã chọn vào bài đánh giá. (Một người đọc PDF sẽ không trực tiếp thấy hình mờ này.) 

Kỹ thuật này không phải lúc nào cũng thành công trong việc phát hiện các đánh giá do LLM tạo ra. Người đánh giá có thể khám phá hình mờ và xóa nó hoặc làm việc xung quanh nó. Văn bản đánh giá có thể được sửa đổi. LLM có thể chỉ đơn giản là bỏ qua các hướng dẫn ẩn. Trong các thử nghiệm ngay trước thời hạn nộp, các LLM biên giới nói chung (mặc dù không phải luôn luôn) tuân theo các hướng dẫn được tiêm. Tỷ lệ thành công là trên 80% đối với hầu hết các mô hình, có khả năng phụ thuộc vào phương pháp được một số LLM chọn để đọc PDF. 

Người đánh giá có thể lo ngại một cách dễ hiểu rằng đánh giá của họ có thể bị gắn cờ sai. Như đã mô tả trong bài báo phác thảo phương pháp chúng tôi đã sử dụng, tỷ lệ dương tính giả được kiểm soát chặt chẽ. Mọi trường hợp được gắn cờ cũng được con người kiểm tra thủ công để đảm bảo rằng đánh giá không chỉ đơn giản đề cập đến việc có hình mờ. 

Người đánh giá có thể không đáp ứng được kỳ vọng của chúng tôi theo nhiều cách, có hoặc không có sự tham gia của AI. Sáng kiến này chỉ tập trung vào một hành động cụ thể (phá vỡ các quy tắc đã thỏa thuận trước đó về việc sử dụng LLM) và vẫn xác định nó cho ~1% của tất cả các đánh giá. 

Chúng tôi hy vọng rằng bằng cách hành động mạnh mẽ chống lại các hành vi vi phạm chính sách đã thỏa thuận, chúng tôi sẽ nhắc nhở cộng đồng rằng khi lĩnh vực của chúng ta thay đổi nhanh chóng, điều chúng ta phải bảo vệ tích cực nhất là niềm tin của chúng ta vào nhau. Nếu chúng ta không thể điều chỉnh hệ thống của mình trong một môi trường dựa trên niềm tin, chúng ta sẽ thấy rằng chúng sớm trở nên lỗi thời và vô nghĩa.