LLM có thể mệt mỏi

Có những ngày, tôi đi ngủ sau một buổi làm việc quanh co kéo dài 4-5 giờ với Claude hoặc Codex và tự hỏi chuyện quái gì đã xảy ra. Thật dễ để đổ lỗi cho các models - có rất nhiều lựa chọn để lựa chọn:

Chúng đang giảm bớt mô hình để tiết kiệm tiền.
Context bị hỏng!
Codex/Claude Code/[insert harness] đang ngày càng cồng kềnh.

Không có gì lạ khi tôi quay lại vấn đề vào ngày hôm sau, cửa sổ ngữ cảnh của riêng tôi đã bị xóa khỏi phần còn lại và tìm ra con đường phía trước nhanh chóng và đầy đủ với sự trợ giúp của LLM. Chuyện gì đang xảy ra vậy?

Tôi mệt và các thử nghiệm diễn ra quá chậm

Khi tôi càng mệt mỏi hơn, chất lượng lời nhắc của tôi càng giảm

Điều này có vẻ khá rõ ràng. Nếu tinh thần tôi trở nên mệt mỏi, tôi sẽ viết những lời nhắc tệ hơn và do đó, AI sẽ làm việc kém hơn. Đây là ví dụ về những gì xảy ra khi tôi thực sự mệt mỏi: Bắt đầu một lời nhắc có phần chi tiết (sau khi 30% ngữ cảnh được sử dụng để điều chỉnh AI về vấn đề này), nhận ra ngay sau khi gửi rằng tôi đã bỏ sót một số ngữ cảnh quan trọng, làm gián đoạn LLM, cung cấp ngữ cảnh và sau đó tiếp tục. Không còn nghi ngờ gì nữa, việc làm gián đoạn Claude Code hoặc "điều khiển" Codex sẽ dẫn đến kết quả tồi tệ hơn.

Vòng phản hồi quá chậm và ngữ cảnh quá cồng kềnh

Một số công việc tôi đang làm hiện nay yêu cầu phân tích cú pháp một số tệp lớn. Có lỗi trong logic phân tích cú pháp mà tôi đang cố gắng khắc phục bằng LLM. Vấn đề là mọi điều chỉnh đều yêu cầu phân tích lại và đó là một quá trình chậm. Tôi ví nó như một chiếc máy đánh bạc quay trong 10 phút. Để tăng thêm sự xúc phạm đến thương tích, một số nhiệm vụ này cần khá nhiều bối cảnh để bắt đầu thử nghiệm mới và khi kết thúc công việc phân tích cú pháp, LLM còn 2% nữa mới được nén. Sau đó, điều đó dẫn đến một AI rất ngu ngốc hoặc một AI đang giả vờ biết chuyện gì đang xảy ra với thử nghiệm gần đây sau khi nó hoàn tất.

Con đường hạnh phúc với AI

Tránh chứng rối loạn tâm thần vòng lặp do nhắc nhở tồi gây ra

Nếu tôi đến mức không thấy vui khi viết một lời nhắc hay thì đã đến lúc bỏ cuộc. Đó phải là tín hiệu đầu tiên. Nếu tôi nói nửa vời, nói ngắn gọn, ngắt lời và cảm thấy bực bội thì đã đến lúc tôi nên nghỉ ngơi.

Có một số siêu nhận thức cần được thực hiện ở đây. Có phải tôi đang ít mô tả hơn vì tôi thực sự chưa nghĩ đến vấn đề này và tôi hy vọng AI sẽ lấp đầy những khoảng trống? Đó có thể là một cái bẫy rất quyến rũ để bạn rơi vào. AI đang trở nên khá giỏi trong việc đáp ứng các yêu cầu không xác định, điều mà tôi nhớ mình phải làm với tư cách là một kỹ sư phần mềm, nhưng chúng vẫn chưa đủ giỏi.

Đôi khi, tôi viết lời nhắc rất rõ ràng ở trạng thái cuối mong muốn của mình đến mức tôi đã ăn mừng kết quả cuối cùng khi gửi lời nhắc vì tôi biết AI sẽ ĐÁNH BẠI NÓ. Đó là cảm giác tôi cần tìm kiếm trong mỗi lời nhắc. Nếu đó là cảm giác không chắc chắn hoặc thiếu kiên nhẫn thì mọi chuyện sẽ không thành công.

Nhận diện các vòng phản hồi chậm và biến chúng thành vấn đề

Trong trường hợp vấn đề phân tích cú pháp mà tôi đã đề cập ở trên, nó quá chậm và vòng phản hồi gây khó khăn. Tôi muốn máy đánh bạc của tôi quay trong vài giây/phút chứ không phải 15/20/30 phút. Trong những trường hợp này, tôi đã bắt đầu bắt đầu một phiên mới với LLM, trình bày vấn đề của mình với tốc độ vòng phản hồi, bày tỏ mong muốn đạt được vòng lặp phụ 5 phút, đưa ra ví dụ về trường hợp lỗi và yêu cầu nó tái tạo trường hợp lỗi đó nhanh nhất có thể. Điều này bắt đầu nghe quen quen rồi... TDD có ai không?

Tôi luôn là một kỹ sư khó tính. Chắc chắn là tôi đã viết các bài kiểm thử, nhưng tôi chưa bao giờ là người dừng lại và tạo ra các trường hợp kiểm thử phức tạp hoặc các bài kiểm thử tích hợp cho các vấn đề riêng biệt. Việc đó tốn quá nhiều thời gian và tôi vẫn được trả tiền ngay cả khi vòng phản hồi của tôi không hoàn hảo.

Tôi đã phải trải qua một hành trình dài để vượt qua cảm giác rằng việc viết các bài kiểm tra phức tạp tốn nhiều thời gian khi làm việc với AI. Nếu bạn đưa ra tiêu chí thành công rõ ràng cho LLM: "Tái tạo trường hợp lỗi cụ thể này và đảm bảo thời gian trên đồng hồ nhỏ hơn 5 phút để thực hiện. Hãy thoải mái thử nghiệm các cách để tối ưu hóa đường dẫn mã hoặc bỏ qua một số phần nhất định không cần thiết để tái tạo" - AI sẽ không chỉ tái tạo vấn đề (có thể chậm trong lần đầu tiên) mà còn tạo ra đòn bẩy cho chu kỳ phản hồi nhanh hơn. Với chu kỳ phản hồi nhanh đó, nó sẽ tiêu tốn ít ngữ cảnh hơn và THÔNG MINH HƠN. Điều này có thể tiết kiệm đáng kể thời gian gỡ lỗi.

Kết luận

Khi tôi kiệt sức khi làm việc với LLM - đó thực sự có thể là một "vấn đề kỹ năng". Tôi cần nhận ra khi nào mình mệt mỏi và rơi vào tình trạng rối loạn tâm thần vòng lặp diệt vong. Gia công phần mềm nhận thức về các yêu cầu là hấp dẫn, nhưng đó là một cái bẫy. Nếu tôi không thích hành động viết lời nhắc hoàn hảo và hoàn toàn tự tin rằng mình sẽ đạt được kết quả mà tôi hài lòng 95%, tôi cần phải nghỉ ngơi hoặc suy ngẫm xem mình đã thực sự nghĩ thấu đáo vấn đề chưa. Nếu mọi thứ đang diễn ra chậm chạp và có cảm giác như bối cảnh đang bị lấp đầy quá nhanh - tôi cần phải giải quyết vấn đề đó. Tìm một đường dẫn với sự trợ giúp của LLM để lặp lại nhanh hơn và sử dụng ít ngữ cảnh hơn.