Ra mắt HN: Phong cách tự do: Các sandbox cho tác nhân viết mã AI
Launch HN: Freestyle: Sandboxes for AI Coding Agents
Freestyle vừa ra mắt môi trường sandbox trên nền tảng cloud, được tối ưu hóa cho các AI coding agents. Các sandbox này hoạt động trên Linux VMs, mang lại một môi trường phát triển quen thuộc với hiệu năng cao và khả năng khởi tạo gần như tức thời. Điểm đột phá chính là khả năng nhân bản sandbox theo chiều ngang một cách nhanh chóng, ngay cả khi ứng dụng và animation đang chạy, cùng với thời gian khởi động dưới 500ms. Nhờ hạ tầng này, các AI agents có thể thực hiện các tác vụ phức tạp và tái hiện vòng lặp phát triển của con người ở quy mô lớn, vượt xa khả năng script đơn thuần để tận dụng tối đa hệ thống.
Đối với thế hệ agent đầu tiên, nó giống như các quy trình làm việc với các công cụ tối thiểu. 2 năm trước, chúng tôi đã xuất bản một gói để cho phép AI làm việc trong SQL, vào thời điểm đó GPT-4 có thể viết các script đơn giản. Ngay sau đó, những người đầu tiên xây dựng ứng dụng AI bắt đầu sử dụng AI để tạo toàn bộ trang web; chúng tôi đã hỗ trợ điều đó bằng một hệ thống triển khai serverless.
Nhưng thế hệ hiện tại còn tiến xa hơn nữa, thay vì các công cụ tối thiểu và các ứng dụng serverless cơ bản, AI có thể tận dụng toàn bộ sức mạnh của máy tính ("sandbox"). Chúng tôi đang xây dựng các sandbox có thể thay thế cho EC2 từ góc nhìn của agent, với các tính năng bổ sung:
1. Chúng tôi đã tìm ra cách để fork một sandbox theo chiều ngang mà không bị tạm dừng quá 400ms. Đó không phải là fork hệ thống tệp, chúng tôi muốn nói đến việc fork toàn bộ bộ nhớ của nó. Nếu bạn đang ở giữa một trang web có hoạt ảnh đang chạy, chúng hoạt động ở cùng một vị trí trong tất cả các bản fork. Nếu bạn đang chạy một máy chủ Minecraft, mọi khối và người chơi sẽ ở cùng một vị trí trên các bản fork. Nếu bạn đang chạy một môi trường cục bộ và xảy ra lỗi trong tiến trình, lỗi đó sẽ có ở tất cả các bản fork. Điều này cũng hoạt động cho việc chụp nhanh (snapshotting), bạn có thể lưu lại vị trí của mình và quay lại sau vài tuần.
2. Sandbox của chúng tôi khởi động trong khoảng 500ms.
Demo: https://www.loom.com/share/8b3d294d515442f296aecde1f42f5524
So với các sandbox khác, mục tiêu của chúng tôi là trở nên mạnh mẽ nhất. Chúng tôi hỗ trợ đầy đủ Linux + ảo hóa phần cứng, eBPF, Fuse, v.v. Chúng tôi chạy Debian đầy đủ với nhiều người dùng và chúng tôi sử dụng hệ thống init systemd thay vì runc. Bất cứ điều gì AI của bạn mong đợi để hoạt động trên Debian sẽ hoạt động trên các máy ảo này, và nếu không, hãy gửi báo cáo lỗi.
Để làm được điều này, chúng tôi đã chuyển sang các máy chủ bare metal của riêng mình. Ngay từ đầu trong quá trình thử nghiệm, chúng tôi nhận ra rằng việc di chuyển máy ảo qua các nút cloud sẽ không có các thuộc tính hiệu suất chấp nhận được. Chúng tôi đã yêu cầu Google Cloud và AWS báo giá cho các nút bare metal của họ và phát hiện ra rằng chi phí hàng tháng tương đương với tổng chi phí của phần cứng, vì vậy chúng tôi đã thực hiện.
Mục tiêu của chúng tôi là xây dựng cơ sở hạ tầng cần thiết để tái tạo vòng lặp phát triển của con người trên quy mô đa người dùng khổng lồ của AI, vì vậy các máy ảo này nên mạnh mẽ như những máy bạn đã quen, đồng thời có thể cấp phát trong vài giây.
Tác giả: benswerd