Nhóm Eon đã tạo ra một con ruồi hiện thân ảo như thế nào

Gần đây, Tiến sĩ Alex Wissner-Gross, đồng sáng lập và cố vấn sáng lập của Eon Systems PBC đã chia sẻ một số công việc chúng tôi đang thực hiện trên X và chúng tôi rất ngạc nhiên về mức độ chú ý mà công việc đó nhận được. Con ruồi hiện thân này vẫn đang trong quá trình hoàn thiện và là bước đầu tiên hướng tới việc cho thấy một bộ não hiện thân sẽ điều khiển một cơ thể ảo như thế nào. Ở đây chúng tôi muốn thảo luận về cách thức hoạt động của ruồi ảo và những hạn chế của nó. Bài đăng này nhất thiết phải mang tính kỹ thuật cao.

Đầu tiên, chúng tôi muốn thừa nhận dự án này phụ thuộc vào cộng đồng khoa học thần kinh rộng lớn hơn như thế nào. Công việc của chúng tôi được xây dựng trực tiếp trên kết nối ruồi trưởng thành (Dorkenwald và cộng sự, 2024), trên các mô hình não bị hạn chế kết nối (Lappalainen và cộng sự, 2024), trên mô hình cơ thể ruồi cơ thần kinh (Wang-Chen và cộng sự, 2024 ; Ozdil và cộng sự, 2024), và trong nhiều thập kỷ công việc lập bản đồ các mạch cảm giác, tế bào thần kinh đi xuống và hành vi ở Drosophila. Hệ thống hiện tại là một nỗ lực tích hợp, cụ thể nhất là các mô hình não hiện có và các mô hình cơ thể ảo hiện có. Chúng tôi cũng muốn tuyên bố rằng công việc này là nỗ lực thực sự của nhóm do Scott Harris, Aarav Sinha, Viktor Toth, Alexis Pomares và Philip Shiu thực hiện.

Con ruồi hoạt động như thế nào?

Trong video, con ruồi sử dụng các tín hiệu vị giác vô hình để điều hướng môi trường tới nguồn thức ăn (được cách điệu thành những lát chuối). Bụi hư cấu tích tụ khi đang bay, vì vậy con ruồi dừng lại, tự chải chuốt, sau đó tiếp tục hướng tới thức ăn và bắt đầu ăn.

Đối với bộ não, điểm khởi đầu chính là mô hình từ Shiu et al .: một mô hình tích hợp và đốt cháy (LIF) bị rò rỉ được xây dựng từ kết nối não trung tâm Drosophila trưởng thành, với khoảng 140.000 tế bào thần kinh và khoảng 50 triệu kết nối khớp thần kinh, sử dụng các đặc điểm nhận dạng chất dẫn truyền thần kinh được phỏng đoán để xác định dấu hiệu của các khớp thần kinh (Eckstein và cộng sự, 2024). Mô hình đó cho thấy rằng chỉ riêng cấu trúc kết nối có thể phục hồi cấu trúc cảm biến vận động đáng kể cho các hành vi như cho ăn và chải chuốt, đó chính xác là lý do tại sao nó lại là chất nền hữu ích cho hiện thân. Mô hình này phụ thuộc vào nỗ lực rộng hơn của FlyWire và nguồn tài nguyên toàn bộ não được chú thích một cách có hệ thống gồm 140.000 tế bào thần kinh (Schlegel và cộng sự, 2024).

Chúng tôi cũng sử dụng mô hình trực quan Lappalainen và cộng sự, một mô hình về đường chuyển động của hình ảnh bay. Trong nghiên cứu đó, các tác giả đã xây dựng một mạng tái phát có ràng buộc kết nối cho 64 loại tế bào thị giác, trải rộng hàng chục nghìn tế bào thần kinh trên trường thị giác và cho thấy rằng với khả năng kết nối cộng với các hạn chế về nhiệm vụ, họ có thể dự đoán hoạt động thần kinh trên toàn hệ thống chuyển động. Kết hợp với NeuroMechFly cơ thể ảo, điều này cho phép chúng tôi dự đoán hoạt động của hệ thống thị giác; sau đó chúng tôi "đưa" thông tin đó vào mô hình Flywire LIF.

Để thể hiện bộ não, chúng tôi sử dụng cơ thể ruồi cơ thần kinh đã được công bố, NeuroMechFly (Wang-Chen và cộng sự, 2024 ), đại diện cho con ruồi như một cơ thể có khớp nối có cấu trúc giải phẫu với các khớp, lực, tiếp xúc và hoạt động được mô phỏng vật lý. Nó có 87 khớp độc lập được thể hiện trong một lưới 3D chính xác được tạo ra từ quá trình quét vi mô tia X của ruồi giấm sinh học (Wang-Chen và cộng sự, 2024). Con ruồi kỹ thuật số chạy trên công cụ vật lý MuJoCo, cung cấp môi trường có độ chính xác cao, hạn chế về mặt vật lý để mô phỏng hành vi (Todorov và cộng sự, 2012).

NeuroMechFly v2, đã triển khai các đầu vào cảm giác, bao gồm cả thị giác và khứu giác mô phỏng mà chúng tôi đã sử dụng. Việc đi bộ bằng ruồi được triển khai bằng cách sử dụng những sửa đổi nhỏ đối với bộ điều khiển NeuroMechFly hiện có, được huấn luyện để bắt chước hành vi đi lại của ruồi. Chúng tôi cũng lưu ý rằng Vaxenburg và cộng sự mô hình toàn thân mà chúng tôi không sử dụng cũng thể hiện bước đi và chuyến bay thực tế bằng cách sử dụng bộ điều khiển được học tăng cường và tín hiệu lái cấp cao.

Về mặt khái niệm, vòng lặp đầy đủ có bốn phần. Đầu tiên, các sự kiện giác quan trong thế giới ảo được ánh xạ lên các tế bào thần kinh cảm giác hoặc các đường dẫn cảm giác đã được xác định. Thứ hai, hoạt động của não được cập nhật trong mô hình thần kinh bị hạn chế về kết nối. Thứ ba, các đầu ra giảm dần đã chọn sẽ được chuyển thành các lệnh vận động có chiều thấp cho cơ thể. Thứ tư, chuyển động được tạo ra sẽ làm thay đổi trạng thái cảm giác, trạng thái này được đưa trở lại não. Hiện tại, chúng tôi đang chạy các bước đồng bộ hóa giữa não và cơ thể cứ sau 15 mili giây, tính toán phản ứng của não với thông tin đầu vào từ giác quan, sau đó mô phỏng phản ứng của cơ thể trong 15 mili giây. Chúng tôi lưu ý rằng bước thời gian 15 mili giây này có thể quá chậm đối với một số hành vi.

Đầu vào giác quan: thế giới ảo đi vào não như thế nào

Các đầu vào giác quan khác nhau được đưa vào mô hình cơ thể. Đối với vị giác, chúng ta có thể kích hoạt các tế bào thần kinh thụ thể vị giác tương ứng với các kích thích thèm ăn như đường hoặc tế bào thần kinh vị đắng gây khó chịu (Shiu và cộng sự, 2024; Tastekin và cộng sự, 2025). Trong mô hình của chúng tôi, tương tự như ruồi sinh học, đầu vào vị giác ở chân và vòi, khi được kích hoạt trong cơ thể NeuroMechFly, sẽ dẫn đến kích hoạt đầu vào vị giác của não. Điều này khiến việc ăn, xoay người và chậm lại khi gần có thức ăn ngon miệng (Shiu và cộng sự, 2024; Sapkal et al., 2024; Scott, 2018). Khứu giác có thể được thực hiện tương tự bằng cách kích hoạt các tế bào thần kinh thụ thể khứu giác thích hợp.

Để chạm và chải lông, chúng ta sử dụng các đường dẫn cảm giác cơ học bằng ăng-ten. Hampel và cộng sự. đã xác định được mạch lệnh chải lông ở ăng-ten, trong đó các tế bào thần kinh cảm giác cơ học của cơ quan Johnston điều khiển một mạch não với đỉnh điểm là các tế bào thần kinh đi xuống có ăng-ten đủ để kích hoạt hoạt động chải lông (Seeds et al., 2014; Hampel và cộng sự, 2015; Hampel và cộng sự, 2020). Giao diện hiện tại của chúng tôi sử dụng trực tiếp ý tưởng đó: “bụi ảo” kích hoạt các tế bào thần kinh cảm giác cơ học ở anten, sau đó thu nhận các tín hiệu đi xuống liên quan đến việc chải chuốt anten.

Tầm nhìn được điều khiển bằng kết nối (tức là mô hình hóa hệ thống thị giác với mô hình Lappalainen) đã được triển khai trong mô hình NeuroMechFly. Chúng tôi xác định các hoạt động được dự đoán của các nơ-ron hệ thống thị giác và kích hoạt “đưa vào” các nơ-ron này vào các nơ-ron tương ứng trong mô hình LIF của chúng tôi. Hiện tại, những kích hoạt này phần nào mang tính "trang trí" ở chỗ chúng hiện không ảnh hưởng đáng kể đến kết quả hành vi của chúng ta, nhưng chúng tôi đang nỗ lực để triển khai thêm điều này và lưu ý rằng việc kích hoạt, chẳng hạn như các nơ-ron kích thích lờ mờ trong mô hình LIF, sẽ kích hoạt các nơ-ron đi xuống liên quan đến việc trốn thoát.

Kiểm soát tế bào thần kinh đi xuống: hoạt động của não kiểm soát cơ thể như thế nào

Cơ thể ruồi hiện không được điều khiển bởi hệ thống phân cấp động cơ xuôi dòng đầy đủ của ruồi sinh học. Thay vào đó, chúng tôi sử dụng một số lượng nhỏ đầu ra giảm dần làm giao diện thực tế giữa mô hình kết nối và cơ chế sinh học. Trong thời gian bay, các tế bào thần kinh đi xuống cụ thể được biết là có liên quan đến các hành vi cụ thể (Simpson, 2024).

Việc kích hoạt các tế bào thần kinh đi xuống cụ thể này nhằm tác động đến các bộ điều khiển của cơ thể, vốn đã được huấn luyện bằng cách học bắt chước để bắt chước các hành vi cụ thể của ruồi. Ví dụ: trong mô hình của chúng tôi, việc chải chuốt râu được điều khiển thông qua các nơ-ron hướng xuống anten (Seeds et al., 2014; Hampel et al., 2015; Hampel và cộng sự, 2020). Việc điều khiển trong mô hình của chúng tôi được điều khiển thông qua các nơ-ron DNa01 và DNa02 (Yang và cộng sự, 2024), có liên quan đến việc rẽ. Vận tốc chuyển tiếp được mô hình hóa bằng cách kích hoạt oDN1 (Sapkal et al., 2024). Việc cho ăn được mô hình hóa bằng cách kích hoạt các tế bào thần kinh vận động vòi, đặc biệt là MN9. Chúng tôi lưu ý rằng nhiều DN có các vai trò được xác thực, có ý nghĩa về mặt hành vi, nhưng cũng có những nơ-ron này hoạt động trong mạng chứ không phải dưới dạng các nút một nơ-ron-một-hành vi bị cô lập. Braun và cộng sự đã chỉ ra rằng các tín hiệu giảm dần giống như lệnh tuyển dụng các nhóm dân số giảm dần rộng hơn; có hơn 1.000 nơ-ron hướng xuống. Vì vậy, tốt nhất nên coi bộ điều khiển hiện tại là lớp đọc có chiều thấp có chủ ý từ hệ thống thần kinh phong phú hơn nhiều.

Một sự tương tự hữu ích là việc lái một chiếc ô tô. Nếu bạn biết trạng thái của vô lăng, chân ga và phanh, bạn có thể dự đoán rất nhiều về những gì chiếc xe sẽ làm mà không cần mô phỏng rõ ràng mọi sự kiện đốt cháy bên trong động cơ. Việc sử dụng các nơ-ron đi xuống của chúng tôi cũng tương tự. Hiện tại, chúng tôi coi một tập hợp nhỏ các tín hiệu đi xuống làm bộ điều khiển, chẳng hạn như rẽ, vận tốc tiến, thoát thân, đi lùi (thoát và đi lùi không được hiển thị trong bản trình diễn của chúng tôi) và chải chuốt, sau đó cho phép bộ điều khiển cấp thấp hơn chuyển đổi các tín hiệu đó thành mômen xoắn của khớp, quỹ đạo của chân hoặc hoạt động truyền động khác ở cấp độ cơ thể.

Hành vi

Trong số những hành vi khác, chúng tôi đã xem xét một số hành vi cụ thể:

Chải chuốt: Ruồi thực hiện hành vi chải chuốt để làm sạch các bộ phận cơ thể của chúng. Một hành vi chải lông là chải lông râu (đã được mô phỏng trong Shiu và cộng sự, 2024 mô hình não không có cơ thể) – ruồi sử dụng chân trước để chải râu khi chúng dính bụi hoặc bị kích thích.

Cho ăn: Drosophila thể hiện phản ứng ăn uống rập khuôn khi chúng nếm đường; một lần nữa, điều này đã được mô phỏng trong mô hình não Shiu et al, 2024 chưa được xác định. Để mô phỏng việc cho ăn, chúng tôi sẽ đặt một “nguồn thức ăn” ảo (ví dụ: một giọt dung dịch đường) vào môi trường và cho phép vòi hoặc chân của ruồi tiếp xúc với nó. Trong mô hình, việc tiếp xúc với đường sẽ được cảm nhận bởi các tế bào thần kinh vị giác ở chân hoặc vòi, chúng sẽ gửi tín hiệu đến mạch cung cấp thức ăn của não. Nếu kích thích là thèm ăn (ví dụ: đồ ngọt), mô hình não sẽ kích hoạt “chương trình vận động” để bú.

Tìm kiếm thức ăn: Tìm kiếm thức ăn là một hành vi phức tạp hơn, có mục tiêu rõ ràng trong đó ruồi khám phá môi trường của nó để tìm thức ăn. Trong mô phỏng, chúng tôi thiết lập một đấu trường có một hoặc nhiều nguồn mùi hoặc vị đại diện cho thực phẩm. Nhiệm vụ của ruồi là đi lang thang cho đến khi phát hiện được tín hiệu thức ăn, sau đó di chuyển về phía đó.

Chạy trốn khỏi các kích thích thị giác đầy đe dọa: Ruồi có phản ứng trốn thoát bẩm sinh trước các mối đe dọa đang rình rập (chẳng hạn như kẻ săn mồi đang đến gần hoặc bóng tối bất ngờ trên đầu). Trong mô phỏng của chúng tôi, chúng tôi có thể tái tạo một kích thích lờ mờ – ví dụ: một vật thể tối đang mở rộng nhanh chóng trong trường thị giác của ruồi – và quan sát phản ứng của mô hình. Kích hoạt các tế bào thần kinh liên quan đến việc lờ mờ kích hoạt các tế bào thần kinh gợi ra sự trốn thoát trong mô hình phi vật thể của chúng ta, nhưng chúng ta vẫn chưa thực hiện hành vi trốn thoát trong cơ thể.

Con ruồi hiện tại không phải là gì

Công việc của chúng tôi là sự tích hợp của các thành phần đã xuất bản trước đó; chúng tôi lưu ý một số hạn chế trong công việc của chúng tôi ở đây. Điều quan trọng là chúng tôi chỉ triển khai một tập hợp nhỏ các thông tin đầu vào giác quan và chỉ mô phỏng một số hành vi.

Đầu tiên, Shiu và cộng sự. mô hình là một mô hình nơ-ron đơn giản hóa. Nó sử dụng động lực tích hợp và lửa bị rò rỉ thay vì các tế bào thần kinh nhiều ngăn chi tiết về mặt hình thái và nó dựa vào nhận dạng chất dẫn truyền thần kinh được suy luận và các mô hình khớp thần kinh đơn giản hóa. Điều này có nghĩa là tính phi tuyến đuôi gai, tính đa dạng kênh sinh lý và nhiều động lực cụ thể không được thể hiện. Điều này đủ để phục hồi một số biến đổi cảm biến vận động, nhưng rõ ràng là không nắm bắt được toàn bộ hoạt động thần kinh. Hơn nữa, phần lớn không có trạng thái bên trong, độ dẻo, khả năng học tập, sự thay đổi nội tiết tố. Ruồi sinh học không phản ứng với cùng một cảm giác đầu vào theo cách giống nhau trong mọi bối cảnh. Đói, no, kích thích, trạng thái giao phối, trạng thái đẻ trứng, lịch sử cảm giác gần đây, cơ quan điều hòa thần kinh và học hỏi tất cả các biến đổi định hình lại cảm giác vận động.

Tiếp theo, sự kết hợp giữa não và cơ thể vẫn là một vấn đề khoa học và kỹ thuật đầy thách thức trong toàn bộ hệ thống. Khó khăn trọng tâm không chỉ đơn thuần là chạy mô phỏng thần kinh và mô phỏng vật lý song song; nó đang quyết định tốc độ bắn hoặc mức tăng đột biến trong các tế bào thần kinh đi xuống cụ thể sẽ ánh xạ như thế nào đến những thay đổi về mô-men xoắn, quỹ đạo khớp, thay đổi tư thế hoặc chuỗi phối hợp các chuyển động của chân. Ở mức độ nào một kích thích giác quan cụ thể sẽ kích hoạt các tế bào thần kinh cảm giác cụ thể và mức độ ảnh hưởng đến hoạt động của tế bào thần kinh đi xuống cụ thể, chẳng hạn như tốc độ quay? Những ánh xạ này có thể được chọn tùy ý bằng tay (như trường hợp của chúng tôi) hoặc học bằng học tăng cường hoặc qua trung gian bởi các bộ điều khiển cấp thấp hơn, nhưng trong mọi trường hợp, nó vẫn là sự gần đúng của hệ thống phân cấp vận động thực sự. Một giải pháp cho vấn đề này có thể là sử dụng thêm hình ảnh hoặc điện sinh lý để hiểu được sự biến đổi cụ thể giữa tốc độ bắn DN và hành vi cụ thể.

Ngoài ra, giao diện nơ-ron giảm dần hiện tại của chúng tôi khá thưa thớt. DNa01, DNa02, aDN1, oDN1, sợi khổng lồ, tế bào thần kinh vận động vòi và một số tế bào khác mà chúng tôi đã thử nghiệm có liên quan đến nhiều hành vi khác nhau, nhưng chúng không bao gồm toàn bộ hoạt động kiểm soát hành vi của tế bào thần kinh bay xuống. Nghiên cứu gần đây cho thấy rằng các nơ-ron đi xuống rất nhiều, dư thừa một phần, có thứ bậc và dựa trên dân số. Một số là “đài truyền hình” tuyển DN khác; những người khác đóng góp các thành phần chuyên biệt về hành vi lái, chải lông, bay hoặc sinh sản (Braun và cộng sự, 2024). Điều đó có nghĩa là bộ điều khiển hiện tại của chúng ta có thể tạo ra các hành vi có thể nhận biết được, nhưng nó gần như chắc chắn làm được điều đó thông qua giao diện điều khiển có chiều hướng thấp hơn nhiều so với giao diện mà ruồi sinh học sử dụng. Một cách sử dụng thú vị của chúng tôi và các mô hình được thể hiện khác có thể là để dự đoán, dựa trên một số thông tin đầu vào cảm giác, vai trò của các tế bào thần kinh đi xuống cụ thể, được đưa ra khi chúng được dự đoán là hoạt động. Pugliese và cộng sự. dự đoán vai trò của các nơ-ron đi xuống cụ thể từ màn hình kích hoạt tính toán (Pugliese và cộng sự, 2025). Chúng tôi cũng lưu ý rằng việc mở rộng mô hình của mình để bao gồm VNC và các đầu ra khác là một hướng hữu ích khác.

Cuối cùng, kết quả của chúng tôi vẫn chưa được coi là bằng chứng cho thấy chỉ cấu trúc thôi cũng đủ để khôi phục toàn bộ hành vi của ruồi một cách nghiêm ngặt về mặt khoa học. Cấu trúc theo hành vi thuần túy là hướng mà chúng tôi muốn khám phá, nhưng đối với một tiết mục được thể hiện rộng rãi, nó có thể sẽ yêu cầu học thêm, bổ sung kiến ​​thức trước, giao diện động cơ chi tiết hơn và nhiều dữ liệu chức năng hơn. Theo nghĩa đó, con ruồi hiện thân hiện tại được hiểu rõ nhất là một nền tảng nghiên cứu và nền tảng trình diễn.

Bạn có thể trợ giúp bằng cách nào

Eon hiện đang soạn thảo một khuôn khổ để xác định độ trung thực của các hoạt động mô phỏng và tải lên não bộ mà chúng tôi dự kiến sẽ chia sẻ trong tương lai trung hạn và sẽ thu thập ý kiến đóng góp về các tài liệu này. Ngoài ra, chúng tôi hy vọng được hợp tác với các nhóm học thuật và ngành về thách thức này. Nếu bạn muốn cộng tác về những vấn đề này, vui lòng liên hệ theo địa chỉ contact@eon.systems

Kết luận

Chúng tôi coi con ruồi hiện thân là bước quan trọng đầu tiên. Nó không phải là điểm cuối và mô hình hiện có nhiều đơn giản hóa đáng kể. Nhưng nó có thể là một thử nghiệm hữu ích để kiểm soát cảm giác vận động bị ràng buộc bởi kết nối, để đánh giá các giao diện cơ thể-não của ứng viên và để làm cho vấn đề mô phỏng thể hiện đủ cụ thể để cải thiện. Chúng tôi cũng hy vọng rằng phần trình diễn của chúng tôi đóng vai trò là một minh chứng thú vị và hấp dẫn về cách hoạt động của phương án mô hình não bộ.