Parallel Perl – trình thông dịch tự động song song với JIT

Mở đầu Kể từ lần trước...

GPW 2016 · Nuremberg · "KI: Wie testet man ein Hirn?"

Đó là chuyện của 10 năm trước. Rất nhiều điều đã xảy ra.

"Bạn phải có sự kiên nhẫn, Padawan trẻ tuổi của tôi"

Phần mở đầu này không phải về Perl — nhưng nó là bối cảnh cần thiết.

Nội dung được phân loại

Có một số điều tốt hơn hết là không nên nói ra.

Những gì tôi có thể cho bạn xem hôm nay gần bằng một nửa những gì đã xảy ra.

→ tiếp tục

Hệ thống quang điện và năng lượng

Được thiết kế, xây dựng, tự động hóa

Hệ sinh thái Victron  ·  Giám sát và kiểm soát Perl

Hệ thống quang điện và năng lượng

Biệt thự-A

Ngôi nhà của một nhà kỹ trị — tiêu chuẩn của những năm 2050

Biệt thự-A — Xây dựng

Biệt thự-A — Xây dựng

Biệt thự-A — Xây dựng

Biệt thự-A — Xây dựng

Biệt thự-A — Xây dựng

Biệt thự-A — Xây dựng

Biệt thự-A — Xây dựng

Biệt thự-A — Xây dựng

Biệt thự-A — Hệ thống

• Erdwärmekörbe, WP — heizen, kühlen (passiv)
• "Klimamatten" — Deckenheizung, Kühlung (BEKA → Berlin)
• Luftbrunnen, KWL
• Privatkraftwerk (Offgrid)
• Wasserwerk / Wasseraufbereitung
• Digital Lichtsteuerung, DALI "Full-Stack DC" (DALI-SELV)
• ... và đừng vội vàng

...và tất cả đều cần được kiểm soát.

Một ngôi nhà phức hợp này cần một hệ thống tự động hóa
điều đó vẫn chưa tồn tại

→

02 roi

Bộ xử lý cơ sở hạ tầng Witty House

PV — Tích hợp Perl

Các công cụ đầu tiên: Victron Modbus + ECS BMS — tất cả đều có trong Perl

$ ecs_bms_tool -range 1-16 # truy vấn tất cả các mô-đun pin
$ ecs_bms_tool -nhận điện áp di động -nhận nhiệt độ di động
$ ecs_bms_tool -otype json # JSON để tích hợp đường ống
$ Wmodbus khám phá 192.168.2.0/24 # tìm thiết bị Modbus trên mạng
$ Wmodbus --host 192.168.2.201 --unit 2 đọc giữ 0-10
$ Wmodbus --host 192.168.2.201 --profile vents-dbe900l màn hình

ecs_bms_tool — Quản lý ECS LiPro BMS (SoC, điện áp di động, cân bằng)
Wmodbus — Modbus TCP/RTU: khám phá, đọc/ghi, cấu hình thiết bị, giám sát
Wcli — tính toán bức xạ mặt trời và năng lượng quang điện
Wthermal — mô hình nhiệt trong nhà dựa trên vật lý

Kịch bản hoạt động. Nhưng một ngôi nhà không chỉ là những tấm pin mặt trời.

Đang tìm Smarthome

Rõ ràng là tốt nhất trong Perl.

Trải nghiệm FHEM

svn.fhem.de/trac/browser/trunk/fhem

(Người của FHEM: không có ý xúc phạm. Chà, có lẽ một chút.)

Ý tưởng hay đấy. Thực thi sai.

Tôi cảm thấy phải có điều gì đó tốt hơn.

Sự ra đời của một nút

Sự ra đời của một nút

Sự ra đời của một nút

Tại sao CÓ THỂ?

Sự ra đời của một Hub

Vậy là bạn có 20 nút — bây giờ thì sao?

RasPi 4B/5 · 2-ch CAN HAT · Bảng chuyển tiếp · Giá đỡ DIN Rail · Cổng CAN/IP & CAN/CAN

Kiến trúc WHIP

Nút — MCU STM32 · FreeRTOS · Xe buýt CAN 1MBit · Tự trị C / Được nhúng

Trung tâm — RasPi · Cổng CAN/IP · Tập hợp trung tâm · Cầu nối giao thức · Mojolicious Perl

Máy chủ — Điều phối · Kết nối bên ngoài Perl

Các lớp cao hơn luôn là một phần bổ sung, không bao giờ là một yêu cầu.

Nút — STM32 + FreeRTOS

Hạch

Hạch = GANG của các nút I/O nhẹ — mô hình não côn trùng.
Quy tắc IF-THEN, bộ tính giờ, biến cục bộ — được biên dịch thành mã byte trên MCU.
Các nút hoạt động tự động ngay cả khi trung tâm/máy chủ ngừng hoạt động.

Hạch — Đang hoạt động

Trung tâm — một Pantheon

Các trung tâm RasPi chuyên dụng. Đặt tên theo chức năng chứ không phải ngẫu nhiên.

Không có trung tâm nào là một điểm thất bại duy nhất. Mỗi miền chạy độc lập.

SELV-DALI — Chiếu sáng không cần nguồn điện

Biến tần thất bại? Đèn vẫn sáng - chúng hoàn toàn bỏ qua AC.

Chuyển đổi bên cạnh bồn tắm? Không có gì. Không cần thợ điện.

WHIP — Giao thức & tích hợp

Tất cả các trình xử lý giao thức trong Perl · I/O không đồng bộ vui nhộn

WHIP — Đang sản xuất

Vô hình khi nó hoạt động. Có năng lực khi nó quan trọng. Được xây dựng trong nhiều thập kỷ, không bảo hành.

03 AI làm Perl

Sử dụng AI để viết Perl — thực tế thực tế

AI đã đóng góp...

Dự án phụ "nhỏ"

Tình hình CPAN

SNMP & MIB — mồi nhanh

SNMP::MIB::Trình biên dịch

2 ngày với AI · Mô-đun CPAN hoạt động 93% · sửa lỗi có mục tiêu, không cần viết lại

4740 MIB · 301 bản sửa lỗi · Ít hơn 52 lỗi so với Go

github.com/petajoulecorp/SNMP-MIB-Compiler

Grpc::FFI

Cần có gRPC trong Perl. Mọi thứ trên CPAN: không hoạt động, đã chết hoặc bị hỏng.

Vì vậy chúng tôi đã xây dựng nó. Từ đầu. FFI::Platypus liên kết với API gRPC C.

Chưa hết - đây chỉ là khúc dạo đầu
cho một cái gì đó lớn hơn.

Điều gì sẽ xảy ra nếu FFI không chỉ là một trình kết nối thư viện được thiết kế riêng...
...nhưng được tích hợp và tự động hơn?

Người điều hướng/Người điều phối

AI không tự mình làm việc này.

Ví dụ về gRPC: Tôi quyết định "bắt đầu với UUID, sau đó là SQLite, rồi gRPC"
AI thực hiện từng giai đoạn, ghi lại các bài học, chuyển sang giai đoạn tiếp theo

Nếu không có bộ điều hướng — AI sẽ tạo ra những thứ ấn tượng không thể đi đến đâu.
Không có AI – người điều hướng sẽ không có đủ thời gian trong ngày.

Vậy... AI khá giỏi về Coding.

Nhưng điều này thực sự có thể đi bao xa?

04 AI thực hiện Perl

Xoay vị ngữ xung quanh.

hạt tiêu

PetaPerl  /  ParallelPerl

Trình thông dịch Perl 5 — do con người thiết kế.

Viết bằng Rust — bởi nhiều tác nhân AI.

Nghiêm túc — không có đồ chơi hoặc bài tập học tập.

hạt tiêu

PetaPerl  /  ParallelPerl

Trình thông dịch Perl 5 Nền tảng — do con người thiết kế.

Viết bằng Rust — bởi nhiều tác nhân AI.

Nghiêm túc — không có đồ chơi hoặc bài tập học tập.

pperl — Không phải lần thử đầu tiên

Kiểu lỗi thường gặp: đánh giá thấp độ phức tạp của Perl 5

ngọc — Phạm vi

pperl — Trạng thái

22.000+

tổng số bài kiểm tra

~61–400 thất bại — cho hay nhận

Hiệu suất: tốt, xấu và xấu xí

Trích dẫn từ AI

13095 vượt qua (+25 so với 13070 trước đó), 31 thất bại (giảm từ 46!). Việc triển khai gốc File::Path không chỉ hoạt động mà còn bỏ chặn 15 thử nghiệm thất bại trước đó phụ thuộc vào File::Path. Hồi quy bằng không.

pperl — Điểm chuẩn

Triển khai Rust gốc - không phải XS, không phải C

pperl — Ngoài Perl5

Khả năng tương thích tối đa. Nhưng còn hơn thế nữa.

Tự động song song hóa

Được cung cấp bởi Rayon — Thư viện song song dữ liệu của Rust

# Điều này chỉ hoạt động. Song song.
@results của tôi = bản đồ { cost_computation($_) } @large_list;
# Không có chủ đề. Không có MCE. Không có nĩa.
# perl phát hiện các vòng lặp an toàn → Rayon xử lý phần còn lại.

Cờ --song song · danh sách ≥ 1000 mục · không có đột biến chung

Biên dịch JIT

Đúng lúc — biên dịch thành mã máy trong khi chạy

Cranelift — phần phụ trợ của trình biên dịch đằng sau bộ mã hóa thay thế của Wasmtime và Rust.
Sản xuất đã được chứng minh. Mục tiêu: x86-64 · AArch64 · s390x · RISC-V

# perl phát hiện đây là mẫu vòng lặp nóng
tổng $ của tôi = 0;
cho $i của tôi (1 .. 1_000_000) {
    $tổng += $i;
}
# → Cranelift biên dịch thành mã máy gốc

JIT — Chiến thắng đầu tiên

JIT vòng lặp bên trong — vòng lặp nóng đơn được biên dịch thành mã gốc

Tốt. Nhưng chỉ có vòng lặp trong cùng được biên dịch. Thế còn các vòng lặp lồng nhau thì sao?

JIT — Lồng nhau hoàn toàn

Tất cả 3 cấp độ vòng lặp được biên dịch thành một hàm gốc

200 triệu lần lặp thoát của số học float.
19 biến, 3 cấp độ vòng lặp - Đăng ký Cranelift phân bổ trên tất cả chúng.

Perl. Với JIT. Đó là một câu nói không ai mong đợi.

JIT tự động song song — Thắng hoàn toàn

JIT + Rayon: biên dịch thành bản địa, sau đó chia thành các lõi

Riêng JIT: 76×. Thêm 8 chủ đề: thêm ~7× ở trên cùng.
người dùng 2,6 giây so với 0,34 giây thực — mở rộng gần như tuyến tính trên các lõi.

Thời gian thử nghiệm!

✓ Tự động FFI

Không có XS. Không có nội tuyến::C. Không biên soạn. Chỉ cần gọi C.

# Lớp 0 — Nguyên: bất kỳ thư viện nào, bạn cung cấp chữ ký kiểu
sử dụng Peta::FFI qw(dlopen call);
$lib = dlopen("libz.so.1"); của tôi
$ver = call($lib, "zlibVersion", "()p");
nói "zlib: $ver";    #1.3.1

FFI tự động — Chi tiết

Được cung cấp bởi libffi — mọi chữ ký đều hoạt động, không có sơ khai được tạo trước

# Lớp 2 — Có gì trên hệ thống này?
sử dụng Peta::FFI qw(quét cuộc gọi dlopen);
$libs = scan() của tôi;
nói vô hướng(keys %$libs), " đã tìm thấy thư viện";
if (tồn tại $libs->{"libz.so.1"}) {
    $z = dlopen("libz.so.1"); của tôi
    nói "zlib: ", call($z, "zlibVersion", "()p");

Libc: ~30 hàm (tiến trình, chuỗi, env, toán, tệp, thời gian)
UUID: 6 chức năng thông qua dlopen - chết kèm theo gợi ý cài đặt nếu thiếu

✓ Bộ nhớ đệm mã byte (.plc)

Giống như .pyc của Python — nhưng dành cho Perl. Chọn tham gia.

# Mặc định: không có bộ nhớ đệm (an toàn cho quá trình phát triển)
$ perl script.pl
# Kích hoạt: biên dịch một lần, tải từ bộ đệm trong các lần chạy tiếp theo
$ perl --cache script.pl
# Vô hiệu hóa tất cả bộ đệm
$ perl --flush

Bộ nhớ đệm mã byte — Chi tiết

Storable-model: bincode giải tuần tự hóa trực tiếp thành các loại thời gian chạy cuối cùng. Không cần chuyển đổi trung gian.

Chi phí tải mô-đun ròng: nhanh hơn 33–37% khi sử dụng bộ nhớ đệm. Chiến thắng lớn nhất trên các mô-đun dự phòng. Các mô-đun Native Rust đã có chi phí gần như bằng 0.

Khóa SHA-256 · xác thực mtime + phiên bản · tạo phiên bản định dạng linh hoạt

✓ Daemon hóa

Mô hình daemon/máy khách kiểu Emacs

Daemonize — Chi tiết

Loại bỏ cả hai chi phí khởi động: tạo quy trình (~3-4 mili giây) + biên dịch mô-đun (0-15 mili giây)
Nhanh hơn bộ nhớ đệm bytecode — không giải tuần tự hóa, các đấu trường đã có sẵn trong bộ nhớ

Ổ cắm tên miền Unix · Giao thức dây JSON · sao chép khi ghi trang qua fork()

Daemonize — Nghệ thuật trước

Tất cả các giải pháp trước đó: cùng một trình thông dịch cho các yêu cầu — rò rỉ trạng thái theo thiết kế
perl: con mới theo yêu cầu qua fork() — đấu trường được biên dịch qua COW, trạng thái thời gian chạy sạch

Tương lai

Khi nào nên sử dụng hạt trân châu

Nguyên tắc chung: kịch bản càng dài và phức tạp,
bạn càng có nhiều khả năng gặp trường hợp góc. Nếu bạn không muốn chạm vào mã - hãy sử dụng Perl5.

Nghiên cứu điển hình về tính đúng đắn

"Khả năng tương thích tối đa" nghiêm trọng đến mức nào?

if (SvGMAGICAL(ofs) || SvOK(ofs))

if (PL_ors_sv && SvOK(PL_ors_sv))

// Cùng một mặt nạ cho cả hai — Đã bao gồm SVS_GMG cho ORS. Sai.
nếu cờ & (SVF_IOK | SVF_NOK | SVF_POK | SVF_ROK | SVS_GMG) != 0

Tôi đã và đang làm
AI với Perl
trong vài thập kỷ. Bây giờ là lúc để
AI làm Perl.

Tải tại đây:

perl.petamem.com

Danke.

Richard Jelinek  ·  rj@petamem.com
PetaMem s.r.o.  ·  petamem.com

Còn một điều nữa.

psh

Vỏ Perl tương tác

ps() | grep { $_->{mem} > 100_000 }
     | sắp xếp { $b->{cpu} <=> $a->{cpu} };