Thống kê Bayes cho các nhà khoa học dữ liệu bối rối

Nhưng trước đó bạn đã nói điều trước đó không quan trọng. Rõ ràng là có!

Đúng vậy, đây là một khía cạnh quan trọng của thống kê Bayes. Vì phần sau trực tiếp phụ thuộc vào phần trước nên tất nhiên nó có tác dụng nhất định. Tuy nhiên, bạn càng có nhiều dữ liệu thì phần sau của bạn sẽ càng được xác định bởi thuật ngữ khả năng. Điều này đặc biệt đúng nếu bạn lấy giá trị trước “rộng” (Gaussian rộng, đồng nhất, v.v.). Lý do cho điều này là bạn càng có nhiều dữ liệu thì khả năng bạn sẽ có càng nhiều cấu trúc (tức là các đỉnh cục bộ). Khi nhân với phần trước, những phần này sẽ hầu như không bị xáo trộn bởi các phần phẳng của phần trước và sẽ vẫn giữ nguyên các đặc điểm của phần sau. Nhưng khi bạn có ít dữ liệu, điều ngược lại sẽ xảy ra và dữ liệu trước của bạn được phản ánh nhiều hơn trong dữ liệu sau. Đây là một trong những điểm mạnh của thống kê Bayes. Cái trước có ở đây để bù đắp cho việc thiếu dữ liệu và khi có đủ dữ liệu, nó sẽ ngừng hoạt động.³

TL; DR: Trong khi thống kê thường xuyên coi các tham số là cố định và dữ liệu là ngẫu nhiên thì thống kê Bayes lại làm ngược lại. Đây chủ yếu là sự khác biệt trong cách giải thích, nhưng nó có một số tác động đến chính khuôn khổ đó. Thống kê Bayes đặc biệt phù hợp để mô hình hóa tính không chắc chắn vốn có của dữ liệu được lấy mẫu.

Thống kê Bayes trong thực tế

Nếu phần trước bạn cảm thấy hơi tẻ nhạt thì đó là điều bình thường. Thông thường với các ví dụ đơn giản như ví dụ trên, số liệu thống kê Bayesian không có vẻ đặc biệt hữu ích và sự phức tạp của việc thay đổi các khuôn khổ dường như khó có giá trị. Tuy nhiên, những tình huống như vậy hiếm khi xảy ra trong đời thực. Gần đây tôi đã phát hiện ra một trường hợp sử dụng thú vị hơn nhiều, trong đó sự cân bằng giữa mô hình hóa trước và khả năng xảy ra theo một cách rất thú vị.

Hãy tưởng tượng bạn là một công ty bán lẻ và bạn muốn tạo dữ liệu tổng hợp thể hiện các đơn đặt hàng của mình, dựa trên dữ liệu lịch sử. Một khía cạnh khá khó khăn của việc này là làm thế nào để phân phối dữ liệu tổng hợp về mặt địa lý. Cách tiếp cận đơn giản nhất chỉ là lấy mẫu một vị trí ngẫu nhiên (chẳng hạn như mã bưu chính) cho mỗi đơn hàng, dựa trên tần suất các đơn hàng tương tự trong quá khứ. Hiện tại, điều tương tự có thể chỉ có nghĩa là cùng một danh mục hoặc được bán trong cùng một kênh (tại cửa hàng, trực tuyến, v.v.). Cách tiếp cận thường xuyên đối với vấn đề này thường bắt đầu bằng cách phân cụm dữ liệu lịch sử dựa trên nhóm bạn đã chọn và ước tính mức phân bổ mã bưu chính cho từng cụm bằng cách sử dụng số lượng bán hàng trong dữ liệu. Nếu chuẩn hóa số lượng theo danh mục, bạn sẽ nhận được phân bố xác suất có điều kiện P(postal code∣category)P(\text{postal code} | \text{category}) mà sau đó bạn có thể lấy mẫu.

Mặc dù đây là một cách tiếp cận hoàn toàn hợp lý nhưng không phải là không có vấn đề. Ví dụ: nó không hiệu quả lắm đối với các danh mục mới hoặc mã bưu chính mới. Tương tự, nếu dữ liệu của bạn thưa thớt thì phân phối ước tính có thể khá nhiễu. Trong khoa học dữ liệu, loại tình huống này thường yêu cầu các phương pháp chính quy hóa cụ thể. Theo cách tiếp cận Bayesian, việc phân phối lịch sử của mã bưu chính sẽ kiểm soát khả năng xảy ra (tôi dựa trên phân phối Dirichlet-Đa thức), nhưng bạn vẫn phải cung cấp trước. Như tôi đã đề cập ở trên, phần trước sẽ tiếp quản bất cứ nơi nào dữ liệu của bạn không đủ chính xác để mang lại khả năng cao. Tất nhiên, không giống như ví dụ trước, bạn không muốn sử dụng phần trước không có thông tin mà muốn tận dụng một số kiến ​​thức về miền. Nếu không, bạn cũng có thể sử dụng phương pháp tiếp cận thường xuyên. Ưu tiên tốt nhất cho vấn đề này sẽ là bất kỳ sự phân phối dựa trên dân số nào (hoặc bất kỳ điều gì có liên quan đến doanh số bán hàng). Điểm mấu chốt ở đây là không giống như dữ liệu của chúng tôi, sự phân bố dân cư không thưa thớt nên mọi mã bưu chính đều có cơ hội được lấy mẫu, điều này dẫn đến một mô hình mạnh mẽ hơn. Khi thực hiện việc này, bạn sẽ có được một mô hình tận dụng tối đa dữ liệu đồng thời xử lý khéo léo các khu vực mới bằng cách sử dụng khu vực trước đó làm loại dự phòng.

Các phương pháp số trong thống kê Bayesian

Tôi hy vọng bây giờ bạn có thể thấy số liệu thống kê Bayesian hữu ích như thế nào. Nhưng đồng thời, bạn cũng có thể nhận thấy rằng việc tính toán có thể hơi khó khăn. Trước đây chúng ta đã gặp may vì mọi thứ đều có thể được biểu diễn bằng một chuỗi toán học nổi tiếng. Nói chung, đây không phải là trường hợp. Rất may, có một số thuật toán số hiệu quả có thể giúp bạn tìm phân bố sau mà không cần phải thực hiện bất kỳ công việc nào trong số này và tôi thực sự đã cho bạn xem một ví dụ ở trên dựa trên gói Python pymc.

Ý tưởng này bắt nguồn từ phương pháp Markov Chain Monte Carlo (MCMC):

• ‘Chuỗi Markov’ về cơ bản là các bước đi ngẫu nhiên trong không gian tham số không có bộ nhớ (vì vậy mỗi bước chỉ phụ thuộc vào trạng thái hiện tại),
• 'Monte Carlo' đề cập đến các thuật toán sử dụng lấy mẫu ngẫu nhiên để ước tính một số lượng (trong trường hợp này là phân phối sau).

Để lấy mẫu phân phối sau, có một số thuật toán MCMC (pyMC sử dụng thuật toán NUTS), nhưng ở đây tôi sẽ tập trung vào thuật toán Metropolis mà tôi đã sử dụng trước đó để giải mô hình spin Ising. Thuật toán bắt đầu từ một điểm nào đó trong không gian tham số θ0\theta_0. Sau đó, tại mỗi bước thời gian tt, thuật toán đề xuất một điểm mới θt+1\theta_{t+1} được chấp nhận với xác suất min⁡(1,P(θt+1∣X)P(θt∣X))\min\left(1, \frac{P(\theta_{t+1}|X)}{P(\theta_t|X)}\right). Bởi vì xác suất này chỉ phụ thuộc vào tỷ lệ phân phối sau, nên nó độc lập với thuật ngữ chuẩn hóa P(X)P(X) và thay vào đó chỉ phụ thuộc vào khả năng và phân phối trước đó. Đây là một lợi thế rất lớn vì cả hai đều nổi tiếng và dễ tính toán. Thuật toán tiếp tục trong một thời gian cho đến khi chuỗi hội tụ về phân bố sau và các điểm dữ liệu được quan sát hiển thị hình dạng của phân bố sau.

Trong pymc, cách để thực hiện việc này là xác định mô hình bằng cách sử dụng pm.Model(). Bạn có thể xác định một số phân phối cho các ưu tiên của mình bằng cách sử dụng pm.Uniform, pm.Normal, pm.Binomial, v.v. Để chỉ định khả năng của mình, bạn có thể chỉ định nó trực tiếp bằng cách sử dụng pm.Potential (như tôi đã làm ở trên) nếu bạn có biểu mẫu đóng, nếu không, bạn có thể chỉ định mô hình dựa trên tham số của mình bằng bất kỳ phương pháp phân phối nào, cung cấp dữ liệu được quan sát bằng đối số được quan sát. Cuối cùng, bạn có thể gọi pm.sample() để chạy thuật toán MCMC và lấy mẫu từ phân phối sau. Sau đó, bạn có thể sử dụng arviz để phân tích kết quả và nhận được những thứ như khoảng tin cậy, phương tiện hậu nghiệm, v.v.

Ví dụ: giả sử bạn muốn điều chỉnh mô hình hồi quy tuyến tính y=ax+by = a x + b cho một số dữ liệu (xi,yi)(x_i, y_i). Theo cách tiếp cận Bayesian, trước tiên chúng tôi xác định mức ưu tiên cho các tham số aa, bb. Vì tất cả các tham số đều là số thực liên tục nên phân phối chuẩn trước rộng là một lựa chọn tốt. Để có khả năng xảy ra, chúng ta có thể tập trung vào phần dư ri=yi−(axi+b)r_i = y_i - (a x_i + b) mà chúng ta lập mô hình thông qua phân phối chuẩn ri∼N(0,σ2)r_i \sim \mathcal{N}(0, \sigma^2) (chúng tôi cũng cung cấp các giá trị tiên nghiệm cho σ\sigma). Trong pymc, điều này có thể được triển khai như sau:

nhập pymc như chiều
với pm.Model() dưới dạng mô hình:
 # Ưu tiên
 a = pm.Normal("a",  mu=0, sigma=10)
 b = pm.Normal("b", mu=0, sigma=10)
 sigma =  pm.HalfNormal("sigma", sigma=10)
 # Khả năng
 y_obs = pm.Normal("y_obs", mu=a * x + b, sigma =sigma, được quan sát=y)
 # Mẫu từ phía sau
 dấu vết = pm.sample(1000, điều chỉnh=1000, chuỗi=4)

Sau khi các chuỗi đã hội tụ, chúng ta có thể trích xuất các phân phối sau cho aa, bb và σ\sigma (để lấy phương tiện hoặc CI) bằng cách sử dụng arviz:

nhập arviz as az
a_mean = trace.posterior[ "a"].values.mean()
b_mean = trace.posterior["b"].values.mean()
sigma_mean = trace.posterior["sigma"].values.mean()

Một lợi ích thú vị của phương pháp này là nó cũng hoạt động rất tốt nếu dữ liệu của bạn có các giá trị ngoại lệ. Trong trường hợp này, bạn có thể thêm một tham số phiền toái gi∈[0,1]g_i \in [0,1] cho mỗi điểm dữ liệu để nội suy giữa khả năng Gaussian của chúng tôi và một phân phối Gaussian khác có phương sai rộng hơn nhiều, lập mô hình nhiễu nền. Điều này phần lớn làm tăng số lượng tham số chưa biết, nhưng đổi lại mọi tham số đều được cân nhắc và mô hình có thể dễ dàng xác định các giá trị ngoại lệ. Trong pymc, việc này sẽ được thực hiện như thế này:

với pm.Model() như mô hình:
 # Priors
 a = pm.Normal("a", mu=0, sigma= 10)
 b = pm.Normal("b", mu=0, sigma=10)
 # Phương sai của hai hỗn hợp Gauss
 sigma = pm.HalfNormal("sigma", sigma=10)
 delta = pm.HalfNormal("delta", sigma=5)
 sigma_bgd = pm.Deterministic( "sigma_bgd", sigma + delta)
 # Đối với phương sai nền, hãy đảm bảo phương sai nền lớn hơn
 # so với phương sai nội bộ bằng cách thêm một delta dương.
 # Điều này giúp phá vỡ tính đối xứng giữa
  # hai thành phần và cho phép mô hình xác định các ngoại lệ tốt hơn.
 # Trọng số hỗn hợp
 gs = pm.Beta("gs", alpha=2, beta=2, hình dạng=len (x))
 # Khả năng là một hỗn hợp có trọng số
 mu = a * x + b
 w = pm.math.stack([gs, 1 - gs], axis= 1)
 pm.Mixture(
 "likelihood",
 w=w,
 comp_dists=[
 pm.Normal.dist(mu =mu, sigma=v),
 pm.Normal.dist(mu=mu, sigma=sigma_bgd),
 ],
 được quan sát=y,
 )
 # Mẫu từ phía sau
 trace = pm.sample(1000, điều chỉnh=1000, chuỗi=4)

Vậy khi gig_i gần bằng 1, khả năng bị chi phối bởi Gaussian hồi quy trong khi khi gig_i gần bằng 0, hỗn hợp có xu hướng hướng về Gaussian nền. Trong hình bên dưới, bạn có thể thấy phương pháp này so với hồi quy tuyến tính bình phương nhỏ nhất như thế nào.

Là một nhà khoa học dữ liệu, bạn có thể đã quen với việc giải quyết các vấn đề như thế này bằng cách sử dụng các hồi quy tuyến tính chính quy như hồi quy Lasso (L1) hoặc Ridge (L2). Về cơ bản, điều này tương đương với việc tìm MAP của tham số dựa trên Laplace hoặc Gaussian trước đó. Nếu bạn sử dụng phiên bản log của định lý Bayes với khả năng hồi quy thì việc tối đa hóa phân phối sau sẽ trở thành tối thiểu hóa

θMAP=min⁡θ(−log⁡P(θ∣X))=min⁡θ∑i(yi−θ0−θ1xi)2σ2+F(θ) . \theta_{\mathrm{MAP}} = \min_\theta (-\log P(\theta | X)) = \min_\theta \sum_i \frac{(y_i - \theta_0 - \theta_1 x_i )^2}{\sigma^2} + F(\theta)~.

Đối với một Gaussian tiên nghiệm P(θ)∼N(0,τ)P(\theta) \sim \mathcal N(0, \tau) nên F(θ)=1τ2∑iθi2F(\theta) = \frac{1}{\tau^2} \sum_i \theta_i^2 trong khi đối với Laplace trước P(θ)∼Laplace(0,τ)P(\theta) \sim \mathrm{Laplace}(0, \tau), thì F(θ)=1τ∑i∣θi∣F(\theta) = \frac{1}{\tau} \sum_i |\theta_i|. Vì vậy, từ trước đến nay, hai kỹ thuật chính quy hóa này chỉ là những lựa chọn khác nhau của các chuyên gia Bayesian!

Kết luận

Tôi hy vọng bài đăng này đã cung cấp cho bạn một số ý tưởng tốt hơn về cách thức hoạt động của thống kê Bayes và điểm chúng tỏa sáng. Nói chung, tôi thấy đây là một khuôn khổ tốt hơn để điều chỉnh dữ liệu không chắc chắn và mặc dù nó nghe có vẻ phức tạp hơn một chút, nhưng bạn có thể thấy từ các ví dụ mã rằng phương pháp MCMC giúp việc tạo các mô hình phức tạp từ dữ liệu và dữ liệu trước đó trở nên rất dễ dàng.

Tài liệu tham khảo

• Chủ nghĩa thường xuyên và chủ nghĩa Bayes: Giới thiệu thực tế
• Giới thiệu hiện đại về lập trình xác suất với PyMC
• Trang chủ thư viện PyMC