Luận án Một số phương pháp ngẫu nhiên cho bài toán cực đại hóa xác suất hậu nghiệm không lồi trong học máy

Tên luận án:

MỘT SỐ PHƯƠNG PHÁP NGẪU NHIÊN CHO BÀI TOÁN CỰC ĐẠI HÓA XÁC SUẤT HẬU NGHIỆM KHÔNG LỒI TRONG HỌC MÁY

Ngành:

Hệ thống thông tin

Tóm tắt nội dung tài liệu:

Luận án tập trung nghiên cứu và đề xuất các phương pháp ngẫu nhiên hiệu quả để giải quyết bài toán cực đại hóa xác suất hậu nghiệm (MAP) không lồi trong học máy. Đây là một thách thức lớn khi hàm mục tiêu thường phức tạp, nhiều chiều và có thể có nhiều điểm cực trị địa phương. Luận án chỉ ra nhược điểm của phương pháp ước lượng hợp lý cực đại (MLE) khi xử lý dữ liệu ít hoặc phức tạp, từ đó đề xuất tiếp cận MAP bằng cách tích hợp thông tin tiên nghiệm.

Công trình này đã đóng góp ba nhóm thuật toán chính:

• Thứ nhất, nhóm thuật toán OPE (Online Maximum a Posteriori Estimation) bao gồm OPE1, OPE2, OPE3, OPE4 được đề xuất để suy diễn hậu nghiệm trong mô hình chủ đề Latent Dirichlet Allocation (LDA). Các thuật toán này sử dụng phân phối xác suất đều kết hợp với hai chuỗi biên ngẫu nhiên, với OPE3 và OPE4 cho thấy hiệu quả vượt trội, được chứng minh cả về lý thuyết và thực nghiệm.
• Thứ hai, thuật toán GOPE (Generalized Online Maximum a Posteriori Estimation) được giới thiệu như một phương pháp tổng quát hơn để giải bài toán MAP không lồi. GOPE khai thác phân phối Bernoulli rời rạc và lý thuyết xấp xỉ ngẫu nhiên, mang lại tính linh hoạt cao trong việc phân rã hàm mục tiêu và có thể áp dụng cho các bài toán quy hoạch DC hay hiệu chỉnh.
• Thứ ba, thuật toán BOPE (Bernoulli Optimization for Posterior Estimation) được phát triển, kết hợp ngẫu nhiên hóa Bernoulli, hai biên ngẫu nhiên và nguyên lý tham lam. BOPE được chứng minh có tốc độ hội tụ nhanh (O(1/T)) và khả năng hiệu chỉnh tốt, đặc biệt trong việc ngăn chặn hiện tượng quá khớp trên dữ liệu văn bản ngắn.

Luận án đã kiểm chứng hiệu quả của các phương pháp đề xuất thông qua thực nghiệm trên nhiều bộ dữ liệu lớn (New York Times, PubMed, CiteULike, MovieLens 1M, Twitter, Yahoo, NYT-Titles) trong các ứng dụng phân tích văn bản và hệ gợi ý. Các kết quả thực nghiệm và cơ sở lý thuyết vững chắc khẳng định ưu việt của các thuật toán so với phương pháp đương đại, mở ra tiềm năng ứng dụng rộng rãi cho các bài toán tối ưu không lồi phức tạp trong học máy.

Mục lục chi tiết:

• MỞ ĐẦU

  • 1. Bối cảnh nghiên cứu
  • 2. Động lực thúc đẩy
  • 3. Các đóng góp chính của luận án
  • 4. Bố cục của luận án

• Chương 1: MỘT SỐ KIẾN THỨC NỀN TẢNG

  • 1.1. Tối ưu không lồi
    • 1.1.1. Bài toán tối ưu tổng quát
    • 1.1.2. Tối ưu ngẫu nhiên
  • 1.2. Mô hình đồ thị xác suất
    • 1.2.1. Giới thiệu
    • 1.2.2. Một số phương pháp suy diễn
      • a. Phương pháp suy diễn biến phân
      • b. Phương pháp Markov Chain Monte Carlo (MCMC)
      • c. Phương pháp Gibbs Sampling
  • 1.3. Bài toán cực đại hóa xác suất hậu nghiệm
    • 1.3.1. Giới thiệu bài toán MAP
    • 1.3.2. Một số phương pháp tiếp cận
  • 1.4. Mô hình chủ đề
    • 1.4.1. Giới thiệu về mô hình chủ đề
    • 1.4.2. Mô hình Latent Dirichlet Allocation
    • 1.4.3. Suy diễn hậu nghiệm trong mô hình chủ đề
      • a. Phương pháp Variational Bayes
      • b. Phương pháp Collapsed variational Bayes
      • c. Fast collapsed variational Bayes
      • d. Phương pháp Collapsed Gibbs sampling
  • 1.5. Thuật toán OPE
  • 1.6. Một số thuật toán ngẫu nhiên học LDA
  • 1.7. Kết luận chương 1

• Chương 2: NGẪU NHIÊN HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN SUY DIỄN HẬU NGHIỆM TRONG MÔ HÌNH CHỦ ĐỀ

  • 2.1. Giới thiệu
  • 2.2. Đề xuất mới giải bài toán MAP trong mô hình chủ đề
  • 2.3. Các thuật toán học ngẫu nhiên cho mô hình LDA
  • 2.4. Đánh giá thực nghiệm
    • 2.4.1. Các bộ dữ liệu thực nghiệm
    • 2.4.2. Độ đo đánh giá thực nghiệm
    • 2.4.3. Kết quả thực nghiệm
  • 2.5. Sự hội tụ của các thuật toán đề xuất
  • 2.6. Mở rộng thuật toán đề xuất cho bài toán tối ưu không lồi
  • 2.7. Kết luận chương 2

• Chương 3: TỔNG QUÁT HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN MAP KHÔNG LỒI TRONG MÔ HÌNH CHỦ ĐỀ

  • 3.1. Giới thiệu
  • 3.2. Thuật toán GOPE
  • 3.3. Sự hội tụ của thuật toán GOPE
  • 3.4. Đánh giá thực nghiệm
    • 3.4.1. Các bộ dữ liệu thực nghiệm
    • 3.4.2. Độ đo đánh giá thực nghiệm
    • 3.4.3. Thiết lập các tham số
    • 3.4.4. Kết quả thực nghiệm
  • 3.5. Mở rộng thuật toán giải bài toán tối ưu không lồi
  • 3.6. Kết luận chương 3

• Chương 4: NGẪU NHIÊN BERNOULLI CHO BÀI TOÁN MAP KHÔNG LỒI VÀ ỨNG DỤNG

  • 4.1. Giới thiệu
  • 4.2. Thuật toán BOPE giải bài toán MAP không lồi
    • 4.2.1. Ý tưởng xây dựng thuật toán BOPE
    • 4.2.2. Sự hội tụ của thuật toán BOPE
    • 4.2.3. Vai trò hiệu chỉnh của thuật toán BOPE
    • 4.2.4. Mở rộng cho bài toán tối ưu không lồi tổng quát
  • 4.3. Áp dụng BOPE vào mô hình LDA cho phân tích văn bản
    • 4.3.1. Suy diễn MAP cho từng văn bản
    • 4.3.2. Đánh giá thực nghiệm
      • a. Các bộ dữ liệu thực nghiệm
  • 4.4. Áp dụng BOPE cho bài toán hệ gợi ý
    • 4.4.1. Mô hình CTMP
    • 4.4.2. Đánh giá thực nghiệm
      • a. Các bộ dữ liệu thực nghiệm
      • b. Độ đo đánh giá thực nghiệm
      • c. Kết quả thực nghiệm
  • 4.5. Kết luận chương 4

• KẾT LUẬN

  • A. Kết quả đạt được của luận án
  • B. Định hướng phát triển

• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN