Luận án Phát triển các mô hình học sâu kết hợp cấu trúc đồ thị và phân tích ngữ nghĩa cho bài toán khuyến nghị trích dẫn

Tên luận án:

Dựa trên nội dung được cung cấp, đây là phần Mở đầu và các chương nội dung chính của một luận án tập trung vào việc nghiên cứu và phát triển các mô hình khuyến nghị trích dẫn tiên tiến. Tên luận án cụ thể không được nêu rõ trong tài liệu này, nhưng chủ đề chính là "Nghiên cứu và phát triển các mô hình khuyến nghị trích dẫn sử dụng các thành tựu mới nhất của học sâu và xử lý ngôn ngữ tự nhiên".

Ngành:

Luận án thuộc lĩnh vực Công nghệ thông tin và Truyền thông, chuyên sâu vào các ngành Khoa học máy tính, Trí tuệ nhân tạo (AI) và Học máy (Machine Learning). Cụ thể hơn, luận án tập trung vào các kỹ thuật Học sâu (Deep Learning), Xử lý ngôn ngữ tự nhiên (Natural Language Processing) và Mạng tích chập đồ thị (Graph Convolutional Networks) để giải quyết bài toán Khuyến nghị trích dẫn.

Tóm tắt nội dung tài liệu:

Tài liệu này trình bày phần mở đầu và các chương chính của một luận án nghiên cứu, tập trung giải quyết thách thức ngày càng tăng trong việc xác định tài liệu trích dẫn phù hợp do sự bùng nổ của các ấn phẩm khoa học. Luận án đề xuất các hệ thống khuyến nghị trích dẫn tự động dựa trên các thành tựu mới nhất của học sâu, nhằm giảm gánh nặng cho các nhà nghiên cứu.

Nghiên cứu đã chỉ ra những hạn chế của các mô hình khuyến nghị hiện có, bao gồm việc chưa tận dụng đầy đủ thông tin từ bài báo khoa học (như tiêu đề, tác giả, năm xuất bản), chưa khai thác hết các tiến bộ mới nhất trong học sâu và xử lý ngôn ngữ tự nhiên, cũng như việc bỏ qua siêu dữ liệu quan trọng của bài báo.

Để khắc phục những hạn chế này, luận án đã đóng góp ba phương pháp chính. Thứ nhất, đề xuất các giải pháp nâng cao hiệu suất cho mô hình mạng nơ-ron trích dẫn (NCN) bằng cách tích hợp phép nhúng BERT và bổ sung thông tin tiêu đề bài báo vào quá trình mã hóa. Mô hình cải tiến này, gọi là Enhanced-NCN, đã chứng minh hiệu suất vượt trội trên bộ dữ liệu arXiv CS.

Thứ hai, phát triển mô hình mới RHN-DualLCR, cải tiến từ mô hình DualLCR bằng cách sử dụng Mạng cao tốc hồi quy (Recurrent Highway Networks - RHN) thay thế cho BiLSTM và phép nhúng SciBERT thay cho AI2 embedding. Mô hình này được đánh giá trên các bộ dữ liệu ACL-200, ACL-600 và RefSeer, cho thấy sự cải thiện đáng kể so với DualLCR gốc và các mô hình tiên tiến khác.

Thứ ba, giới thiệu mô hình khuyến nghị trích dẫn mới SciBERT-GraphSAGE, kết hợp SciBERT để mã hóa văn bản/ngữ cảnh và GraphSAGE để tạo dữ liệu nhúng từ liên kết trích dẫn đồ thị. Mô hình lai ghép này coi các bài báo khoa học là nút, siêu dữ liệu là thuộc tính nút và trích dẫn là cạnh, tạo thành cấu trúc đồ thị tự nhiên. Kết quả thực nghiệm trên ba bộ dữ liệu tiêu chuẩn (ACL-200, RefSeer, FullTextPeerRead) cho thấy SciBERT-GraphSAGE vượt trội hơn đáng kể so với sáu mô hình tiên tiến khác trên các chỉ số MAP, MRR và Recall@K.

Tổng kết, luận án đã đạt được những kết quả nổi bật, tất cả các công trình đã được công bố trên các tạp chí chuyên ngành uy tín, và đề xuất các hướng nghiên cứu tiếp theo như áp dụng mạng không đồng nhất và thực nghiệm trên các bộ dữ liệu lớn hơn.

Mục lục chi tiết:

• MỞ ĐẦU

  • 1. Tính cấp thiết của luận án
  • 2. Mục tiêu của luận án
  • 3. Đối tượng và phạm vi nghiên cứu của luận án
  • 4. Phương pháp nghiên cứu
  • 5. Các đóng góp của luận án
  • 6. Bố cục của luận án

• Chương 1. TỔNG QUAN NGHIÊN CỨU

  • 1.1. Giới thiệu bài toán khuyến nghị trích dẫn
  • 1.2. Tổng quan các nghiên cứu liên quan hiện nay
    • 1.2.1. Mô hình lọc cộng tác
    • 1.2.2. Mô hình lọc nội dung
    • 1.2.3. Mô hình lọc dựa trên đồ thị
    • 1.2.4. Mô hình kết hợp

• Chương 2. MÔ HÌNH ENHANCED-NCN BỔ SUNG THÊM THÔNG TIN TIÊU ĐỀ VÀ SỬ DỤNG PHÉP NHÚNG BERT

  • 2.1. Mở đầu
  • 2.2. Phân tích vấn đề tồn tại của mô hình NCN
    • 2.2.1. Bộ mã hóa
    • 2.2.2. Bộ giải mã
    • 2.2.3. Cơ chế chú ý
    • 2.2.4. Hạn chế của mô hình NCN
  • 2.3. Cải tiến mô hình NCN
    • 2.3.1. Phép nhúng BERT
    • 2.3.2. Thêm tiêu đề bài báo vào mô hình
  • 2.4. Tiến hành thực nghiệm với mô hình Enhanced- NCN
    • 2.4.1. Xây dựng mô hình Enhanced-NCN
    • 2.4.2. Bộ dữ liệu thực nghiệm
    • 2.4.3. Chỉ số đánh giá
  • 2.5. Đánh giá kết quả thực nghiệm với mô hình Enhanced- NCN
  • 2.6. Kết luận chương 2

• Chương 3. MÔ HÌNH RHN-DUALLCR SỬ DỤNG MẠNG HỒI QUY RHN VÀ PHÉP NHÚNG SCIBERT

  • 3.1. Mở đầu
  • 3.2. Phân tích vấn đề tồn tại của mô hình DualLCR
    • 3.2.1. Mô-đun ngữ nghĩa
    • 3.2.2. Mô-đun thông tin học thuật
    • 3.2.3. Điểm khuyến nghị cuối cùng
    • 3.2.4. Các hạn chế của mô hình DualLCR
  • 3.3. Cải tiến mô hình DualLCR
    • 3.3.1. Mạng cao tốc hồi quy RHN
    • 3.3.2. Phép nhúng SciBERT
  • 3.4. Tiến hành thực nghiệm với mô hình RHN-DualLCR
    • 3.4.1. Xây dựng mô hình RHN-DualCLR
    • 3.4.2. Bộ dữ liệu thực nghiệm
    • 3.4.3. Chỉ số đánh giá
  • 3.5. Đánh giá kết quả thử nghiệm
  • 3.6. Kết luận chương 3

• Chương 4. MÔ HÌNH KHUYẾN NGHỊ TRÍCH DẪN MỚI SỬ DỤNG SCIBERT VÀ GRAPHSAGE

  • 4.1. Mở đầu
  • 4.2. Vấn đề tồn tại của mô hình khuyến nghị hiện nay
  • 4.3. Xây dựng mô hình khuyến nghị trích dẫn mới với SciBERT và GraphSAGE
  • 4.4. Bộ mã hóa đồ thị liên kết trích dẫn sử dụng GraphSAGE
  • 4.5. Tiến hành thực nghiệm với mô hình SciBERT-GraphSAGE
    • 4.5.1. Xây dựng mô hình SciBERT-GraphSAGE
    • 4.5.2. Bộ dữ liệu thực nghiệm
    • 4.5.3. Chỉ số đánh giá
  • 4.6. Đánh giá kết quả thực nghiệm
  • 4.7. Kết luận chương 4

• KẾT LUẬN VÀ KIẾN NGHỊ

  • 1) Kết luận:
  • 2) Kiến nghị:

• DANH MỤC CÁC BÀI BÁO ĐÃ XUẤT BẢN LIÊN QUAN ĐẾN LUẬN ÁN