Luận án Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người

Tên luận án:

NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG DỰA TRÊN HỌC SÂU TRONG TÁI ĐỊNH DANH NGƯỜI

Ngành:

Kỹ thuật điện tử

Tóm tắt nội dung tài liệu:

Luận án "NGHIÊN CỨU VÀ PHÁT TRIỂN PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG DỰA TRÊN HỌC SÂU TRONG TÁI ĐỊNH DANH NGƯỜI" tập trung giải quyết vấn đề trích chọn đặc trưng trong lĩnh vực thị giác máy tính, đặc biệt cho bài toán tái định danh người sử dụng hình ảnh thu nhận từ camera giám sát. Nghiên cứu chỉ ra rằng chất lượng đặc trưng ảnh có tính chất quyết định đến kết quả bài toán, và học sâu đã mang lại những kết quả đáng kể, tuy nhiên vẫn còn nhiều thách thức trong các ngữ cảnh ràng buộc.

Mục tiêu chính của luận án là nghiên cứu, đề xuất các phương pháp trích chọn đặc trưng ảnh hiệu quả dựa trên học sâu nhằm nâng cao chất lượng cho mô hình tái định danh người. Ngoài ra, luận án còn hướng tới các ứng dụng thực tế bằng cách nghiên cứu và đề xuất phương pháp nén mạng học sâu để triển khai trên các thiết bị phần cứng bị giới hạn tài nguyên như FPGA. Phạm vi nghiên cứu giới hạn trong bài toán tái định danh cho người đi bộ và một số bài toán liên quan như phát hiện và theo vết đối tượng, tập trung vào trích chọn đặc trưng ảnh/video.

Các đóng góp chính bao gồm: cải tiến mạng ResNet-50 để khai thác thông tin cục bộ của ảnh người và đề xuất phương pháp đối sánh đặc trưng dựa trên độ đo khoảng cách EMD; đề xuất phương pháp nén mạng học sâu cho phần cứng FPGA với mạng VGG16-SSD, đạt tỷ lệ nén cao và độ chính xác giảm nhẹ (dưới 2%); và đề xuất cải tiến mô hình tái định danh dựa trên chuỗi hình ảnh sử dụng các biến thể mạng RNN để tổng hợp đặc trưng mức chuỗi ảnh. Luận án cũng xây dựng một cơ sở dữ liệu (FAPR) mới để đánh giá toàn diện hệ thống tái định danh, bao gồm phát hiện, theo vết và tái định danh người. Các hướng phát triển tiếp theo bao gồm nghiên cứu kỹ thuật Non-local, Transformer, tiếp cận một giai đoạn cho bài toán tái định danh, bổ sung kỹ thuật cắt tỉa mạng và tối ưu hóa kiến trúc phần cứng.

Mục lục chi tiết:

• MỞ ĐẦU

  • 1. Tính cấp thiết
  • 2. Mục tiêu nghiên cứu
  • 3. Đối tượng, phạm vi nghiên cứu và những thách thức
  • 4. Phương pháp nghiên cứu
  • 5. Ý nghĩa khoa học và thực tiễn của đề tài
  • 6. Các đóng góp
  • 7. Bố cục của luận án

• CHƯƠNG 1 NGHIÊN CỨU TỔNG QUAN

  • 1.1 Trích chọn đặc trưng hình ảnh
  • 1.2 Một số kiến trúc mạng tích chập phổ biến
  • 1.3 Mạng Nơ-ron hồi quy
  • 1.4 Phát hiện đối tượng trên ảnh sử dụng học sâu
  • 1.5 Theo vết đối tượng sử dụng học sâu
  • 1.6 Bài toán tái định danh người và các vấn đề liên quan
  • 1.7 Nén mạng học sâu và triển khai trên FGPA
  • 1.8 Kết luận chương

• CHƯƠNG 2 TRÍCH CHỌN ĐẶC TRƯNG HỌC SÂU CỤC BỘ TRONG TÁI ĐỊNH DANH NGƯỜI

  • 2.1 Đặt vấn đề
  • 2.2 Phương pháp đề xuất
  • 2.2.1 Cải tiến mạng RestNet-50 cho việc trích chọn đặc trưng ảnh người đi bộ
  • 2.2.2 Kết hợp các đặc theo chiến lược kết hợp muộn
  • 2.2.3 Tính khoảng cách giữa hai tập đặc trưng cục bộ bằng độ đo EMD
  • 2.3 Thử nghiệm và kết quả
  • 2.3.1 Cơ sở dữ liệu cho bài toán tái định danh
  • 2.3.2 Đánh giá hiệu quả của đặc trưng cục bộ với chiến lược nối đơn giản
  • 2.3.3 Đánh giá hiệu quả của đặc trưng cục bộ với các chiến lược kết hợp muộn
  • 2.3.4 Đánh giá hiệu quả của đặc trưng cục bộ với khoảng cách EMD
  • 2.4 Kết luận chương

• CHƯƠNG 3 KHAI THÁC ĐẶC TRƯNG VIDEO DỰA TRÊN MẠNG NƠ-RON HỒI QUY TÁI ĐỊNH DANH NGƯỜI

  • 3.1 Đặt vấn đề
  • 3.2 Một số kiến trúc mạng Nơ-ron hồi quy phổ biến
  • 3.2.1 Recurrent Neural Network (RNN)
  • 3.2.2 Long Short-term Memory (LSTM)
  • 3.2.3 Long Short-term Memory với cặp cổng (LSTMC)
  • 3.2.4 Long Short-term Memory với kết nối Peephole (LSTMP)
  • 3.2.5 Gated Recurrent Unit (GRU)
  • 3.3 Đánh giá hiệu quả của các mạng Nơ-ron hồi quy cho bài toán tái định danh sử dụng chuỗi hình ảnh
  • 3.4 Cải thiện đặc trưng mức chuỗi ảnh với mạng VGG16 và kiến trúc GRU
  • 3.5 Nâng cao hiệu quả mô hình bằng đặc trưng thủ công (GOG) kết hợp sử dụng thuật toán học độ đo khoảng cách
  • 3.6 Triển khai và đánh giá một hệ thống tái định danh
  • 3.6.1 Mô tả hệ thống
  • 3.6.2 Xây dựng cơ sở dữ liệu FAPR
  • 3.6.3 Đánh giá phần phát hiện và theo vết người trên CSDL FAPR
  • 3.6.4 Đánh giá phần tái định danh trên CSDL FAPR
  • 3.7 Kết luận chương

• CHƯƠNG 4 NÉN MẠNG HỌC SÂU ĐỊNH HƯỚNG TRIỂN KHAI TRÊN PHẦN CỨNG - FPGA

  • 4.1 Đặt vấn đề
  • 4.2 Phương pháp đề xuất
  • 4.2.1 Nhị phân hóa giá trị trọng số
  • 4.2.2 Lượng tử hóa các giá trị trọng số và giá trị kích hoạt tương ứng với lớp mạng
  • 4.2.3 Kiến trúc luồng của bộ tăng tốc mạng tích chập
  • 4.2.4 Tính toán tài nguyên phần cứng
  • 4.3 Thử nghiệm và kết quả
  • 4.3.1 Mạng học sâu VGG16-SSD và bài toán phát hiện đối tượng trên ảnh
  • 4.3.2 Cơ sở dữ liệu CIFAR-10
  • 4.3.3 Cơ sở dữ liệu PASCAL VOC
  • 4.3.4 Thử nghiệm 1 - Nén mạng VGG16 với bài toán phân lớp ảnh trên CSDL CIFAR-10
  • 4.3.5 Thử nghiệm 2 - Nén mạng VGG16-SSD với bài toán phát hiện đối tượng trên ảnh hướng tới triển khai trên FPGA
  • 4.4 Kết luận chương

• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

  • 1. Kết luận
  • 2. Hướng phát triển