Tên luận án:
PHÁT TRIỂN CÁC KỸ THUẬT BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 3D
Ngành:
Công nghệ thông tin và Truyền thông
Tóm tắt nội dung tài liệu:
Luận án tập trung vào nghiên cứu và phát triển các kỹ thuật biểu diễn biểu cảm khuôn mặt 3D, một lĩnh vực nhận được sự quan tâm rộng rãi trong khoa học máy tính và thị giác máy. Mục tiêu chính là tái hiện biểu cảm hoặc cử chỉ của người thật lên mô hình khuôn mặt 3D trên máy tính. Quá trình này được chia thành hai giai đoạn: thu nhận và trích chọn các đặc trưng biểu cảm/cử chỉ trên khuôn mặt, sau đó sử dụng thông tin này để tái hiện trên mô hình 3D.
Các đóng góp chính của luận án bao gồm:
- Đề xuất kỹ thuật phát hiện khuôn mặt trong ảnh dựa trên phân lớp nhị phân kết hợp phân đoạn video, cải thiện tốc độ phát hiện mặt người chuyển động.
- Phát triển kỹ thuật định vị các điểm điều khiển và ước lượng biểu cảm khuôn mặt sử dụng Mô hình ngoại hình chủ động (AAM) và lựa chọn tự động các đặc trưng hình học (LINE_LINE, TRIANGLE_TRIANGLE, LINELINE_LINELINE) thông qua mô hình cây quyết định. Phương pháp này cho độ chính xác ước lượng biểu cảm khuôn mặt khoảng 94,31% trên tập dữ liệu JAFFE.
- Đề xuất kỹ thuật tự động xác định tập điểm điều khiển để nắn chỉnh biến dạng mô hình 3D, dựa trên phân tích các mô hình quan sát và gom cụm các đặc trưng biến dạng. Kỹ thuật nội suy hàm cơ sở bán kính (RBF) được sử dụng để biến đổi mô hình 3D khuôn mặt người theo biểu cảm, cho thấy độ chính xác tăng dần khi kích thước tập điểm điều khiển tăng.
Luận án đã xây dựng một hệ thống rút trích cử chỉ, biểu cảm khuôn mặt và mô phỏng chúng trên máy tính, với đầu vào là trạng thái cảm xúc liên tục và đầu ra là biểu cảm của khuôn mặt ảo. Các kỹ thuật đề xuất mang lại hiệu quả cao trong việc xử lý và ước lượng biểu cảm, đặc biệt là khả năng xử lý nhanh chóng, mở ra tiềm năng ứng dụng trong các hệ thống yêu cầu thời gian thực.
Mục lục chi tiết:
- MỞ ĐẦU
- Chương 1: TỔNG QUAN VỀ TRÍCH CHỌN ĐẶC TRƯNG VÀ BIỂU DIỄN BIỂU CẢM KHUÔN MẶT
- 1.1 Tổng quan về một hệ thống biểu cảm khuôn mặt
- 1.2 Phát hiện khuôn mặt trong ảnh
- 1.3 Trích chọn đặc trưng biểu cảm
- 1.3.1 Mẫu nhị phân cục bộ (LBP)
- 1.3.2 ASM / AAM
- 1.3.3 Trích xuất đặc trưng Gabor
- 1.3.4 Trích xuất đặc trưng Haar-like
- 1.4 Một số cách tiếp cận biểu diễn biểu cảm khuôn mặt
- 1.5 Tổng kết chương và vấn đề nghiên cứu
- Chương 2: KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CỬ CHỈ VÀ ƯỚC LƯỢNG BIỂU CẢM
- 2.1 Bài toán phát hiện khuôn mặt
- 2.1.1 Mô hình khuôn mặt mẫu
- 2.1.2 Kết quả thử nghiệm
- 2.2 Bài toán trích chọn đặc trưng cử chỉ
- 2.3 Đề xuất kỹ thuật ước lượng biểu cảm khuôn mặt
- 2.3.1 Mô hình ước lượng
- 2.3.2 Đề xuất sử dụng đặc trưng hình dạng
- 2.3.3 Thử nghiệm
- 2.4 Tổng kết chương
- Chương 3: BIỂU DIỄN CỬ CHỈ, BIỂU CẢM TRÊN KHUÔN MẶT 3D
- 3.1 Bài toán biểu diễn cử chỉ, biểu cảm khuôn mặt 3D
- 3.2 Kỹ thuật nội suy RBF
- 3.3 Xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng
- 3.3.1 Xác định các nhóm tương đồng và chọn điểm điều khiển
- 3.3.2 Thử nghiệm nắn chỉnh mô hình
- 3.4 Tổng kết chương
- KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN