MỘT PHƯƠNG PHÁP TĂNG TỐC KHẢ NĂNG HỘI TỤ ĐỐI VỚI GRADIENT DESCENT

135 lượt xem

Tóm tắt

Bài toán tối ưu hóa là bài toán tìm kiếm lời giải tốt nhất trong các lời giải khả thi. Tối ưu hóa có nhiều ứng dụng trong lĩnh vực học sâu và có nhiều ứng dụng trong đời sống thực tế như các bài toán phân loại, nhận dạng ảnh, các bài toán tối đa hóa doanh thu hay giảm chi phí, thời gian sản xuất. Phương pháp gradient descent thường được sử dụng để nhanh chóng tìm được nghiệm tối ưu của bài toán. Trong bài báo này, tác giả sử dụng một phương pháp mới để nhanh chóng tìm kiếm tham số học (learning rate) hợp lý dựa trên ý tưởng của nguyên lý điều khiển luồng và chống tắc nghẽn trong mạng viễn thông nhằm tăng tốc khả năng hội tụ của bài toán so với phương pháp gradient descent thông thường.