Lời mở đầu
lúc new ban đầu phi vào quả đât của ML/DL bọn họ vẫn bắt gặp các thuật ngữ Epoch - Batch kích thước với Iterations. Và đã cảm thấy hồi hộp vày chúng khá giống như nhau, tuy vậy thực tế là chúng không giống xa nhau.Quý khách hàng sẽ xem: Epoch là gì
Để nắm rõ sự khác biệt giữa chúng, chúng ta nên mày mò một số trong những định nghĩa trong machine learning như Gradient Descent.
Bạn đang xem: Epoch là gì
Định nghĩa nđính gọn của Gradient Descent:
Gradient Descent là thuật toán thù lặp về tối ưu (iteractive optimization algorithm) được áp dụng trong machine learning nhằm search hiệu quả cực tốt (minima of a curve).
Trong đó:..* Gradient Có nghĩa là tỷ lệ của độ nghiêm của đường dốc.
..* Descent là trường đoản cú viết tắt của decending - nghĩa là sút.
Thuật toán đang lặp đi lặp lại các lần để tìm ra được công dụng tối ưu.
https://medium.com/onfido-tech/machine-learning-101-be2e0a86c96a Nguồn ảnh
Thuật toán gradient Descent gồm một ttê mê số là learning rate. Nhỏng hình phía trên phía trái, ban sơ bước nhảy hơi mập, tức thị cực hiếm learning rate lớn, và sau đó 1 vài lần lặp, điểm chnóng Đen trở xuống dần, và giá trị learning rate bé dại dần theo.
Chúng ta áp dụng thuật ngữ epochs, batch kích thước, iterations Khi dữ liệu của bọn họ quá (rất) phệ (vd 10 triệu mẫu). Lúc bấy giờ các định nghĩa trên bắt đầu trsống đề xuất cụ thể, còn cùng với ngôi trường đúng theo tài liệu nhỏ dại thì chúng tương đối tương tự nhau.
Khái niện Epoch
Một Epoch được xem là khi bọn họ chuyển tất cả dữ liệu vào mạng neural network 1 lần.
khi dữ liệu quá to, họ chẳng thể gửi hết những lần toàn bộ tập dữ liệu vào nhằm đào tạo được. Buộc lòng bọn họ bắt buộc phân tách nhỏ tập tài liệu ra thành những batch (kích thước nhỏ dại hơn).
Xem thêm: Setting Out Plan On Là Gì Trong Tiếng Anh? Định Nghĩa, Ví Dụ, Giải Thích
Câu vấn đáp sinh hoạt đó là trên vị họ đang dùng thuật tân oán buổi tối ưu là Gradient Descent. Thuật toán này yên cầu họ yêu cầu đem cục bộ tài liệu qua mạng một vài lần để tìm được công dụng buổi tối ưu. Vì vậy, sử dụng 1 epoch thật sự cảm thấy không được để kiếm được tác dụng tốt nhất có thể.
Với bài toán chỉ sử dụng 1 lần lặp, tỷ lệ không hề nhỏ là tài liệu sẽ bị underfitting(như hình biểu thị mặt dưới).
Lúc mốc giới hạn lặp tăng ngày một nhiều, tinh thần của mô hình sẽ đưa dần tự underfitting sang trọng optimal cùng sau đó là overfitting (thường thì là vậy, trừ Khi quy mô giảng dạy của người tiêu dùng đã sử dụng quá dễ dàng, quá ít trọng số thì bọn chúng cần yếu nào overfitting nổi).
Chúng ta hoàn toàn có thể sử dụng 1 epoch nhằm đào tạo và huấn luyện quy mô, với ĐK là ta áp dụng thuật toán buổi tối ưu không hẳn là gradient descent.
Số lần lặp buổi tối ưu là bao nhiêu?
Tiếc rằng không có câu vấn đáp mang đến câu hỏi này. Phú nằm trong hoàn toàn vào tập tài liệu của bạn đang xuất hiện.
Batch Size
Batch kích thước là con số chủng loại dữ liệu vào một batch.
Tại phía trên, có mang batch kích thước cùng con số batch(number of batch) là trọn vẹn khác nhau.
Nlỗi vẫn nhắc đến ở trên, họ cấp thiết chuyển không còn toàn bộ dữ liệu vào đào tạo và giảng dạy trong 1 epoch, bởi vì vậy họ cần phải phân tách tập dữ liệu thành những phần (number of batch), mỗi phần có form size là batch size.
Iterations
Iterations là số lượng batchs buộc phải nhằm xong 1 epoch.
