Epoch Là Gì

  -  

Lời msống đầu

Khi new bước đầu bước vào thế giới của ML/DL họ sẽ phát hiện các thuật ngữ Epoch - Batch kích thước cùng Iterations. Và đã cảm thấy hồi hộp vì chúng tương đối giống nhau, tuy nhiên thực tế là bọn chúng không giống xa nhau.Quý khách hàng đã xem: Epoch là gì

Để làm rõ sự biệt lập thân chúng, các bạn buộc phải tò mò một trong những tư tưởng trong machine learning nlỗi Gradient Descent.

Bạn đang xem: Epoch là gì

Định nghĩa ngắn thêm gọn gàng của Gradient Descent:

Gradient Descent là thuật toán thù lặp tối ưu (iteractive sầu optimization algorithm) được sử dụng vào machine learning nhằm tìm kiếm tác dụng tốt nhất có thể (minima of a curve).

Trong đó:..* Gradient Tức là Tỷ Lệ của độ nghiêm của đường dốc.

..* Descent là từ viết tắt của decending - tức là sút.

Thuật toán thù đang lặp đi lặp lại nhiều lần nhằm tìm thấy được kết quả về tối ưu.


*

https://medium.com/onfido-tech/machine-learning-101-be2e0a86c96a Nguồn ảnh

Thuật tân oán gradient Descent tất cả một ttê mê số là learning rate. Nlỗi hình phía bên trên phía trái, thuở đầu bước nhảy đầm khá lớn, tức thị quý giá learning rate bự, và sau đó 1 vài lần lặp, điểm chấm Đen trở xuống dần, với giá trị learning rate nhỏ dần dần theo.

Chúng ta áp dụng thuật ngữ epochs, batch kích cỡ, iterations Lúc tài liệu của họ vượt (rất) lớn (vd 10 triệu mẫu). Lúc này các định nghĩa trên bắt đầu trsống phải rõ ràng, còn với ngôi trường hòa hợp dữ liệu bé dại thì chúng khá giống như nhau.

Khái niện Epoch

Một Epoch được xem là khi bọn họ đưa toàn bộ dữ liệu vào mạng neural network 1 lần.

lúc dữ liệu quá to, chúng ta thiết yếu gửi hết những lần tất cả tập tài liệu vào để huấn luyện được. Buộc lòng chúng ta bắt buộc phân tách nhỏ tập dữ liệu ra thành những batch (kích thước nhỏ tuổi hơn).

Tại sao yêu cầu sử dụng hơn 1 Epoch.

Xem thêm: Xếp Hạng Top 10 Những Ngôi Biệt Thự Đẹp Nhất Thế Giới Hiện Nay

Câu vấn đáp sống đấy là tại vì bọn họ đã dùng thuật toán thù về tối ưu là Gradient Descent. Thuật tân oán này đòi hỏi họ buộc phải rước toàn thể dữ liệu qua mạng một vài ba lần nhằm kiếm được công dụng tối ưu. Vì vậy, sử dụng 1 epoch thiệt sự không đủ để tìm được công dụng rất tốt.

Với bài toán chỉ sử dụng 1 lần lặp, xác suất rất lớn là tài liệu sẽ bị underfitting(như hình bộc lộ mặt dưới).


*

lúc tần số lặp tăng dần, trạng thái của quy mô đang đưa dần dần từ underfitting lịch sự optimal với tiếp đến là overfitting (thông thường là vậy, trừ khi mô hình huấn luyện của chúng ta sẽ thực hiện quá dễ dàng và đơn giản, quá không nhiều trọng số thì chúng cần thiết làm sao overfitting nổi).

Chúng ta có thể dùng 1 epoch để huấn luyện và giảng dạy quy mô, với ĐK là ta sử dụng thuật toán tối ưu chưa hẳn là gradient descent.

Số lần lặp tối ưu là bao nhiêu?

Tiếc rằng không tồn tại câu trả lời mang lại câu hỏi này. Phú nằm trong hoàn toàn vào tập dữ liệu của chúng ta đang sẵn có.

Batch Size

Batch size là con số mẫu mã dữ liệu vào một batch.

Ở đây, quan niệm batch kích thước và con số batch(number of batch) là trọn vẹn không giống nhau.

Nlỗi vẫn nói trên, họ quan trọng đưa hết toàn cục tài liệu vào huấn luyện trong 1 epoch, vày vậy bọn họ cần được chia tập tài liệu thành những phần (number of batch), mỗi phần tất cả kích cỡ là batch kích thước.

Iterations

Iterations là con số batchs phải nhằm kết thúc 1 epoch.

Xem thêm: Dịch Từ " Call For Là Gì Và Cấu Trúc Cụm Từ Call For Trong Câu Tiếng Anh

lấy một ví dụ chúng ta gồm tập tài liệu gồm trăng tròn,000 mẫu, batch size là 500, vậy chúng ta đề nghị 40 lần lặp (iteration) để kết thúc 1 epoch.