Sigmoid Operate là 1 khái niệm quen thuộc trong Deep Studying. Bài viết sẽ trình bày sơ bộ về Sigmoid Operate và lịch sử hình thành của nó.
Sigmoid Operate là gì?
Sigmoid Operate (Hàm Sigmoid) còn được gọi là đường cong Sigmoid. Đây là 1 hàm toán học có đặc biệt là đường cong hình chữ S. Nó biểu hiện cho sự biến đổi những giá trị giữa phạm vi 0 và 1. Nó là 1 trong những hàm kích hoạt (activation operate) phi tuyến tính được dùng đa dạng nhất.
Có 1 số hàm Sigmoid phổ cập}, chẳng hạn như: hàm Sigmoid logistic, hàm tiếp tuyến hyperbol và hàm ArcTan. Trong máy học (machine studying), thuật ngữ Sigmoid Operate thường được dùng để chỉ hàm Sigmoid logistic, còn được gọi là hàm logistic.
Sigmoid Operate dùng để làm cho gì?
Hầu hết những hàm Sigmoid đều có 1 đặc điểm chung. Chúng có thể chuyển những con số đầu vào thành 1 phạm vi bé nhất định. Cụ thể, những con số đầu vào sẽ chuyển thành từ 0 tới 1 hoặc -1 và 1. Nghĩa là, Hàm Sigmoid dùng để chuyển 1 giá trị thực thành 1 giá trị kiểu xác suất.
Hàm Sigmoid sẽ nhận đầu vào (enter) và thực hành những công việc sau:
- Giả dụ biến đầu vào âm, hàm Sigmoid sẽ chuyển sắp như hầu hết thành 1 số sắp sở hữu 0.
- Có sắp như hầu hết đầu vào dương, hàm Sigmoid sẽ biến đầu vào thành 1 số sắp sở hữu 1.
- Trường hợp đầu vào tương đối sắp 0, hàm Sigmoid sẽ chúng thành số bất kỳ từ 0 tới 1.
Lịch sử của Sigmoid Operate
Khái niệm Sigmoid Operate ko hề new, mà nó đã được hình thành từ siêu nhiều ngày. Ta có thể chia lịch sử của Hàm Sigmoid ra làm cho 2 giai đoạn như sau:
Hàm Sigmoid trước 5 1975
5 1798, Thomas Robert Malthus đã xuất bản 1 cuốn sách tên là “An Essay on the Precept of Inhabitants” (1 bài luận về Nguyên tắc Dân số). Ông là 1 giáo sĩ và nhà kinh tế học người Anh. Cuốn sách của ông khẳng định rằng dân số đang nâng cao theo 1 tiến trình hình học. Điều này nghĩa là cứ từng 25 5 thì dân số lại nâng cao gấp đôi. Trong lúc đấy, nguồn phân phối lương thực lại nâng cao lên theo số học. Ông cho rằng sự khác biệt giữa 2 con số này là do nạn đói đang lang rộng.
Cuối những 5 1830, nhà toán học người Bỉ Pierre François Verhulst đã thử nghiệm những phương pháp khác nhau để mô hình hóa sự gia nâng cao dân số. Verhulst muốn giải thích rằng dân số ko nâng cao theo cấp số nhân mãi, mà nó có giới hạn. Ông chọn hàm logistic để mô hình hóa sự chậm lại của tốc độ nâng cao trưởng dân số.
Hàm Sigmoid tiếp tục được dùng trong những thế kỷ tiếp theo. Nhiều nhà sinh học và khoa học khác dùng nó như 1 công cụ tiêu chuẩn để mô hình hóa sự nâng cao trưởng dân số.
Hàm Sigmoid sau 5 1975
5 1943, Warren McCulloch và Walter Pitts đã phát triển thành mô hình mạng nơ-ron nhân tạo dùng ngưỡng cứng (exhausting cutoff) làm cho hàm kích hoạt. Cụ thể, nơ-ron xuất ra 1 hoặc 0 tùy thuộc} vào việc đầu vào cao hơn hay thấp hơn ngưỡng.
5 1972, Hugh Wilson và Jack Cowan đã tìm phương pháp mô hình hóa những nơ-ron sinh học bằng phép tính. Họ dùng hàm Sigmoid logistic để mô hình hóa sự kích họat của 1 tế bào thần kinh. Trong đấy, 1 nơ-ron sẽ gửi tín hiệu tới nơ-ron khác ví dụ nó nhận được tín hiệu lớn hơn điện thế kích hoạt. Mô hình này được gọi là mô hình Wilson – Cowan.
Từ những 5 1970 và 1980 trở đi, 1 số nhà nghiên cứu khởi đầu dùng những hàm Sigmoid trong những công thức của mạng nơ-ron nhân tạo, lấy sáng tạo từ những mạng nơ-ron sinh học. 5 1998, Yann LeCun đã chọn hàm tiếp tuyến hyperbol làm cho hàm kích hoạt trong mạng LeNet nổi danh của mình. Đây là mạng trước tiên có thể nhận dạng những chữ số viết tay tại mức độ chính xác thực tế.
Những 5 sắp đây, mạng nơ-ron nhân tạo đã bỏ hàm Sigmoid để chuyển sang dùng hàm ReLU. Nguyên nhân là vì hầu hết những biến thể của hàm Sigmoid đều được thiết kế cho việc tính toán. Trong lúc đấy, hàm ReLU có độ phi tuyến tính cần thiết để tận dụng độ sâu của mạng. Hàm ReLU cũng tính toán siêu nhanh.
Tóm lại, Sigmoid Operate đã có 1 quy trình hình thành và phát triển thành khá nhiều ngày. Hy vọng, qua bài viết này, bạn đã hiểu thêm nhiều điều về Sigmoid Operate.
Obtained It Vietnam – Tham khảo: sentayho.com.vn
