Activation Function
Explore the latest content and insights.
Squared ReLU: The Tiny Activation Change Used by Primer
Squared ReLU computes the square of a rectified activation. This note explains why Primer used it, how it changes gradients, and when not to adopt it blindly.
Các hàm kích hoạt (activation function) trong neural network
So sánh các hàm kích hoạt Sigmoid, Tanh, ReLU, Leaky ReLU và Maxout trong mạng nơ-ron: ưu, nhược điểm và cài đặt Python.