【人工知能】～活性化関数の選定について～

おはようございます。KeyKです。
昨日に引き続き、活性化関数について書きます。

結局何の活性化関数を使うのか

活性化関数はsigmoid関数、tanh関数、恒等関数、ReLU関数などたくさんあります。今回の予測では、Leaky ReLU関数を使おうと思います。やはり説明変数で負の値を使用するため、負の値にも対応できるようにしたいなと思って。(そもそも説明変数に負の値がでないようすればいいのか。。)
とりあえず、ReLU関数とLeaky ReLU関数で学習を進めていこうと思います。