【人工知能】～人工知能の活性化関数について～

こんにちは。KeyKです。
人工知能の勉強をしていて、活性化関数について調べたのでメモ程度に。

どの活性化関数が良いのか

以前サンプルプログラムを半分ほど書き換え、人工知能プログラムを開発しました。これについては今度紹介します。サンプルプログラムでは、活性化関数はReLU関数というものを使用しています。ReLU関数とは、0以上の数値はそのままで負の数はすべて0にする関数です。しかし、為替予測をするとき負の数を扱うことがあります。例えば、移動平均乖離率やローソク足毎の差を取ると負の数が出てきます。
そのため、負の数も扱える「Leaky ReLU関数」か「PReLU関数」を使おうと思います。

以上2つの関数についてはこれからお勉強します。こんな活性化関数もあるんだよと参考になれば幸いです。