Cybernetics Wiki
Advertisement
Файл:Logistic-curve.png

Сигмоид

Сигмоид — это гладкая монотонная нелинейная S-образная функция, которая часто применяется для “сглаживания“ значений некоторой величины.

Часто под сигмоидом понимают логистическую кривую

Семейство функций класса сигмоид[]

В семейство функций класса сигмоид также входят такие функции как арктангенс, гиперболический тангенс и другие функции подобного вида.

Функция Ферми (экспоненциальная сигмоида):

Рациональная сигмоида:

Гиперболический тангенс:

Применение[]

Сигмоид применяется в нейронных сетях для того, чтобы ввести некоторую нелинейность в работу сети, но при этом не слишком сильно изменить результат ее работы.

Одна из причин, по которой сигмоид используется в нейронных сетях, это простое выражение его производной через саму функцию (которое и позволило существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике):

Не менее важной причиной введения нелинейности является математически доказанная возможность получить сколь угодно точное приближение любой непрерывной функции многих переменных, используя операции сложения и умножения на число, суперпозицию функций, линейные функции а также одну произвольную непрерывную нелинейную функцию одной переменной (Обобщенная аппроксимационная теорема)

См. также[]

Advertisement