Метод обратного распространения

Ранее был рассмотрен метод обратного распространения точности с учетом собственных погрешностей элементов сети. Но этот метод может быть использован не для всех сетей. При применении метода может возникнуть ситуация, когда собственная погрешность элемента превышает погрешность сигнала, который должен выходить из этого элемента. Например, если собственная погрешность нейрона

, которая добавляется к выходному сигналу нейрона, превышает допустимую погрешность его выходного сигнала , то по формуле , где - погрешность входного сигнала нелинейного преобразователя, получаем отрицательную погрешность. Отрицательные погрешности в методе обратного распространения точности не имеют смысла, так как мы рассматриваем допустимую погрешность как величину интервала, в котором может изменяться погрешность. То же самое можно сказать относительно точки ветвления и сумматора. В случае получения отрицательной погрешности метод обратного распространения точности не может применяться. В такой ситуации допустимые погрешности нужно распределять специальным образом.

Рассмотрим конкретную сеть с заданными собственными погрешностями элементов. Нужно определить, возможно ли провести вычисления допустимых погрешностей методом обратного распространения точности с учетом собственных погрешностей элементов для всех сигналов сети, начиная с выходных и кончая входными сигналами. Для этого нужно выполнить прямое функционирование сети с заданными собственными погрешностями элементов и с точным вектором входных сигналов сети. Если полученный вектор выходных сигналов при этом будет отличаться от точного вектора выходных сигналов более, чем на

(допустимую погрешность выходных сигналов сети), то с такими собственными погрешностями элементов для данной сети метод обратного распространения точности невыполним. В этом случае можно либо увеличить допустимую погрешность выходных сигналов , либо уменьшить собственные погрешности элементов.

Нам нужно определить, как вычислять допустимые погрешности сигналов, если это невозможно сделать методом обратного распространения точности.
Выясним, всегда ли возможно распределить их так, чтобы собственные погрешности элементов не превышали допустимых погрешностей выходных сигналов этих элементов, и при этом погрешность выходных сигналов сети не превышала

Для точки ветвления и нелинейного преобразователя формулы вычисления допустимых погрешностей сигналов методом обратного распространения точности заданы жестко. Единственным элементом сети, который позволяет влиять на ситуацию, является сумматор. Для сумматора возможны три варианта распределения допустимых погрешностей по его входам, в том числе приоритетное. При приоритетном распределении можно назначать погрешности для тех входов, для которых собственная погрешность элемента превышает погрешность выходного сигнала.

Если на каком-то из элементов (нелинейный преобразователь, точка ветвления или сумматор) собственная погрешность элемента превышает допустимую погрешность его выходного сигнала, то возвращаемся к тому сумматору, чьим входным сигналом является выходной сигнал данного элемента. Для этого сумматора распределяем допустимые погрешности по его входам таким образом, чтобы можно было вычислить допустимую погрешность входного сигнала того элемента, который нас интересует.

Есть ситуации, на которые влиять невозможно. К ним относятся следующие:

1. если собственные погрешности нелинейного преобразователя или сумматора стандартных нейронов выходного слоя сети превышают погрешности их выходных сигналов;
2. если в выходном слое сумма с коэффициентами
   
   собственных погрешностей элементов
   
   , выходные сигналы которых являются входными сигналами сумматора, превышает допустимую погрешность
   
   выходного сигнала сумматора:
   

Если собственная погрешность превышает допустимую погрешность выходного сигнала у элемента скрытого или входного слоя, то можно попытаться распределить допустимые погрешности так, чтобы продолжить вычисления.

Нам необходимо оптимально распределить допустимые погрешности по входам сумматора, то есть распределить их таким образом, чтобы по каждому входу допустимые погрешности входных сигналов максимально превышали собственные погрешности элементов, чьи выходные сигналы являются входными сигналами сумматора.



Рассмотрим участок сети между двумя сумматорами и ( рис. 6.9). Пусть - это погрешность выходного сигнала сумматора , A - точный выходной сигнал нелинейного преобразователя.


Рис. 6.9. 

Предположим сначала, что собственные погрешности элементов добавляются к выходным сигналам этих элементов. То есть погрешность входного сигнала нелинейного преобразователя вычисляется по формуле , а для точки ветвления погрешность входного сигнала определяется как

Для каждого входа сумматора нам необходимо вычислить такие допустимые погрешности, которые позволили бы провести вычисления допустимых погрешностей для точки ветвления, нелинейного преобразователя и сумматора предыдущего слоя. При этом допустимая погрешность выходного сигнала сумматора должна превышать его собственную погрешность. Это гарантирует вычисление допустимых погрешностей для слоя, предшествующего сумматору

Пусть сумматор имеет собственную погрешность , нелинейный преобразователь имеет собственную погрешность и - собственная погрешность точки ветвления.

Вычислим погрешность , которая придет к входу сумматора при прямом функционировании сети, начиная от выходного сигнала сумматора



Вычисляем допустимые погрешности для входов сумматора при пропорциональном и равномерном распределении. Если хотя бы для одного распределения по каждому входу , то можно продолжать вычисления, используя метод обратного распространения точности с учетом собственных погрешностей элементов сети. Если же для обоих распределений хотя бы по одному входу , то необходимо распределять допустимые погрешности по входам сумматора следующим образом.

Если сумма с коэффициентами погрешностей меньше допустимой погрешности выходного сигнала (), то вычисляем разность Оставшуюся часть допустимой погрешности выходного сигнала сумматора распределяем равномерно по всем входам, чтобы допустимые погрешности входов превышали погрешности элементов на одну и ту же величину . Тогда



Допустимые погрешности входных сигналов сумматора будут равны

Пусть теперь собственные погрешности элементов добавляются к их входным сигналам.


Допустимая погрешность входного сигнала нелинейного преобразователя при этом вычисляется следующим образом: Собственная погрешность сумматора равна Допустимая погрешность точки ветвления вычисляется как было описано выше.

В этом случае погрешности вычисляются по формуле:



Остальные вычисления для допустимых погрешностей входных сигналов сумматора проводятся аналогично.

Возможен другой подход. Можно вычислять погрешности для всей сети сразу. Погрешности , вычисленные для одного слоя сети, суммируются с коэффициентами того сумматора, через который они должны проходить. Полученная погрешность используется дальше для вычисления погрешности следующего слоя. При обратном прохождении сети для входов каждого сумматора будет известно, какие погрешности приходят по каждому входу, и как следует распределять допустимые погрешности сигналов. При этом погрешности вычисляются один раз и не требуется делать пересчет.

Таким образом, мы рассмотрели как распределяются допустимые погрешности сигналов для сетей с собственными погрешностями элементов. Используется встречное распространение погрешностей , которые насчитываются при прямом функционировании сети, и допустимых погрешностей сигналов, которые вычисляются в обратном направлении.


Содержание раздела

---

---

---

Главная сайта

---