Часть 3. Зона внимания

Внимание определяет сколько разных концептов одновременно может находиться в поле зрения ИИ системы. Обычно это число 10…300. Но если у вас мощное оборудование и требуется глубокий обзор, допустимо и больше.

1. Настройка внимания в проекте

При создании ГНС-проекта за внимание отвечают параметры концепта System:System:

// активная зона

{ “_AttentionMin”, “20” },

{ “_AttentionMax”, “100” }

2.  Управление вниманием

Любой нейрон через скрипт, или просто скрипт может получить доступ к вниманию:

x = Attention;

Attention= X;

2.1. Ослабление связей для «недоживших» нейронов (LTD)

Вопрос: стоит ли ослаблять связи нейронов, которые остыли или были вытеснены, пропорционально их вкладу?

Да, это критически важно. В биологии это называется «синаптической депрессией».

Если синапсы подали сигналы, но нейрон так и не смог возбудиться до порога (остыл или был вытеснен), это означает, что данные сигналы были шумом или ложной тревогой.

Если не ослаблять такие связи, сеть быстро забьется «мусорными» путями, которые будут постоянно подогревать нейроны до около порогового состояния, мешая работе Зоны Внимания.

 

Как это правильно рассчитать:

Если общая сумма пришедшего подогрева была

E

E

(переменная Excitation), а конкретный импульс принес вес

Wi

Wi,

то его относительный вклад равен:

Pi=EWi

Pi=WiE

Мы должны уменьшить вес соответствующего ребра (Edge.Weight) пропорционально этому вкладу:

Weightnew=Weightold×(1−β×Pi)

Weightnew=Weightold×(1−β×Pi)

где

β

β

— коэффициент затухания (например, 0.05 или 5%). Если вес падает ниже предела (например, 0.05), связь удаляется из графа.

 

2.2. Автоматическое усиление при выстреле (LTP)

Вопрос: стоит ли усиливать связи сработавших нейронов? Не приведет ли это к хаосу?

Приведет к хаосу и лавинообразному взрыву активности, если не ввести жесткие предохранители.

В нейросетях без ограничений этот эффект называется Runaway Excitation (когда нейроны зацикливаются и начинают бесконечно возбуждать друг друга, аналог эпилепсии).

Однако автоподстройка необходима для самообучения. Чтобы избежать хаоса, нужно применить три правила:

  1. Асимметрия обучения: Ослабление связей при неудаче должно быть чуть сильнее или происходить легче, чем их усиление при успехе (принцип «доверие трудно завоевать, но легко потерять»).
  2. Мягкое насыщение (Soft Saturation): чем ближе вес к 1.0, тем труднее его увеличить. Формула:

Weightnew=Weightold+α×Pi×(1−Weightold)

Weightnew=Weightold+α×Pi×(1−Weightold)

  1. Использование поля Protection: если у ребра высокий показатель Protection, оно должно медленнее остывать и медленнее разрушаться.

3.  Принудительная активация нейрона

Позволяет программно (из скрипта) активировать любой нейрон по имени или id. Если нейрон был в зоне внимания, он будет удален.

Fire(neuron,input [, weight =10] );