2.7 Інформаційні критерії оптимізації параметрів функціонування ІС, що навчається

2.7 Інформаційні критерії оптимізації параметрів функціонування ІС, що навчається

Центральним питанням інформаційного синтезу ІС є оцінка функціональної ефективності процесу навчання, яка визначає максимальну достовірність рішень, що приймаються на екзамені. Як КФЕ в ІЕІ-технології можуть використовуватися різні критерії, які задовольняють такі властивості інформаційних мір:

інформаційна міра є величина дійсна і знакододатна як функція від імовірності;

кількість інформації для детермінованих змінних ( або ) дорівнює нулю;

інформаційна міра має екстремум при значенні ймовірності , де  m – кількість якісних ознак розпізнавання.

Серед інформаційних мір для оцінки функціональної ефективності СППР, що навчається, перевагу слід віддавати статистичним логарифмічним критеріям, які дозволяють працювати з навчальними вибірками відносно малих обсягів [50]. Серед таких критеріїв найбільшого використання знайшли ентропійні міри [51] та інформаційна міра Кульбака  [52].

Подамо нормований ентропійний КФЕ навчання ІС розпізнавати реалізації класу   у  вигляді:

                        ,                            (2.7.1)

де        – кількість умовної інформації, що обробляється на   -му кроці навчанні ІС розпізнавати реалізації класу ; – максимальна можлива кількість умовної інформації, одержаної  на  -му кроці навчання;

                   – (2.4.2)

апріорна (безумовна) ентропія, що існує на  -му  кроці навчання системи розпізнавати реалізації класу ;

         – 

апостеріорна (умовна) ентропія, що характеризує залишкову невизначеність після -го кроку навчання системи розпізнавати реалізації класу ; – безумовна ймовірність прийняття  на  -му кроці навчання гіпотези  ; – апостеріорна ймовірність прийняття на  -му кроці навчання рішення   за умови, що прийнята гіпотеза  .

Для двохальтернативної системи оцінок (М = 2) і рівноймовірних гіпотез, що характеризує найбільш важкий у статистичному сенсі випадок прийняття рішень, після відповідної підстановки ентропій (2.7.2) і (2.7.3) у вираз (2.7.1) та заміни відповідних апостеріорних ймовірностей на апріорні за формулою Байєса [46] ентропійний критерій набирає вигляду

             

                  

                         (2.7.4)

де   – помилка першого роду прийняття рішення на  k-му кроці  навчання;   – помилка другого роду;  – перша достовірність;  – друга достовірність; – дистанційна міра, яка визначає радіуси гіперсферичних контейнерів, побудованих в радіальному базисі простору Хеммінга.

Оскільки точнісні характеристики є функціями відстані вершин еталонних векторів від геометричних центрів контейнерів відповідних класів розпізнавання, то критерій  (2.7.4) в ІЕІ-технології слід розглядати як нелінійний і взаємно-неоднозначний функціонал від точнісних характеристик, що потребує знаходження в процесі навчання робочої (допустимої) області для його визначення.

Розглянемо модифікацію диференціальної інформаційної міри Кульбака, яка подається як добуток відношення правдоподібності L на міру відхилень відповідних розподілів імовірностей.

У праці [46] розглядається логарифмічне відношення повної ймовірності    правильного прийняття рішень про належність реалізацій класів  і  контейнеру   до повної ймовірності помилкового прийняття рішень , яке для двохальтернативної системи оцінок рішень має вигляд       

  ,

                                                                                     (2.7.5)

де        –безумовна ймовірність появи реалізації класу ; –безумовна ймовірність появи реалізації найближчого (сусіднього) класу ;  – гіпотеза про належність контейнеру   реалізації класу  ;   – альтернативна гіпотеза.    

Із урахуванням (2.7.5) при допущенні згідно із принципом Лапласа-Бернуллі, що  , і після переозначення апріорних умовних імовірностей відповідними точнісними характеристиками загальна міра Кульбака остаточно набирає вигляду

           

    .      

                                                                                           (2.7.6)

Нормовану модифікацію критерію (2.7.6) можна подати у вигляді

                                       ,

де         – значення інформаційного критерію при  і  для формули (2.7.6).

При оптимізації параметрів функціонування ІС у процесі навчання за ІЕІ-технологією нормування критеріїв оптимізації не є обов’язковим, оскільки тут розв’язується задача пошуку екстремальних значень параметрів навчання, які відповідають глобальному максимуму КФЕ у робочій області його визначення. Але нормування критеріїв оптимізації є доцільним при порівняльному аналізі результатів досліджень і при оцінці ступеня близькості реальної ІС до потенційної.

Розглянемо процедуру обчислення модифікації ентропійного КФЕ за Шенноном для двохальтернативного рішення при рівноймовірних гіпотезах згідно з формулою (2.7.4). Оскільки інформаційний критерій є функціоналом від точнісних характеристик, то при репрезентативному обсязі навчальної вибірки необхідно користуватися їх оцінками:

           ; ; ;         

                                   ,                                    (2.7.7)

де        - кількість подій, які означають належність реалізацій образу контейнеру , якщо дійсно  ;       – кількість подій, які означають неналежність реалізацій контейнеру , якщо дійсно  ; - кількість подій, які означають належність реалізацій контейнеру , якщо вони насправді належать класу ;  - кількість подій, які означають неналежність реалізацій контейнеру , якщо вони насправді належать класу  ; nmin - мінімальний обсяг репрезентативної навчальної вибірки.

Після підстановки відповідних позначень (2.7.7) у вираз (2.7.4) одержимо робочу формулу для обчислення в рамках ІЕІ-технології ентропійного інформаційного КФЕ навчання ІС розпізнаванню реалізацій класу  :

               

                                                                                        (2.7.8)

Робоча модифікація критерію Кульбака після відповідної підстановки оцінок (2.7.7) у вираз (2.7.6) набирає вигляду

 , (2.7.9)

де  r - число цифр у мантисі значення критерію  .

Розглянемо схему обчислення коефіцієнтів   і    у формулі (2.7.9). На рис. 2.7 показано структуру навчальної матриці при побудові оптимального контейнера для класу  . Навчальна матриця послідовно складається з векторів реалізацій  і  відповідно.

Рисунок 2.7 – Структура навчальної матриці

Алгоритм  обчислення коефіцієнтів   і    у формулі (2.7.9) має такий предикатний вигляд:

                    

         .

                                                                                         (2.7.10)

Таким чином, інформаційні критерії (2.7.4) і (2.7.6) є функціоналами як від точнісних характеристик рішень, що приймаються, так і від дистанційних критеріїв, тобто їх можна розглядати як  узагальнення відомих статистичних і детермінованих (дистанційних) критеріїв оптимізації параметрів функціонування ІС.