2.7 Інформаційні критерії оптимізації параметрів функціонування ІС, що навчається
Центральним питанням інформаційного синтезу ІС є оцінка функціональної ефективності процесу навчання, яка визначає максимальну достовірність рішень, що приймаються на екзамені. Як КФЕ в ІЕІ-технології можуть використовуватися різні критерії, які задовольняють такі властивості інформаційних мір:
інформаційна міра є величина дійсна і знакододатна як функція від імовірності;
кількість інформації для детермінованих змінних ( або ) дорівнює нулю;
інформаційна міра має екстремум при значенні ймовірності , де m – кількість якісних ознак розпізнавання.
Серед інформаційних мір для оцінки функціональної ефективності СППР, що навчається, перевагу слід віддавати статистичним логарифмічним критеріям, які дозволяють працювати з навчальними вибірками відносно малих обсягів [50]. Серед таких критеріїв найбільшого використання знайшли ентропійні міри [51] та інформаційна міра Кульбака [52].
Подамо нормований ентропійний КФЕ навчання ІС розпізнавати реалізації класу у вигляді:
, (2.7.1)
де – кількість умовної інформації, що обробляється на -му кроці навчанні ІС розпізнавати реалізації класу ; – максимальна можлива кількість умовної інформації, одержаної на -му кроці навчання;
– (2.4.2)
апріорна (безумовна) ентропія, що існує на -му кроці навчання системи розпізнавати реалізації класу ;
–
апостеріорна (умовна) ентропія, що характеризує залишкову невизначеність після -го кроку навчання системи розпізнавати реалізації класу ; – безумовна ймовірність прийняття на -му кроці навчання гіпотези ; – апостеріорна ймовірність прийняття на -му кроці навчання рішення за умови, що прийнята гіпотеза .
Для двохальтернативної системи оцінок (М = 2) і рівноймовірних гіпотез, що характеризує найбільш важкий у статистичному сенсі випадок прийняття рішень, після відповідної підстановки ентропій (2.7.2) і (2.7.3) у вираз (2.7.1) та заміни відповідних апостеріорних ймовірностей на апріорні за формулою Байєса [46] ентропійний критерій набирає вигляду
(2.7.4)
де – помилка першого роду прийняття рішення на k-му кроці навчання; – помилка другого роду; – перша достовірність; – друга достовірність; – дистанційна міра, яка визначає радіуси гіперсферичних контейнерів, побудованих в радіальному базисі простору Хеммінга.
Оскільки точнісні характеристики є функціями відстані вершин еталонних векторів від геометричних центрів контейнерів відповідних класів розпізнавання, то критерій (2.7.4) в ІЕІ-технології слід розглядати як нелінійний і взаємно-неоднозначний функціонал від точнісних характеристик, що потребує знаходження в процесі навчання робочої (допустимої) області для його визначення.
Розглянемо модифікацію диференціальної інформаційної міри Кульбака, яка подається як добуток відношення правдоподібностіLна міру відхилень відповідних розподілів імовірностей.
У праці [46] розглядається логарифмічне відношення повної ймовірності правильного прийняття рішень про належність реалізацій класів і контейнеру до повної ймовірності помилкового прийняття рішень , яке для двохальтернативної системи оцінок рішень має вигляд
,
(2.7.5)
де –безумовна ймовірність появи реалізації класу ; –безумовна ймовірність появи реалізації найближчого (сусіднього) класу ; – гіпотеза про належність контейнеру реалізації класу ; – альтернативна гіпотеза.
Із урахуванням (2.7.5) при допущенні згідно із принципом Лапласа-Бернуллі, що , і після переозначення апріорних умовних імовірностей відповідними точнісними характеристиками загальна міра Кульбака остаточно набирає вигляду
.
(2.7.6)
Нормовану модифікацію критерію (2.7.6) можна подати у вигляді
,
де – значення інформаційного критерію при і для формули (2.7.6).
При оптимізації параметрів функціонування ІС у процесі навчання за ІЕІ-технологією нормування критеріїв оптимізації не є обов’язковим, оскільки тут розв’язується задача пошуку екстремальних значень параметрів навчання, які відповідають глобальному максимуму КФЕ у робочій області його визначення. Але нормування критеріїв оптимізації є доцільним при порівняльному аналізі результатів досліджень і при оцінці ступеня близькості реальної ІС до потенційної.
Розглянемо процедуру обчислення модифікації ентропійного КФЕ за Шенноном для двохальтернативного рішення при рівноймовірних гіпотезах згідно з формулою (2.7.4). Оскільки інформаційний критерій є функціоналом від точнісних характеристик, то при репрезентативному обсязі навчальної вибірки необхідно користуватися їх оцінками:
; ; ;
, (2.7.7)
де -кількість подій, які означають належність реалізацій образу контейнеру , якщо дійсно ; – кількість подій, які означають неналежність реалізацій контейнеру , якщо дійсно ; -кількість подій, які означають належність реалізацій контейнеру , якщо вони насправді належать класу ; -кількість подій, які означають неналежність реалізацій контейнеру , якщо вони насправді належать класу ; nmin-мінімальний обсяг репрезентативної навчальної вибірки.
Після підстановки відповідних позначень (2.7.7) у вираз (2.7.4) одержимо робочу формулу для обчислення в рамках ІЕІ-технології ентропійного інформаційного КФЕ навчання ІС розпізнаванню реалізацій класу :
(2.7.8)
Робоча модифікація критерію Кульбака після відповідної підстановки оцінок (2.7.7) у вираз (2.7.6) набирає вигляду
, (2.7.9)
де r-число цифр у мантисі значення критерію .
Розглянемо схему обчислення коефіцієнтів і у формулі (2.7.9). На рис. 2.7 показано структуру навчальної матриці при побудові оптимального контейнера для класу . Навчальна матриця послідовно складається з векторів реалізацій і відповідно.
Рисунок 2.7 – Структура навчальної матриці
Алгоритм обчислення коефіцієнтів і у формулі (2.7.9) має такий предикатний вигляд:
.
(2.7.10)
Таким чином, інформаційні критерії (2.7.4) і (2.7.6) є функціоналами як від точнісних характеристик рішень, що приймаються, так і від дистанційних критеріїв, тобто їх можна розглядати як узагальнення відомих статистичних і детермінованих (дистанційних) критеріїв оптимізації параметрів функціонування ІС.