Один з можливих підходів оцінювання якості електронних навчальних є спосіб за статистикою успішності навчання, який полягає в зіставленні результатів, досягнутих студентами при різних варіантах побудови навчального процесу. Порівнюючи отримані при тестуванні дані можна судити про наявність неприпустимих відхилень і необхідності коректувальної роботи або, навпаки, зробити висновок про оптимальність вибраних педагогічних засобів і методів навчання. При цьому найбільш зручний порівняльний аналіз, що дозволяє порівнювати результати, досягнуті студентами при взаємодії з конкретним викладачем, консультантом, інструктором або при використанні певного інструментарію.
На основі зіставлення ухвалюються управлінські рішення, направлені на корекцію освітнього процесу. Такий підхід часто природний і не вимагає проведення спеціальних вимірювань, оскільки оцінка успішності навчання завжди міститься в статистиці успішності студентів за певний період. Зіставивши результати можна зробити висновок, до яких підсумків привело реалізоване нововведення – якщо успішність підвищилася, то результати позитивні і новий варіант слід прийняти, якщо успішність погіршала, то результати негативні і від змін слід відмовитися.
Проте, при всій простоті, що здається, спосіб оцінки якості засобів методичного забезпечення дистанційного навчального процесу за статистикою успішності знаходить обмежене застосування. Це пов'язано з тим, що навчальний процес є багатокритерійним, на його кінцевий результат одночасно впливає велике число чинників і тому складно виділити, який з них домінував і привів до зафіксованої зміни успішності. Крім того, до навчання кожного разу допускається нова група студентів і тому неможливо точно повторити умови, в яких проводилися вимірювання. Ще один недолік пов'язаний з тим що, навіть фіксуючи факт, що успішність покращала, наприклад, через редагування якого-небудь розділу електронного підручника неможливо встановити зміну яких властивостей даного розділу забезпечило такий результат.
У зв'язку з цим було поставлено завдання, на додаток до існуючих методів визначення характеристик якості дистанційного навчального процесу запропонувати спосіб вимірювання, заснований на встановленні і подальшому узагальненні диференційованих показників якості.
Вирішити проблему вимірювання якості методичного забезпечення дистанційного навчального процесу значною мірою дозволяє розосереджена експертна система. Така система в першу чергу орієнтована на управління якістю електронного підручника, але з невеликими змінами може бути адаптована і для оцінки якості решти інструментів освітньої системи.
Мета розподіленої експертної системи полягає у виявленні тих умов функціонального і технічного характеру, дотримання яких сприяло б розширенню переваг і зниженню недоліків електронних підручників і як наслідок до найбільш ефективного їх використання. При цьому до функціональних слід віднести умови, що визначають відповідність електронного підручника його головному призначенню, - формуванню у студентів необхідних знань і навиків.
Функціональні умови оцінюються показниками якості змісту освіти. Найбільш загальними з них є доступність викладу навчального матеріалу, повнота викладу для всебічного розгляду предмету вивчення, відсутність зайвої деталізації, можливість самоконтролю, наочність, логічність, типовість навчального матеріалу. Для опису рівня технічних умов використовують показники якості технології навчання - особливості дизайну, зручність інтерфейсу, час на пошук та ін.
Заповнені анкети передаються за допомогою електронної пошти і поступають в базу приватних оцінок якості, де накопичуються у вигляді масивів оцінок окремо по кожному з параметрів якості. У міру накопичення анкет або по закінченню певного періоду часу, наприклад в кінці кожного семестру, проводиться дослідження змін параметрів якості підручника за наслідками висловів студентів.
Дослідження виконується по двох вибірках оцінок якості, отриманих при вимірюванні кожного з приватних показників до і після внесення змін до відповідного розділу електронного підручника. За наслідками статистичного аналізу визначаються параметри фактичних розподілів кожної з вибірок, порівнюються розраховані параметри розподілів і робляться висновки про достовірність впливу виконаного редагування підручника на оцінку якості, дану студентами:
Оцінювання якості електронного підручника з використанням розосередженої експертної системи, а також розповсюдження її процедур на весь комплекс навчально-методичних засобів дистанційного навчання дає можливість диференційовано підходити до управління якістю дистанційного навчального процесу. Перспективним завданням дослідження є уточнення приватних критеріїв якості і розробка рекомендацій по їх застосуванню до оцінки конкретних засобів методичного забезпечення. Крім того, вимагає подальшого дослідження питання про вироблення узагальнених показників якості на основі диференційованих критеріїв.