ПРОГНОЗУВАННЯ ПОКАЗНИКІВ ЯКОСТІ ПРОГРАМНИХ СИСТЕМ ІЗ ЗАСТОСУВАННЯМ МОДИФІКАЦІЙ МЕТОДУ SHAP

Анотація

Запропоновано 5 пропозицій для поліпшення практичного застосування методу SHAP (Shapley additive explanations — додаткові пояснення за Шеплі) у контексті оцінки якості програмних систем (ПС), що дозволило дослідити можливості вдосконалення методу SHAP щодо прогнозування показників якості ПС. Метою дослідження є підвищення точності та адаптивності методу SHAP шляхом його модифікацій для врахування різноманітних параметрів якості ПС, зокрема продуктивності, надійності, масштабованості та зручності використання. В роботі визначено такі завдання: провести детальний огляд проблем, пов’язаних із застосуванням методу SHAP під час оцінки якості ПС; математично описати п’ять модифікацій методу SHAP, спрямованих на підвищення його точності, адаптивності та швидкості оцінки показників якості ПС; провести експериментальну перевірку запропонованих модифікацій для оцінки їхньої ефективності в порівнянні з оригінальним методом. В ході досліджень розглянуто п’ять підходів, щодо вдосконалення методу SHAP: LSTM (Long Short-Term Memory — довга короткочасна пам’ять); CNN (Convolutional Neural Networks — згорткові нейронні мережі), адаптивний SHAP MLP (multilayer perceptron — багатошаровий перцептрон), RNN (Recurrent Neural Network — рекурентна нейронна мережа (розглядалися ансамблі моделей та Баєсівське оновлення)). Проведено практичне порівняння результатів, яке показало, що запропоновані варіації SHAP можуть значно підвищити точність та швидкість прогнозування, особливо в умовах динамічних змін та великих обсягів даних. В процесі розробки та обґрунтування п’яти оптимізаційних модифікацій методу SHAP досягнуто підвищення точності та ефективності прогнозування показників якості ПС. У ході дослідження встановлено, що методи, які використовують глибокі нейронні мережі (LSTM, CNN), показують вищу точність та адаптивність у порівнянні з оригінальним SHAP, проте ціною цього є складність реалізації та тривалий час виконання. Адаптивний SHAP та Ensemble є оптимальними з погляду балансу між точністю, адаптивністю та інтерпретованістю, проте потребують певної оптимізації для поліпшення часу виконання. Оригінальний SHAP показав задовільну точність (MAE 0,84) та інтерпретованість (7/10), проте поступається сучасним підходам у питаннях адаптивності (6/10) та часу виконання (0,4 години). SHAP потребує подальшої оптимізації, зокрема в умовах динамічних середовищ, де важлива швидка адаптація до нових даних. Часові ряди (LSTM) забезпечили найвищу точність серед інших методів (MAE 0,91) та хорошу адаптивність (8/10).