Multimodal machine-learning–based stress detection in a firefighter driving simulator

ABSTRACT: Stress is a major factor contributing to road-traffic accidents, highlighting the need for reliable and non-invasive methods to monitor driver stress. Existing research relies largely on Random Forest and XGBoost, whereas newer gradient-boosting algorithms such as LightGBM and CatBoost remain underexplored. This study develops a multimodal stress-detection pipeline using eye-tracking, electrodermal activity, HR/IBI, and driving-behaviour features collected in a firefighter emergency-driving simulator with controlled stress-inducing events. Four models–Random Forest, XGBoost, LightGBM, and CatBoost–were evaluated with comprehensive hyperparameter optimisation. LightGBM achieved the strongest overall performance, offering the highest precision and AUC, particularly in scenarios S2–S4, whereas S1 showed weak separability due to low physiological activation. Key predictive features included EDA phasic/tonic activity, pupil-dilation measures, speed dynamics, and steering variability. The results demonstrate that modern boosting methods combined with multimodal sensing provide robust and generalizable stress detection in operational emergency-driving conditions.

KEYWORDS: driver stress detection, wearable sensing, machine learning, electrodermal activity, eye tracking, hyperparameter tuning

STRESZCZENIE: Stres jest znaczącym czynnikiem prowadzącym do wypadków drogowych, co podkreśla potrzebę niezawodnych i nieinwazyjnych metod monitorowania poziomu stresu u kierowcy. Większość dotychczasowych badań wykorzystuje klasyczne algorytmy, takie jak Random Forest i XGBoost, podczas gdy nowsze algorytmy wzmacniania gradientowego, takie jak LightGBM i CatBoost, pozostają niedostatecznie zbadane w kontekście wykrywania stresu u kierowców na podstawie danych multimodalnych. W niniejszej pracy opracowano wielomodalny system detekcji stresu oparty na danych okulograficznych, elektrodermalnych, HR/IBI oraz telemetrycznych cechach zachowania kierowcy, zarejestrowanych w symulatorze jazdy pojazdu strażackiego wyposażonym w kontrolowane zdarzenia stresogenne. Oceniono cztery modele: Random Forest, XGBoost, LightGBM i CatBoost, poddając je optymalizacji parametrów. LightGBM osiągnął najlepszą ogólną skuteczność, uzyskując najwyższą precyzję i wartość AUC, zwłaszcza w scenariuszach S2–S4, podczas gdy w scenariuszu S1 separowalność klas była słaba ze względu na niską aktywność fizjologiczną. Do kluczowych cech predykcyjnych należały fazowa i toniczna aktywność EDA, miary poszerzenia źrenic, dynamika prędkości oraz zmienność kierowania. Uzyskane wyniki wskazują, że nowoczesne metody wzmacniania gradientowego w połączeniu z wielomodalnym systemem czujników, umożliwiają skuteczną detekcję stresu w warunkach jazdy interwencyjnej.

SŁOWA KLUCZOWE: detekcja stresu kierowcy, urządzenia ubieralne, uczenie maszynowe, aktywność elektrodermalna, okulografia, strojenie hiperparametrów.

BIBLIOGRAFIA / BIBLIOGRAPHY:

[1] Al-Nafjan, A., Aldayel, M.: Anxiety Detection System Basedon Galvanic Skin Response Signals, Appl. Sci., vol. 14, no. 10788, 2024.

[2] Aqajari, S.A.H. et al.: PyEDA: An Open-Source Python Toolkit for Pre-Processing and Feature Extraction of Electrodermal Activity. In: Procedia Computer Science. pp. 99–106 (2021).

[3] Baltaci, S., Gokcay, D.: Stress detection in human-computerinteraction: Fusion of pupil dilation and facial temperaturefeatures, Int. J. Human--Computer Interact., vol. 32, no. 12,pp. 956–966, 2016.

[4] Dalmeida, K.M., Masala, G.L.: HRV features as viable physiological markers for stress detection using wearable devices,Sensors, vol. 21, no. 8, pp. 2873, 2021.

[5] Gesztesi, G., Pajkossy, P.: Wink or blush? Pupil-linked phasic arousal signals both change and uncertainty duringassessment of changing environmental regularities, Cognition, vol. 264, pp. 106256, 2025.

[6] Iqbal, Talha and Simpkin, Andrew J and Roshan, Davood and Glynn, Nicola and Killilea, John and Walsh, Jane andMolloy, Gerard and Ganly, Sandra and Ryman, Hannah andCoen, E. and others: Stress Monitoring Using Wearable Sensors: A Pilot Study and Stress-Predict Dataset, 2022.

[7] Kret, M.E., Sjak-Shie, E.E.: Preprocessing pupil size data:Guidelines and code, Behav. Res. Methods, vol. 51, no. 3, pp. 1336–1342, 2019.

[8] Lalwani, S., Ferdowsi, S.: Predictive Modelling of Exam Outcomes Using Stress-Aware Learning from Wearable Biosignals, Sensors, 2025.

[9] Mateos-Garc\’\ia, N. et al.: Driver stress detection fromphysiological signals by virtual reality simulator, Electronics, vol. 12, no. 10, pp. 2179, 2023.

[10] Mou, L. et al.: Driver stress detection via multimodal fusion using attention-based CNN-LSTM, Expert Syst. Appl.,vol. 173, pp. 114693, 2021.

[11] Naegelin, M. et al.: An interpretable machine learning approach to multimodal stress detection in a simulated office environment, J. Biomed. Inform., vol. 139, pp. 104299, 2023.

[12] Priya, A. et al.: Predicting anxiety, depression and stress inmodern life using machine learning algorithms, ProcediaComput. Sci., vol. 167, pp. 1258–1267, 2020.

[13] Rastgoo, M.N. et al.: Automatic driver stress level classification using multimodal deep learning, Expert Syst. Appl.,2019.

[14] Rupp, Lydia Helene and Kumar, Akash and Sadeghi, Misha and Schindler-Gmelch, Lena and Keinert, Marie and Eskofier, Bjoern M and Berking, M.: Stress can be detected during emotion-evoking smartphone use: a pilot study usingmachine learning, Front. Digit. Heal., vol. 7, pp. 1578917,2025.

[15] Suraj Arya, A., Ramli, N.A.: Predicting the stress level of students using supervised machine learning and artificial neural network (ANN), Indian J. Eng., vol. 21, pp. e9ije1684, 2024.

[16] NeuroKit2 Python library, https://neurokit2.readthedocs.io/.

[17] Pupil Labs, https://docs.pupil-labs.com/core/ .

[18] Shimmer Sensing, https://shimmersensing.com/wp-content/docs/support/documentation/GSR_User_Guide_rev1. 13.pdf.

DOI: https://doi.org/10.17814/mechanik.2026.1.2

 

* Artykuł recenzowany