A sensitivity analysis of data imputation in daily PM10 prediction

Abstract

Reliable daily prediction of particulate matter (PM10) depends not only on model structure and predictor selection, but also on how missing data are treated during preprocessing. In air-quality applications, gaps are common in both ground-based monitoring records and satellite-derived predictors due to instrument downtime, quality screening, and cloud contamination. Despite this, data imputation is often treated as a purely technical step. The study presents a sensitivity analysis of data imputation strategies and their impact on daily PM10 prediction using a Random Forest (RF) framework over Lithuania for the period 2019–2024. Using a consistent spatiotemporal dataset integrating ground observations, meteorological variables, satellite-derived atmospheric composition, and temporal features, multiple gap-filling approaches were evaluated under identical model configurations and temporal data splits. The examined imputation methods include inverse distance weighting (IDW), Gaussian process regression (GPR), station mean and median, and Multivariate Imputation by Chained Equations (MICE). Model performance was assessed using the coefficient of determination (R²), root mean square error (RMSE), and mean absolute error (MAE). Results indicate that spatially informed imputation IDW consistently achieved the highest reconstruction accuracy under moderate missingness, while GPR became competitive under extreme data loss. Using the selected IDW-completed dataset, the RF model achieved predictive performance (Test: R² = 0.615, RMSE = 6.37 µg/m³, MAE = 4.78 µg/m³).

Article in English.

Trūkstamų duomenų užpildymo įtakos analizė prognozuojant paros PM10 koncentracijas

Santrauka

Patikima paros kietųjų dalelių (PM₁₀) koncentracijos prognozė priklauso ne tik nuo modelio struktūros ir prognozuojamųjų kintamųjų parinkimo, bet ir nuo to, kaip duomenų paruošimo etape tvarkomi trūkstami duomenys. Oro kokybės tyrimuose duomenų spragos dažnai susidaro tiek antžeminių matavimų įrašuose, tiek iš palydovinių duomenų išvestuose kintamuosiuose dėl prietaisų veikimo sutrikimų, kokybės filtravimo procedūrų ar debesuotumo poveikio. Nepaisant to, trūkstamų duomenų užpildymas dažnai laikomas tik techniniu duomenų apdorojimo žingsniu. Šiame tyrime pateikiama trūkstamų duomenų užpildymo metodų jautrumo analizė ir jų įtaka paros PM₁₀ koncentracijos prognozėms vertinti, taikant atsitiktinių miškų (angl. Random Forest, RF) metodą Lietuvos teritorijoje 2019–2024 m. laikotarpiu. Naudojant nuoseklų erdvinių ir laiko duomenų rinkinį, integruojantį antžeminius stebėjimus, meteorologinius kintamuosius, iš palydovinių duomenų gautus atmosferos sudėties rodiklius bei laiko požymius, buvo vertinami keli trūkstamų duomenų užpildymo metodai, taikant vienodas modelio konfigūracijas ir identišką duomenų skaidą laiko atžvilgiu. Analizuoti metodai apėmė atvirkštinio atstumo svorių metodą (IDW), Gauso procesų regresiją (GPR), stoties vidurkio ir medianos metodus bei daugiamates grandinines lygtis (MICE). Modelių tikslumas vertintas pagal determinacijos koeficientą (R²), vidutinę kvadratinę paklaidą (RMSE) ir vidutinę absoliučiąją paklaidą (MAE). Tyrimo rezultatai parodė, kad, taikant IDW metodą, kai yra vidutinis trūkstamas duomenų kiekis, gaunamas didžiausias atkūrimo tikslumas, o esant itin dideliems duomenų praradimams gerų rezultatų pasiekta GPR metodu. Taikant IDW metodą su papildytu duomenų rinkiniu ir RF modeliu pasiektos šios prognozavimo tikslumo rodiklių imtys: R² = 0,615, RMSE = 6,37 µg/m³ ir MAE = 4,78 µg/m³.

Reikšminiai žodžiai: PM₁₀ prognozavimas, duomenų priskyrimas, atsitiktinių miškų metodas, oro kokybės modeliavimas, erdvinė ir laiko analizė.