1 kwietnia 2026 roku w czasopiśmie Neurocomputing ukazał się (co nie jest żartem prima aprilisowym) artykuł naukowy pt. "Recurrence mimicking learning: Eliminating sequential rollouts in offline recurrent reinforcement learning" przedstawiający ciekawą propozycję usprawniania procesów uczenia rekurencyjnej sieci neuronowej. Artykuł Autorstwa mgra Tomasz Witkowskiego, prof. Krzysztofa Kani i prof. Tomasza Wachowicza pokazuje jak zdecydowanie przyspieszyć można proces przygotowania narzędzia decyzyjnego wykorzystywanego w dynamicznych problemach decyzyjnych.
Artykuł dostępny jest w bezpośrednio pod linkiem: https://www.sciencedirect.com/science/article/pii/S0925231226002043
Rekurencyjne uczenie ze wzmocnieniem (ang. Recurrent Reinforcement Learning, RRL) jest szeroko stosowane w środowiskach, w których akcje zależą od wcześniejszych decyzji, np. w dynamicznym podejmowaniu decyzji. Jednakże RRL w trybie offline zmaga się z poważną wadą obliczeniową: ewaluuje trajektorie krok po kroku, co czyni trening niewydajnym w przypadku długich horyzontów czasowych, złożonych modeli i wielowymiarowych cech.
Aby rozwiązać ten problem, proponujemy metodę Recurrence Mimicking Learning (RML) – podejście, które zmienia kolejność próbek (rollouts) w offline RRL tak, aby wymagać jedynie dwóch wsadowych przejść w przód (batched forward passes) na epokę, niezależnie od długości horyzontu. RML wylicza wszystkie poprzednie akcje w pojedynczym przejściu i odtwarza dokładną ścieżkę rekurencyjną za pomocą kroku selekcji. Eksperymenty pokazują, że RML zachowuje dokładną, końcową trajektorię akcji standardowego offline RRL, umożliwia bezpośrednią optymalizację globalnych nagród i redukuje czas obliczeniowy treningu do około 5% w porównaniu z tradycyjnym podejściem, jednocześnie wydajnie skalując się zarówno z długością sekwencji, jak i rozmiarem przestrzeni akcji.
