Existem dois tipos de backtest: com e sem replay.
O backtest sem replay é executado após o fecho da sessão com todas as candles à vista.
O backtest com replay é executado com a impressão de candle a candle.
Pode-se afirmar que o backtest com replay é superior permitindo uma maior aproximação às condições reais de mercado.
Porque a maioria dos traders (eu inclusive) na usa o replay?
Simplesmente porque exige maior disponibilidade de tempo. Aliás, a maioria dos traders não faz qualquer tipo de backtest, pelo que qualquer simulação é melhor do que nada.