NeuralTEST
Detector de overfitting em backtestsFaça o teste
Lista de verificação · tirada dos nossos próprios tropeços

10 formas de um backtest enganar você

Nenhum destes dez erros aparece olhando a curva de resultados. Todos a inflam. Cometemos cada um deles medindo as nossas próprias estratégias durante meses, e de cada um saiu uma verificação do exame ou uma pergunta que fazemos antes de dar o veredicto.

Os números vêm dos nossos próprios estudos (2026). Não há nomes de terceiros porque não são necessários: os erros são os mesmos em todo lugar.

  1. Medir o passado com a lista de ativos de hoje

    O que é
    Se o universo do seu backtest é o de hoje, só contém os sobreviventes. Os que faliram, saíram do índice ou foram retirados da bolsa não estão, e eram justamente os que teriam perdido.
    Como nos mordeu
    Uma estratégia de compras de diretores dava um Sharpe de 1,16. Com a composição histórica do índice, tal como era em cada dia, ficou em 0,17. 84 % do ganho vinha de um único ativo, antes de entrar no índice.
    Como verificar
    Para cada data, a lista de ativos deve ser a que existia naquele dia, incluindo os que depois desapareceram. Se não a tiver, diga no relatório: não é um detalhe.
    O exame vê isto?
    Em parte: perguntamos a você e a resposta fica registrada no relatório.

  2. Escolher olhando o período de teste

    O que é
    Você seleciona pares, parâmetros ou ativos com dados que incluem o período que depois chama de «fora da amostra». O teste já não é fora da amostra: a escolha viu o futuro.
    Como nos mordeu
    Uns pares de ações tinham uma curva atraente. A seleção dos pares tinha visto o período de teste. Repetida com honestidade, a curva ficou em zero.
    Como verificar
    Escreva a ordem dos passos, com datas. Se qualquer decisão (que ativos, que parâmetros, que filtro) usou dados posteriores ao início do teste, o teste não vale como tal.
    O exame vê isto?
    Em parte: perguntamos a você e a resposta fica registrada no relatório.

  3. Testar muitas variantes e mostrar só a melhor

    O que é
    Com tentativas suficientes, a melhor de todas parece uma vantagem mesmo que todas sejam ruído. A melhor de cem ruídos tem uma curva linda.
    Como nos mordeu
    Testamos 345 variantes de uma regra de rompimentos intradiários: 0 de 345 funcionaram fora da amostra. Testamos 60 indicadores técnicos em cripto: nenhum sobreviveu à correção. Na bibliografia: 6.402 regras, zero.
    Como verificar
    Guarde todas as variantes que testou, não só a vencedora, e envie-as juntas: com a tabela completa dá para calcular a probabilidade de a melhor ser uma miragem (PBO). Sem ela, declare quantas testou.
    O exame vê isto?
    Sim: é uma das verificações.

  4. Todo o ganho em poucos dias ou num só ano

    O que é
    Uma curva pode subir muito e dever tudo a cinco dias ou a um ano excepcional. Isso não é uma vantagem repetível; é ter estado no lugar certo uma vez.
    Como nos mordeu
    Uma estratégia de momentum em cripto tinha todo o seu ganho nos dez melhores meses de 2021. Em outra, o melhor par passava de Sharpe 0,76 a 0,04 ao retirar o 1 % dos melhores dias.
    Como verificar
    Retire os cinco melhores dias e olhe de novo. Retire o melhor ano e olhe de novo. Se não sobrar nada, não havia nada.
    O exame vê isto?
    Sim: é uma das verificações.

  5. Tomar um ano por um regime

    O que é
    Um período é uma amostra de tamanho um. O que funcionou numa década pode ser próprio dessa década, e o aviso escrito no rodapé não impede ninguém de usar igual.
    Como nos mordeu
    Uma regra de pesos de carteira passava com os dados de 2008-2026 e falhava com os de 1972-2006; outra, ao contrário. Com uma só época, cada uma parecia uma conclusão firme.
    Como verificar
    Repita o teste em outra época ou outro mercado. Se só tiver uma, diga e não a chame de robusta. Os retornos por ano mostram se você depende de um só.
    O exame vê isto?
    Sim: é uma das verificações.

  6. Dados mal construídos

    O que é
    Linhas que não são sessões (feriados), vazios tratados como zero, velas sem ajuste por desdobramentos, ativos retirados avaliados ao último preço. Cada um infla por seu lado.
    Como nos mordeu
    144 linhas de feriados na base de preços mudaram o sinal do veredicto de uma estratégia de momentum: contar sessões por linhas media outra janela. Um retorno de 5,9 % era falso por avaliar ao último preço ativos já retirados e tratar vazios como zero.
    Como verificar
    Confira as datas com um calendário de mercado. Revise a avaliação operação por operação nos ativos que desapareceram ou se desdobraram. Veja como a série foi construída antes de calcular qualquer coisa sobre ela.
    O exame vê isto?
    Não: nada que olhe só a curva consegue ver. Por isso está nesta lista.

  7. Séries alisadas ou com preços velhos

    O que é
    Se a série está suavizada (médias em vez de fechamentos) ou atualiza com atraso, os retornos saem parecidos demais de um dia para o outro. Uma regra de tendência «vê» o movimento antes do tempo.
    Como nos mordeu
    Tínhamos o ouro em médias mensais em vez de fechamentos. Uma regra de tendência adiantava-se ao movimento sem que ninguém a tivesse programado assim.
    Como verificar
    Meça a correlação de cada retorno com o anterior. Se for alta, a série não é o que você pensa. Verifique como foi construída antes de calcular.
    O exame vê isto?
    Sim: é uma das verificações.

  8. Dias sem operar que não contam

    O que é
    Se o ficheiro de resultados só traz os dias com operações, o Sharpe é calculado com menos dias e sem os zeros. Sai melhor do que é.
    Como nos mordeu
    Um backtest do Freqtrade trazia 13 entradas para 151 dias. Preenchendo os dias parados com zero, o Sharpe passou de inflado a 1,55, igual ao oficial.
    Como verificar
    Conte os dias do calendário do backtest, não os dias com atividade. Os dias em que você não fez nada fazem parte do resultado.
    O exame vê isto?
    Sim: é uma das verificações.

  9. Custos, deslizamento e tamanho

    O que é
    Comissões, spread, deslizamento e a liquidez real do ativo. Muitas estratégias ganham no papel e perdem assim que cada operação é cobrada ou se exige um tamanho realista.
    Como nos mordeu
    Várias ideias nossas (anúncios de resultados, câmbio diário, arbitragem de ETF, sinais de curto prazo) passavam em tudo menos nisto: sem vantagem líquida para um particular depois dos custos.
    Como verificar
    Use custos realistas por operação e por lado, incluindo deslizamento, e pergunte se o tamanho que simula cabe no volume real. Se não o fez, diga.
    O exame vê isto?
    Em parte: perguntamos a você e a resposta fica registrada no relatório.

  10. O que opera não é o que você validou

    O que é
    O programa real diverge do backtest: outra versão, outro arredondamento, outra fonte de dados. E uma fonte congelada que continua respondendo «OK» enquanto entrega dados velhos.
    Como nos mordeu
    Três vezes o que implantámos não era o que tínhamos validado. Um detector funcionou três semanas com dados antigos porque a fonte respondia 200 OK; o próprio sistema avisava e ninguém olhou.
    Como verificar
    Compare a execução real com a simulação nos mesmos dias. Vigie a data do último dado, não só se a fonte responde. Se o seu bot e o seu backtest não são o mesmo programa, declare.
    O exame vê isto?
    Em parte: perguntamos a você e a resposta fica registrada no relatório.

O que o exame pode e não pode ver

Quatro destas armadilhas deixam rastro nos retornos e o exame as mede (3, 4, 7 e 8). As outras seis não se veem na curva: o exame pergunta e guarda a sua resposta no relatório, para que não sejam esquecidas. Não finge detectar o indetectável.

Passe o seu backtest pelo exame

Faça o teste   Como preparar o seu ficheiro

Quer saber quando houver novidades?

Opcional. Se deixar o seu e-mail, escrevemos só quando houver algo novo no NeuralTEST (novos importadores, relatório em PDF). Guardamos o e-mail, a data, o idioma e por onde chegou; nada mais, e nunca o cedemos. Para cancelar, responda «parar» a qualquer e-mail ou escreva para privacy@neuraltest.app.