Abstract: The author proposes a class of exact tests of the null hypothesis of exchangeable forecast errors and, hence, of the hypothesis of no difference in the unconditional accuracy of two competing forecasts. The class includes analogues of the well-known Diebold and Mariano (1995) parametric and non-parametric test statistics. The forecast errors can be non-normal and contemporaneously correlated, and general forms of the loss function are admitted. The nonparametric distribution-free property of these new tests makes them robust to the presence of conditional heteroscedasticity, heavy tails, and outliers in the loss-differential series. These tests are used with a randomization or "Monte Carlo" resampling technique, which yields an exact and computationally inexpensive inference procedure. Simulations confirm the reliability of the new test procedure, and its power is found to be comparable with that of the size-corrected parametric Diebold-Mariano test. The test procedure is illustrated with an application to the term structure of interest rates. The application shows that exchangeable forecast errors can be found empirically even when comparing forecasts from estimated models.

Résumé: L'auteur propose une classe de tests exacts de l'hypothèse nulle d'interchangeabilité des erreurs de prévision, c'est-à-dire de l'hypothèse voulant que l'exactitude inconditionnelle de deux prévisions concurrentes n'affiche aucune différence. Cette classe réunit des statistiques de test analogues à celles des tests paramétriques et non paramétriques bien connus de Diebold et Mariano (1995). Les erreurs de prévision peuvent ne pas suivre une loi normale et être corrélées de façon contemporaine. De plus, la fonction de perte peut prendre des formes générales. Le caractère non paramétrique de ces nouveaux tests, dont la statistique ne suit aucune loi prédéfinie, explique leur robustesse en présence d'hétéroscédasticité conditionnelle, de courbes de forme plus pointue et de valeurs aberrantes dans la série issue de la comparaison des fonctions de perte. Les tests s'accompagnent d'une randomisation ou d'un rééchantillonnage à la Monte-Carlo, ce qui débouche sur une procédure d'induction exacte et peu exigeante sur le plan des calculs. Les simulations confirment la fiabilité de ce nouveau test, dont la puissance se compare à celle du test paramétrique de Diebold et Mariano à niveau corrigé. Appliqué à titre illustratif à la structure des taux d'intérêt, le test montre que les erreurs de prévision peuvent s'avérer interchangeables empiriquement même lorsqu'on compare des prévisions obtenues à partir de modèles estimés.