Es el principio que garantiza que la medición de un constructo sea precisa y estable. Tiene que ver, por lo tanto, con la consistencia de los resultados de la evaluación. En caso de que la evaluación se replicase en una situación similar, en las mismas condiciones y a los mismos alumnos o candidatos, los resultados serían los mismos si la evaluación es fiable.
Es una de las condiciones que garantizan la validez. Si la evaluación no es consistente o precisa, no puede ser útil. Los resultados de las diferentes versiones de un examen oficial en las distintas convocatorias deberían mantenerse estables en la medida de lo posible. Así, Bachman y Palmer (1996) consideran que la fiabilidad es uno de los requisitos que contribuyen a la utilidad de los exámenes junto con la validez, la viabilidad, la autenticidad, la interactividad y el impacto.
Hay múltiples factores que pueden amenazar la fiabilidad. Los efectos no se pueden erradicar del todo, pero sí se pueden prevenir y paliar.
La fiabilidad intercalificadores e intracalificadores está relacionada con las personas que intervienen en la puntuación de los candidatos. Un calificador debería otorgar las mismas puntuaciones con independencia del momento en el que se realice la evaluación (fiabilidad intracalificadores). Es frecuente que estas personas se vean afectadas por fenómenos como el efecto fatiga o el efecto halo (que es la influencia de otro candidato previamente evaluado o de un rasgo de la actuación especialmente destacado, como la fluidez, que eclipse, por ejemplo, un alcance léxico limitado). La fiabilidad intercalificadores, por su parte, se manifiesta cuando varios evaluadores no varían en exceso en las puntuaciones que otorgan a los mismos candidatos; es decir, no se aprecian diferencias sustanciales en la aplicación de los criterios de calificación. Para atenuar esta amenaza, es preciso que se pongan en marcha procedimientos de estandarización para la calificación.
Algunos de los factores que afectan a la fiabilidad dependen de las pruebas en sí (extensión, tipo de reactivos, etc.) y otros, son atribuibles a la situación de administración, como, por ejemplo, las condiciones acústicas, lumínicas y térmicas de las salas de examen. Los sistemas de evaluación, en especial los exámenes de alto impacto o de alto perfil, como el DELE, SIELE o CELU, deben tomar medidas para lograr paliar sus efectos.