Cuando en 1178 Ponferrada pasa a depender de la Orden del Temple por donación de los reyes leoneses, los templarios se encuentran una pequeña fortaleza que fue en su origen castro y posteriormente ciudadela romana. Ellos la amplían y mejoran como defensa del Camino de Santiago, estando acabada en 1282. El Castillo de los Templarios fué declarado BIC: Declarado Monumento Nacional Histórico Artístico en 1924.
El Castillo que hoy conocemos es el resultado de una larga serie de ampliaciones. Las reformas y añadidos van desde la primera cerca de la planta cuadrada de principios del siglo XII, hasta las últimas zonas construidas a finales del siglo XV y principios del XVI. Posteriores incorporaciones, como las caballerizas en 1848, y las numerosas reformas llevadas a cabo desde principios del siglo XX, han contribuido a la complejidad del conjunto, tal y como lo conocemos hoy en día. Los escudos y blasones de quienes lo ocuparon y contribuyeron en su construcción son prueba de sus diferentes etapas.
