Mucho antes de que llegaran los amarillos y rojos brillantes, esta colina albergaba una pequeña capilla construida tras las apariciones de Nuestra Señora de las que se ha informado. En 1503, el rey Manuel I ordenó construir aquí un monasterio real, lo que dio a Pena un comienzo más firmemente religioso que real.