Arran de mar hi ha un petit accés dissimulat i directe que s’enfila fins al castell. La tradició diu que el va construir el papa Luna en una nit per poder sortir en secret cap a Roma. En tot cas, la via va servir per a fer entrar reforços a la ciutat en ocasions com el conflicte de les Germanies. La fortalesa, construïda pels templers entre els anys 1294 i 1307, s’alça 64 metres sobre la mar i reprodueix el model usat per l’orde a llocs com Terra Santa o Miravet.

Es troba en l’únic tram que queda de la muralla medieval. El va fer construir el papa Luna, tal com recorda l’escut del pontífex a la dovella central. Era l’únic accés directe des del mar i va funcionar fins al segle XVIII, quan es va terraplenar la zona. Avui les onades ja no arriben a aquests murs, des que el 1922 es va construir el port actual.

El 1812, la traïció del governador va permetre a les tropes napoleòniques ocupar la ciutat. Dos anys després, el general espanyol Elío en recuperà el control al preu d’arrasar-la completament. La ciutat antiga es va reconstruir tota de nou amb un model d’habitatge d’influència púnica, més proper a la casa urbana eivissenca que a les rurals de les poblacions del voltant, com Bernicarló o Vinaròs.

Peníscola va ser, amb Alacant, l’única ciutat lleial als Borbons del Regne de València durant la guerra de Successió, per la qual cosa Felip V va concedir-li el títol de fidelíssima ciutat. La façana de l’ermitatge de la Mare de Déu de l’Ermitana recorda aquest episodi amb l’escut d’armes del governador i el de Felip V.

Les noves exigències defensives de l’època proposades per l’artilleria van fer decidir Felip II a modificar la muralla encarada al continent. S’aprofita el moment per obrir el portal Fosc, l’entrada principal a la ciutat fins que al segle XVIII s’obre el de Santa Maria per facilitar l’entrada de les collites amb carro. Els baluards, com la bateria de l’Oblit, són avui el millor lloc per a veure l’estratègic caràcter peninsular de l’assentament.