Los jardines están situados en la Ciudad Vieja. En este lugar se encontraba el antiguo baluarte conocido como la Fortaleza Vieja, protegido con una gruesa muralla y obra de gran solidez en el que llegó a guardarse la pólvora necesaria para la defensa de la ciudad. Bajo la sombra de olmos centenarios se encuentra la tumba de un héroe romántico, el general John Moore, que murió en 1809 defendiendo la ciudad contra los franceses.