Situada en el corazón de la ciudadela medieval de Saint-Jean-Pied-de-Port, la prisión se encuentra en la calle de la Ciudadela, nº 41, a pocos pasos de las murallas y de la iglesia de Nuestra Señora. Elevada a 80 m sobre el valle de la Nive de Béhérobie, domina el viñedo de Irouléguy y ofrece, desde sus inmediaciones, un panorama espectacular de las montañas circundantes.

La construcción del edificio data probablemente de finales del siglo XIII o principios del XIV, aunque se desconoce su función original: almacén, bolsa de mercaderes o capilla.

• Durante el Gran Cisma de Occidente (1383–1417), Saint-Jean-Pied-de-Port fue en tres ocasiones residencia episcopal de Bayona; esta vinculación indirecta contribuyó a su leyenda como "Prisión de los Obispos".
• Las actas municipales registran su uso como cárcel municipal desde 1795, antes de convertirse en el siglo XIX en cuartel disciplinario de la guarnición de la ciudadela.
• En la Segunda Guerra Mundial, las autoridades alemanas internaron aquí a resistentes y reclutas huidos del Servicio de Trabajo Obligatorio (STO).
• No fue hasta mediados del siglo XX cuando se consolidó su nombre actual, fruto de la fusión de estas dos realidades históricas

El edificio presenta una planta rectangular de arenisca rojiza, cubierto por un tejado a dos aguas de tejas árabes y rematado por un hastial.

• En la planta baja, el cuerpo de guardia da acceso a varias celdas disciplinarias, pequeñas estancias austeras de muros macizos.
• Una estrecha escalera conduce a un amplio sótano abovedado de estilo gótico (14 m de largo por 9 m de ancho), sostenido por arcos de un construcción anterior; sus antiguas ventanas de arco de medio punto están hoy tapiadas.
• En la planta superior, salas de mayor tamaño acogían probablemente a los guardianes y archivos hasta que fueron reconvertidas en espacios museográficos.