Localizado no meio de um banco de areia, no meio do ancoradouro do porto, sua planta tem forma quase circular. Começou a ser construído em 1650, mas só foi concluído em 1728. Em 1802 serviu de prisão aos contrabandistas ingleses, Thomas Lindley e sua esposa, que foram capturados como traficantes de pau-brasil; e, 1823 ocupado pelos combatentes de João das Botas; em 1835 funcionou como prisão política para o chefe farroupilha Bento Gonçalves; e em 1837 aderiu à Sabinada. Serviu de prisão coletiva em levantes como a Federação do Guanais (1833), a Insurreição do Malês (1835) e a Sabinada (1838). Em 1912 tomou parte no bombardeio à Cidade do Salvador, chegando a atingir o Palácio Rio Branco.