Le fort a été construit sur ordre de Richelieu entre 1634 et 1640. Il faisait partie d'un ensemble défensif destiné à contrer la menace espagnole et qui comprenait aussi le fort du Moulin, le fort de l'Éminence et le fort de Port-Man. La tour sera détruite à moitié par les Anglais à l'issue du siège de Toulon en 1793...
