Fort Boyard jest umiejscowiony między wyspami Île-d'Aix i Île d'Oléron w cieśninie Pertuis d'Antioche na zachodnim wybrzeżu Francji.


Pomysł budowy fortu był już rozważany w roku 1666, lecz Sebastian Vauban odradził go Ludwikowi XIV mówiąc: Panie, byłoby łatwiej złapać księżyc zębami, niż podjąć taki wysiłek w takim miejscu.


Budowa została rozpoczęta pod rządami Napoleona w roku 1801, a celem twierdzy, wraz z pobliskim fortem Enet, miała być ochrona wybrzeża (w szczególności arsenału Rochefort) przed możliwymi atakami obcych (zwłaszcza brytyjskich) flot. W tamtych czasach działa miały ograniczony zasięg, więc dystans między dwiema wyspami Aix i Oleron był zbyt duży, by uniemożliwić przepływ wrogiej floty.


Napotykając trudności związane z przygotowaniem fundamentów, polegające na zapadaniu się w piaszczyste dno kamiennych bloków projekt został wstrzymany w 1809 roku. Budowa została ponownie rozpoczęta w 1837 za panowania Ludwika Filipa, kiedy doszło do nowych spięć między Francją a Wielką Brytanią. Ostatecznie fort został ukończony w roku 1857.


Fort Boyard miał załogę 250 osób. Ma 61 metrów długości, 31 metrów szerokości, a ściany mają wysokość 20 metrów. Z czasem zasięg dział został zwiększony, a fort stał się bezużyteczny. Dochodziło bowiem do sytuacji, kiedy ogień krzyżowy dział z Fortu Boyard i z położonego na wyspie Oleron Boyardville powodował wzajemny ostrzał własnych jednostek. W późniejszym okresie fort był wykorzystywany jako wiezienie jeńców pruskich i austriackich.


Podczas Komuny Paryskiej fort służył jako przejściowe więzienie dla więźniów politycznych zanim zostaną oni wywiezieni na Nową Kaledonię. Parę lat później został całkiem porzucony.


Od roku 1990 Fort Boyard jest używany jako miejsce rozgrywania popularnego teleturnieju o tej samej nazwie. Dobudowano wtedy do fortu platformę, która ułatwiła dostęp ekipom telewizyjnym.