Arroccata su una scogliera a 130 metri sul livello del mare che domina Cartagine e il Golfo di Tunisi, Sidi Bou Saïd porta il nome di un santo: Sidi Bou Saïd. I Cartaginesi punici e poi i Romani erano già presenti in questa zona, che nell'antichità era soprannominata Cap Carthagena (promontorio di Cartagine). Dopo la conquista araba del VII secolo e la caduta di Cartagine, il promontorio mantenne la sua posizione strategica, con la costruzione di torri di avvistamento e di un faro per difendere la costa nord-orientale della Tunisia. Questo spiega il nome della collina su cui sorge Sidi Bou Saïd: Djebel El Manar ("Montagna del Faro"). Per quanto riguarda il nome del villaggio, si tratta semplicemente di Sidi Bou Saïd (1156-1231), che alla fine della sua vita si ritirò sulla cima del Djebel El Manar, la collina che domina Cap Carthage, per fare la guardia e insegnare il sufismo.
A partire dal XVII secolo, il fascino di questo villaggio attirò la borghesia tunisina e la famiglia del bey, che vi costruirono lussuose dimore arabo-musulmane.
Il 28 agosto 1915, un decreto impose un divieto bianco e blu a tutte le costruzioni incontrollate sul promontorio, facendo di Sidi Bou Saïd il primo sito classificato al mondo.
Fino al 1825, Sidi Bou Saïd era vietata ai non musulmani. Da allora, il villaggio bianco e blu attirò molti artisti, musicisti e scrittori, tra cui Chateaubriand, Gustave Flaubert, Paul Klee, August Macke, Alphonse de Lamartine, Georges Duhamel, André Gide, Colette e Simone de Beauvoir. Michel Foucault ha scritto L'Archéologie du savoir.