Fra jægerstenalderen kendes spredte fund; fra tidlig bondestenalder var øen beboet med landbrugsdrift for øje.

Ca. 1160 opførte Valdemar 1. den Store en borg, delvist opført af det på den tid nye byggemateriale, teglsten. Borgen indgik i et system af rigsborge langs Storebælt. En del af kampestensfundamenterne til den kraftige ringmur er bevaret og restaureret 1889-96 og 2006-08.

Sprogø var fra midten af 1500-t. og mere end 120 år frem beboet af kvægdrivende bønder. I 1569 fik øen status som nødherberg og fungerede 1793-1893 som mellemstation for isbådstransporter.

En optisk telegraf var placeret her 1801-54, og i 1868 opførtes et af Danmarks kønneste fyrtårne. Det mistede sin funktion i 1980 og forblev slukket, indtil Storebæltskonsortiet (A/S Storebæltsforbindelsen, hørende under Sund & Bælt Holding A/S) ønskede det som vartegn og fik det tændt i 1997.

Sprogø var utilgængelig for offentligheden, da De Kellerske Anstalter 1922-61 drev et hjem for kvinder, der var kommet på kant med loven, tidens moral eller kendt umyndige pga. evnes vaghed.