1600-tallet – I Christian IV's tid ble det bygget et blokkhus på Kaholmene, trolig på Søndre Kaholmen, fullført under Hannibalfeiden 1644-45. Det er ikke kjent hvor lenge denne befestning var der, antall kanoner etc. Festningsanleggene i Drøbaksundet var ikke i aksjon under krigene mellom Danmark-Norge og Sverige på 16-1700-tallet.

1814 – De første befestninger, av tømmer og jord, ble bygget sommeren 1814, etter kong Christian Fredriks befaling. 13 kanoner ble plassert på Sør-Kaholmen, Nesset (Hurum), og Husvik (Drøbak).

1830-tallet – På 1830-tallet ble det diskutert forslag til bygging av nytt festningsanlegg.

1846 – Byggingen av det som skal bli Oscarsborg Festning, begynner etter at Staten kjøpte Kaholmene i 1845. Konstruksjonen var etter franskmannens Montalemberts prinsipper. Det ble bygget et stort sentralt hovedfort, og 4 mindre verker; Havnefortet, Vestre Strandbatteri, Søndre batteri og Vestre Strandbatteri. De 2 siste er forbundet med hovedfortet gjennom underjordiske ganger.

1848 – Første byggetrinn var ferdig 20. november 1848.

1852 – I desember 1852 ble resten av kanonene satt på plass i Hovedfortet

1855 – Hovedfortet ferdig. Format som en lukket hestesko. Mot nord, har hovedinngangen sin vindebro over tørrgravene, inn i Gorgen. Kjernen innholder forlegning, kjøkken og spiserom. Omkransende kjernen finner vi den dype Diamantgraven, som skulle fange opp kruttfylte kuler. Den ytre del, Envelopebattereiet, hadde 33 kanoner.

1855 – Festningen får navnet Oscarsborg ved kong Oscar I's besøk på Kaholmen den 23. august 1855.

1856 – Da anlegget stod helt ferdig i 1856 ble Oscarsborg ansett som Nord-Europas mest moderne festning. Dette ry ble imidlertid kortvarig. Allerede i 1864 var Oscarsborg foreldet. Utviklingen på artilleriets område hadde gått raskt. Det opprinnelige anlegg på Kaholmene var beregnet til forsvar mot angrep fra sjøsiden. Oscarsborg ville derfor lett kunne omgås og bli tatt fra landsiden.

1872 – En omfattende modernisering, både bygningsmessig og bestykningsmessig, nye store kanoner, Moses, Aron og Johsva – ny teknologi som kunne beherske dampdrevne, sterkt pansrede og raske krigsskip.

1875 – Jetteen, en stor undervannsmur av stein bygges. Den strekker seg fra Søndre Kaholmen til Småskjær og inn til Hurumlandet. Den stengte vestre led og tvang således all trafikk inn i Olsofjordens smaleste sund.

1893 – Igjen en sterk festning. Oscarsborg kan vanskelig forseres, andre anlegg på land, Husvik, Koppås, Veisvingbatteriet, samt miner gir styrke.

1901 – Et nytt torpedobatteri ble ferdig i 1901.

1905 – Unionsoppløsningen med Sverige. Oscarsborg vanskeliggjorde et eventuelt angrep på hovedstaden, og ga dermed styrket ryggdekning under forhandlingene med Sverige. Norge atter fritt.

1940 – I 1940 besto Oscarsborg sin første virkelige prøve. Krysseren Blücher senkes i grålysningen den 9.april 1940. Forsinkelsen dette medførte gjorde det mulig for den norske statsmakt å evakuere Oslo. Konge, storting og regjering fikk dermed anledning til å ta opp motstandskampen. Etter den 2. verdenskrig er Oscarsborgs betydning som militær festning blitt mindre.

1984 – Oscarsborg Festnings Venner stiftes. Vennene (OFV) står bak flomlyset, omfattende dugnader på kanoner og anlegg og har bidratt til opprettelsen av Festningsmuseet.

2004 – Kommandanten tilbake, 8.mai, splittflagget vaier igjen. Oscarsborg har fått tilbake sin kommandant, nå oblt. Øivind Sjuls, etter iherdig påvirkning og innsats fra OFV, pensjonerte offiserer, sivile enkeltpersoner og Frogn Kommune.