Sulle sue coste frastagliate si sono succeduti nei secoli una molteplicità di popoli, che hanno qui lasciato tracce permanenti del loro passaggio: a partire dal nome dell’isola che deriva da “Pontus”, in greco “mare”. Antecedente al passaggio ellenico è tuttavia quello dei Fenici, che approdavano spesso sull’isola di Ponza, utilizzandola come scalo. 

Nel 312 a.C. giunsero i Romani e Ponza diventò un luogo di confino, ma anche di villeggiatura. Ancora oggi sono visibili rovine di ville romane, la più famosa delle quali è posta sulla Collina della Madonna e risale al I secolo d.C., ma anche un acquedotto, di vasche (tra cui le Grotte di Pilato) e di una cisterna per la raccolta dell'acqua piovana, il cosiddetto Bagno. 

Divenuta colonia romana, l’isola fu anche luogo di culto, quando nel 538 d.c. venne eretta la chiesa di Santa Maria, in seguito divenuta Abbazia. Nei secoli successivi le numerose incursioni saracene provocarono la fuga degli abitanti e la chiusura della dell’Abbazia, riaperta solo nell’XI secolo ad opera dei monaci Cistercensi.

Nel XVII secolo dopo esser stata disabitata per circa 2 secoli a causa delle incursione saraceniche,  l’isola fu colonizzata da 52 famiglie ischitane per un totale di  130 persone, da cui discendono gli attuali abitanti, grazie a queste famiglie  furono realizzati il Porto di Ponza, il cimitero, la fortezza, il palazzo degli Uffici, la Chiesa, il Forte Papa alle Forna.