富岡城は関ヶ原の戦いの後、肥前唐津藩主の寺沢広高によって慶長７年（１６０２年）に築城されました。
天草は広さはありましたが耕地が少なく、やせた土地にも関わらず、高い年貢が徴収されていました。
その上、飢饉が起こり、キリシタンへの迫害も進められ、たまりかねた人々は蜂起します。寛永１４年（１６３７年）に起こった「天草・島原の乱」です。
富岡城は幕府側の拠点として、一揆勢の攻撃目標となりましたが、唐津藩の必死の守りで落城は免れました。
乱終結後は、築城の名手と謳われた山崎家治が天草領主となり、城の修理と縄張りの拡大が行われました。それは、幕府が外洋に面した国内最西端の富岡城を国際線上の守りの最前線基地として位置づけたものと思われます。
その後、天領時代を経て、寛文１０年（１６７０年）、富岡城は戸田忠昌によって破城されました。過重な負担を被っていたのを解消する方策で、後に懸命の策と言われた「戸田の破城」です。
破城後も三の丸には代官所が置かれ、明治初期まで天草行政の中心地としての役割を担っていました。
平成６年（１９９４年）城の発掘・復元が計画され、復元作業が行われました。平成１７年（２００５年）３月復元作業は完了し、現在は「富岡ビジターセンター」として歴史や文化の展示施設となっています。
また、近くには環境省選定の快水浴場１００選にも選ばれている「富岡海水浴場」もあります。