岩谷には大きく分けて、天狗岩、南谷、豆腐石、八人石、亀崎の５つの丁場があり、これらの丁場は、徳川二代、三代将軍時代の大坂城改築時に黒田藩（福岡）が採石したものです。 残石も１６１２個が数えられ島内最大の丁場であったことがうかがわれます。

小豆島北岸、土庄町小海の北浦港にある県指定史跡「大阪城石垣石切り飛びこし丁場跡及び小海残石群」と一体化してその西隣に整備された都市公園で、1999年に開園した。開園の際には大坂城築城に携わった大名細川氏の末裔である細川護煕を迎えた。 史跡「大阪城石垣石切り飛びこし丁場跡及び小海残石群」では、1640年代に大坂城修築の用途で近隣の丁場から切り出されて港まで運搬され、船に積まれる予定であった40個の残石が現存しており、それに隣接して大坂城残石資料館の施設群が整備された。

元和の2年間で、運び出された城石は5000個余り。4チームに分かれて作業していたことが刻印から判明しており、4人のチームリーダーが配下の600人をきちんと差配して極めて合理的に作業していたことが今に伝わります。 「あの○○は老人ながら夜更けまで熱心に仕事をしている。ボーナスを与える」 「あの△△は他所から買い物をしてはならないと言ってあるのに持ち込む。処罰する」 「船に隠れて女を連れ込んでいた。厳罰」…などなど。 勤務評定は大きく上・中・下、さらに細分化もしていたそうです。その説明に、会場内が笑いが起こっていました。 あの巨大な大阪城。それは歴史そのものであり、従事した人々は石垣を作った、というよりも歴史を創った、と言えるのではないでしょうか。