宝永元年（1704）、松平信治が駿河国庵原郡小島に陣屋を構えたことが小島藩の始まりです。
小島藩は、明治元年（1868）に上総国（現在の千葉県）に転封になるまでの164年間、安倍・有度・庵原の三十カ村を支配する一万石の譜代大名として、この場所で藩政を展開しました。

小島藩は城を持つことができない一万石の小藩でしたが、その居所である陣屋は西側から南側にかけて石垣を多用した3段の曲輪を形成しており、大手口は高さ4mに達する石垣が見られるなど、城郭を思わせる造りとなっています。

このように、城郭を思わせる石垣が良好に残るなど江戸時代中期における大名陣屋の在り方と構造を知る上で貴重であることが評価され、平成18(2006)年7月28日に国指定史跡に指定されました。