室町〜戦国時代にかけ、今川氏によって築かれたものとされる。 詳細は不明だが、井伊肥後守が城主だったと言われている。 武田、徳川の争奪があったが、1571年に信玄が馬場美濃守信房に 命じて修築され、堀や土塁を備えた城の形態を整えたと思われる。 1582年には武田氏征伐の織田軍、徳川軍の侵攻により、小山城は 落城した。
