築城時期は定かではないが、1473年頃、今川義忠が朝比奈泰煕に築かせたとされている。 1501年頃になると、信濃の小笠原氏が遠江に侵攻しだしたために、竜頭山に新城を 築き、移って行った。古城は出城的な役割を果たしたと見られ、掛川城攻略の際は、 徳川家康は本陣をここに置いた。1656年には、掛川城主・北条氏重は、幕府の許可を得て 古城に3代将軍・家光の霊廟を建てた。