築城時期はまちまちで定かではないが、宗長手記に朝比奈泰煕が 築城に携っていた事を記しているので、これ以前からあった可能性もある。 1568年、武田信玄によって駿府を追われた今川氏真がここへ逃れてきたが、 徳川軍の攻勢に開城した。その後、徳川が関東移封し、山内一豊が城主の時、 近世城郭へ修築された。