藤原共資の子・共保が井伊に土着して、井伊氏を名乗り、城を築いたとされる。 南北朝期には、南朝方に属した井伊道政は、宗良親王を擁して遠江の南朝方の 中心となった。その後、井伊氏は今川氏に服属したが、井伊直親は朝比奈秦能に 殺され、その子・直政が徳川家康を頼った。ご存知の様に直政は後に四天王の 一人となる。
