築城は、1362〜68年頃で大沢基久によると伝わる。大沢氏は今川に属したが、 氏真の時には徳川家康に攻められた。その時、大沢基胤はよく耐え、堀江城の 要害ぶりが伝わっている。大沢氏は旗本として存続。石高の虚偽申請を行い、 明治政府に堀江藩として一旦は認められた。後に発覚し、華族を除籍されている。