D'abord forteresse de Voutenay, elle se composait d'un donjon et d'une enceinte de murs garnis de tours. Le vieux château fut construit dans les dernières années du XIIéme siècle par le Conte d'Auxerre.

    Au XIVéme siècle un des seigneurs de Voutenay fut un des grands abbés de Vézélay :Hugues de Maison-Comte.

    En 1358, les Anglais envahissent la Bourgogne et attaquèrent plusieurs fois la forteresse de Voutenay. Après la bataille de Cravant, en1427, la forteresse de Voutenay fut prise par le sire de Chastellux et moyennant 800 écus d'or, rachetée en 1429 par les habitants d'Avallon et alentours.

    Un siècle plus tard en 1522, les années du Roi de Navarre commandées par le duc de Nevers s'emparèrent de la forteresse de Voutenay.

    A la révolution, le château sombra en ruines. C'est dans ce triste ètat que le docteur Rafinesque l'acheta après la première guerre. Il le reconstruisit d'après les anciens plans réparant ainsi les dégats conjugués du feu et sans doute des destruction ordonnées par la déclaration royale de 1626.