Démembrement de l'ensemble castral, des Comtes de Valois, le "Vieux Château" constituait l'Hôtel du Donjon, logis seigneurial de la branche cadette des Valois.

Dans son aspect actuel, le château se compose de deux bâtiments accolés en équerre, le logis seigneurial et la chapelle Saint-Aubin. 

Le logis seigneurial, daté pour l'essentiel du XIIIème siècle, se compose de trois niveaux, sous-sol, salle basse, salle haute. 

Si la salle basse formait l'étage commun des services du seigneur, la salle haute éclairée par cinq grandes baies, et recouverte d'une charpente en forme de carène était l'étage noble, la salle d'apparat du seigneur. 

En 1560, le "Vieux Château" devint jusqu'à la Révolution le siège des services administratifs du Baillage et du Duché de Valois.

Fondation de la branche cadette des Valois, la chapelle Saint-Aubin, forme une salle comportant trois travées voutées d'ogives. 

Elle peut être datée de la fin du XIIème siècle, c'est une construction antérieure au logis seigneurial. Elle comprend une chapelle haute dédiée à la Vierge. 

Au début du XIIème siècle, elle est érigée en collégiale.