幕府の管領細川氏の邸宅。正副二つの門、広場、主殿や常御殿などの殿舎群、広大な庭園と会所など、将軍邸とほぼ同じ構造である。この時の細川氏は、細川政元の暗殺後、1508年（永正5）に管領となり、1531年（享禄4）に敗死した細川高国と考えられる。