第2扇の宝鏡寺の北（右）に描かれたこの建物は、大慈院という浄土宗の尼寺で、南御所、宮御屋敷とも呼ばれた。朝廷・将軍家とも関わりが深く、天皇や将軍の仏事の記録が残る。上杉本でも同じ位置に描かれている。明治維新に際し、宝鏡寺に合併。