潘家主宅占地近六十亩，光是内宅占地就有二十余亩，折合成一万三千多平方米的面积，光是纵向的深度就有上百米，如此大的纵深，加上内宅的建筑有意修得规模宏大，也使得整个内宅颇具气势。比起外面纵横交错的小院来，这里可谓是深宅大院，气势非凡。

潘家主宅不只是给四位太爷居住，事实上潘家十一位老爷极其直系家眷都住在这里，这其中还包括了一些对潘家有特殊贡献的人士，可以说这潘家内宅就是潘家的核心。