分院包围着一个内院，不过在每个分院里都居住着大量的族人，所以每一个分院内，又建有大量的小院落，这些小院落基本上都是按照家庭关系分布。

潘家庄的建筑也有特色，最外围一圈高墙，至少有三丈多高，围墙非常厚，倒有些像是城墙了，每隔一段，还有一个望台，可供应瞭望之用。

进入分院，里面有两条大道，一条是纵向，直接通往内院，一条是横向，连接着两边的分院，在这一纵一横两条大道周围，便是交错纵横