琅琊郡最大的望族是王氏家族，世居临沂县，但五胡乱华时期，王氏家族也和别的北方大族一样渡江迁往江南，在西晋灭亡后，王氏家族积极活动，参与建立了东晋，使王氏家族在江南盛极一时，素有‘王谢与马共天下’之说。

虽然王氏家族在江南得到了大发展，但对于祖地琅琊郡，王氏家族并没有完全放弃，依然留有一支继续坚守琅琊郡，不过经过百年历史变迁，王氏家族已经衰弱，失去了参与角逐天下望族的资格。