905年出生在曼海姆一个富有的建筑师之家，从小就希望成为他父亲那样的建筑师。

所以，在生命的前一半的时间里，他都是在搞建筑的，他曾经在卡尔斯鲁厄、慕尼黑和柏林自由大学攻读建筑学。

当他听到了希特勒的演讲之后，就被希特勒的个人魅力征服，加入了工人党，一年后，施佩尔由于主持装修了戈培尔的官邸和制定了纳粹党第一次代表大会会场设计而引起希特勒的注意，成为希特勒的私人建筑师。