青阳地方志上，奶奶庙的存在记录最早见诸于唐朝，可见至少在唐朝的时候，奶奶庙就已经拥有很高的知名度，不然不会被记载到史志之中。

历史的车轮转到今天，西山奶奶庙已经有了三重意思：第一重，就是单纯的指西山山顶上那座奶奶庙；第二重，随着千百年来奶奶庙香火的日益旺盛，信徒们在从西山山脚到山顶的路上，又修建了大大小小数十座庙作为陪衬，有简单的在山壁里凿个洞屋供个香炉的，也有平地盖起面南背北几大间庙宇