性格暴烈，直爽敢言，具有抗争性。按杨光先自述，他顺治十三年(1656年)来京，十五年见到钉着钉子的耶稣画像，始知天主教便是耶稣教，从此即有了弹劾之念。

经过一段时间的准备，杨光先撰写了数篇文章先后上表朝廷，矛头直指天主教及西洋历法，但是这些弹劾并没有得到朝廷的回应。杨光先毫不气馁，伺机而动，终于在康熙初年抓住了一次机会。

康熙二年(1663年)冬，汤若望下属、钦天监奉教士人李祖