太古の昔、日本武尊が東国遠征の折、当地に立ち寄りました。このとき当所に御旗を建てさせたことにより当山は旗の下（ハタノシタ）といい、それが少しずつハケノシタと呼ばれるようになりました。

　

　当寺草創以前よりこの地は佛様の意にかなう霊地でありました。月白く風清き夕は必ず紫雲下がり、雅の音声満ち、天より曼荼羅花をふらし、瑠璃摩尼等の瓔珞が輝き、笛や琵琶、太鼓、法螺の声澄み渡っていました。諸々の菩薩がそれを歌詠讃歎したので、人々は檀の下ともいいました。

​

　あるとき音楽響き渡り、妙なる音が清らかに聞こえてきました。夜が開けてみると、観音様がその尊容巍然と岩の上に在していました。里人は皆たいそう感激し、永くこの地に止まって衆生済度たまわらんと強く願いました。信心の郷民は土木を運び、富ある居士は財宝を投げうって力を合わせたので、観音堂はたちまちに完成しました。

​

　開廟の日にあたって、一人の僧がおいでになりました。ご本尊様を深く礼拝して申しました。

　「この尊は正しく行基の彫刻なり。この地有縁の像なれば侘邦より来たりたまえり。謹んで供養したまえ。」
　といい終わって、たちまちその姿を消してしまいました。そのお方は、行基菩薩その人でした。

​

　時を経て、文歴元年（1234年）、秩父札所が創設されました。

　文明18年（1486年）に、秩父市宮地の曹洞宗広見寺２世、東雄朔法大和尚を御開山として迎え、曹洞宗慈眼寺が開かれました。