創建は奈良時代後期。寺名は、境内にある硅灰石（けいかいせき・天然記念物）に由来します。紫式部が『源氏物語』を書き始めた場所としても知られ、毎年春と秋に関連した展示会も開催されています。また、花の寺としても有名。桜や紅葉はもちろん、菖蒲、百日紅、山茶花など四季折々の花が境内を彩ります。