Cổ Thạch Tự ẩn mình trong hang động tự nhiên với cảnh non nước hữu tình. Xưa kia chùa chỉ là một thảo am nhỏ do Thiền sư Bảo Tạng thuộc đời thứ 40 thiền phái Lâm Tế khai sơn năm 1835. Qua nhiều đời, chùa được sửa sang, trùng tu lại...