Trên một đồi đất nhỏ ở Kéo Sáng trông ra khu phố cũ – nay là tiểu khu 8, thị trấn Chợ Rã, huyện Ba Bể. Trước đây là một địa điểm sinh hoạt tín ngưỡng, tôn giáo của nhân dân địa phương và tồn tại địa danh là Pù Chùa có nghĩa là đồi chùa, được hiểu là trên đồi này ngày trước đã từng có chùa thờ phật, nhân dân địa phương vẫn gọi ngôi chùa này là Chùa Phố Cũ.
Theo nội dung văn bia hiện còn cho biết ngôi chùa được xây dựng năm 1903 (năm Quý Mão – Thành Thái thập ngũ niên).
Truyền thuyết kể lại rằng, ngày trước trên đỉnh đèo Kéo Ngay thuộc xã Thượng Giáo có một ngôi miếu nhỏ. Vào đêm mưa to, gió lớn, một gắp gianh lợp mái của ngôi miếu này bay đến địa điểm Pù Chùa. Nhân dân cho đây là đất linh thiêng, nơi thần linh đã lựa chọn nên đã chuyển ngôi miếu từ Kéo Ngay về Pù Chùa. Ban đầu cửa chính của miếu mở ra hướng trông về Kéo Ngay với hàm ý trông về nơi cũ.
Dưới thời Pháp đô hộ nước ta, khu vực tiểu 8, thị trấn Chợ Rã hiện tại là trung tâm châu lị của châu Chợ Rã, nên ngày nay khu vực này còn có tên gọi là phố cũ. Ngày đó, thanh niên khu vực này khi ra chợ thường “ trêu hoa, nghẹo nguyệt” khiến phụ nữ không dám ra chợ. Để ổn định tình hình, người Pháp cho xoay lại hướng của ngôi miếu trông về khu phố cũ, với hàm ý thần linh sẽ giám sát hành động của nhân gian, ai có hành vi tục tĩu sẽ bị thần linh trách phạt. Từ đấy nhân dân Chợ Rã được yên ổn làm ăn.
Chùa Phố Cũ được công nhận là di tích lịch sử văn hóa cấp tỉnh theo quyết định số 455/QĐ-UBND ngày 10/3/2009. Đến cuối năm 2011, chùa đã được xây dựng lại theo phương thức xã hội hoá. Hiện tại, trong khu di tích chỉ còn lưu giữ được 2 hiện vật: 1 tấm bia đá ghi tên những người đã có công đức tiền, của xây dựng chùa vào năm 1903 và 1 hòn đá kê chân cột chạm hoa sen.
Bia đá trong khu di tích được làm bằng đá vôi, là thứ đá sẵn có ở địa phương, mặt trước khắc 26 dòng chữ Han theo lối chân phương. Chữ khắc nhỏ, nét khắc nông nên đến nay nhiều chữ đã mờ, mất nét. Trên trán bia có 4 chữ đại tự “vĩnh thùy bất hủ” nghĩa là muôn đời bất diệt – để ngợi ca công đức của những người đã đóng góp tiền của xây dựng ngôi chùa này.
