Chùa Vô Vi, tương truyền có từ thế kỷ thứ 10, khi một thủ lĩnh trong 12 sứ quân lên đây đã dựng lên ngôi chùa này để ẩn tu và mai danh ẩn tích tại đây.

Thời Hậu Lê, niên hiệu Hồng Thuận thứ 6 (1514), thì chùa được dựng trên núi ở vị trí ngày nay và được đặt tên là Vô Vi tự. Chùa rộng chỉ khoảng 10m2, trên vách núi treo quả chuông đúc năm 1814.

Nhà thờ tổ.

Một lầu có tên là Nghinh Phong, đón gió ở sau chùa cho những tao nhân mặc khác đến đây đàm đạo thơ ca. Đứng ở lầu Nghinh Phong bao quát một không gian rộng lớn phía dưới, là làng mạc, ruộng đồng, ao hồ... trù phú.

Thế kỷ 16 - 17, xã hội biến động, chiến tranh liên miên giữa các tập đoàn phong kiến Trịnh - Mạc, Trịnh - Nguyễn... Không chỉ những bậc tu hành, mà nhiều nhân cách lớn cũng từng tản bộ lên đây như để rũ bỏ bụi trần. Tấm bia đá lớn khắc bài thơ “Thăm lại chùa Vô Vi” của vị tướng Trần Văn Tăng, viết bằng chữ Nôm:

“Sơn động chi bằng Vô Vi tự

Thùy kỳ tạo chi, thiền sư đạo sĩ

Bên này Thiên Trúc, nọ Bồng Lai

Đem cảnh thanh u đặt giữa trời

Trang điểm đã nhờ ơn đạo sĩ

Độ trì còn đội Đức Như Lai

Mượn nền đá phẳng đề dăm vận

Sẵn quả chuông kêu đấm mấy hồi

Cảnh vi mến người, người lại lại

Đã vô vi khéo cũng lôi thôi”.

Ngôi chùa này không có sư, mà từ năm 1990, có bà Lê Thị Tung, một phật tử già nhà ở chân núi ra nhận trông nom, quét tước.

Quả chuông nhỏ được đúc từ năm 1814

Phía bên hông của nhà thờ tổ là một lối đi nhỏ cheo leo, men theo núi. Không gian phía sau mở ra một căn lầu nhỏ được thiết kế mái cong, gạch ngói, nhiều cột trụ, giống như một nơi thiền tịnh của các vị sư. Ngay bên cạnh là núi Vô Vi với lầu Nghênh Phong ở trên đỉnh. Nơi đây còn treo một quả chuông nhỏ được đúc từ năm 1814.

Về ngôi chùa nhỏ trên đỉnh Vô Vi, nhiều nhà nghiên cứu dều chung nhận xét, Chùa nhỏ nhưng nghệ thuật rất cao, làm say đắm bất kỳ ai khi đặt chân đến ngôi chùa trên non sơn thủy tú này.