Ông đã cho xây một nhà bia trước sân chùa, mà ngày nay vẫn còn. Công trình xây bằng gạch và vữa vôi, hình dáng như một ngôi miếu cổ. Trần nhà bia hình vòm cuốn, mặt sau xây bít kín, ba mặt còn lại mở ba cửa vòm cuốn.

Trong nhà bia là một bia đá ghi bài thơ và bài tự do chính chúa Nguyễn Phúc Chu đề tặng Trần Đình Ân trên một mảnh lụa khi ông cáo quan về làng.

Theo thời gian, khu đền tháp Chăm dần dần nhường chỗ cho ngôi chùa mang kiến trúc Việt.

Không gian bên trong chính điện chùa Bình Trung hiện tại.

Những gì còn lại của khu đền Chăm Pa thuở xưa là các phế tích nằm rải rác trong khuôn viên chùa, đáng kể là một nền móng bằng đá.

Khu vực nền tháp này có diện tích khoảng 120m2.

Bậc cấp dẫn lên nền được chạm khắc hoa văn tinh tế, mang đậm nét văn hóa Chăm.

Trên nền còn hai trụ đá có tiết diện vuông. Phía đầu trụ và bên thân có những lỗ sâu hình chữ nhật và hình vuông, dấu hiệu của những điểm khớp mộng.

Ba mặt trụ đá khắc chữ Chăm kiểu cổ, nhiều phần còn khá rõ nét.

Cách nền tháp không xa là một cấu trúc đá khá lớn gồm nhiều phiến đá ghép vào nhau.

Các phiến đá này được đẽo gọt khá cầu kỳ.

Đây có thể là phần sót lại của ngôi đền bằng đá bề thế của người Chăm cổ.

Các nhà nghiên cứu đánh giá, chùa Bình Trung có tính chất là di sản văn hóa của người Chăm được người Việt kế thừa và phát triển, đồng thời là một di sản gắn với danh nhân của địa phương.

Vào năm 2009, chùa đã được công nhận là di tích lịch sử văn hóa và kiến trúc nghệ thuật cấp quốc gia của Việt Nam.