Đây là di sản văn hóa phi vật thể đầu tiên của tỉnh Bà Rịa - Vũng Tàu được Bộ Văn hóa - Thể thao và Du lịch công nhận.
Bà Phi Yến (tên thật là Lê Thị Răm) là Thứ phi của chúa Nguyễn Ánh, hiện được thờ tại Di tích lịch sử văn hóa cấp tỉnh "An Sơn Miếu" được xây dựng năm 1958 thời Mỹ - Ngụy. Năm 1783 chúa Nguyễn Ánh bị quân Tây Sơn truy đuổi đã chạy ra Côn Đảo bị nạn, bà Thứ Phi Hoàng Phi Yến cùng chạy theo ông ra Đảo. Theo truyền thuyết bà bị chồng giam giữ trong một hang đá trên một hòn đảo hoang vắng nằm về phía Tây Nam của đảo chính do phạm vào tội ngăn cản Nguyễn Ánh cầu viện Pháp.
Con trai của bà Phi Yến và chúa Nguyễn Ánh là Hoàng Tử Hội An (Hoàng Tử Cải) khóc lóc đòi mẹ cũng đã bị Nguyễn Ánh khép vào tội a tòng với mẹ và bị ném xuống biển, xác trôi dạt vào làng Cỏ Ống, được dân làng Cỏ Ống vớt đem chôn và lập miếu thờ (ngày nay miếu và mộ Hoàng Tử Cải vẫn còn tại làng Cỏ Ống).
Khi bị giam trong hang đá, bà Phi Yến đã được con Vượn Bạch nuôi sống bằng những trái rừng và sau đó Vượn Bạch cùng Bắc Hổ (con vật này bạn của Hoàng Tử Cải) cứu sống ra khỏi hang và đưa về làng Cỏ Ống nơi có người dân lập mộ Hoàng Tử Cải.
Năm 1785, tại làng An Hải có tổ chức cúng tế trong làng theo lệ thường hàng năm vào rằm tháng mười âm lịch. Bà Phi Yến được dân làng trọng thị rước về cùng tham dự cho thêm phần long trọng, tại đây Bà đã bị tên đồ tể người làng An Hải là Biện Thi xâm phạm đến danh tiết, Bà đã tự tử để giữ vẹn danh tiết. Bà mất vào ngày 18/10 âm lịch (1785). Để tỏ lòng thương tiếc dân làng đã xây một ngôi đền để thờ Bà. Sang thế kỷ XIX, năm 1861 thực dân Pháp chiếm Côn Đảo thiết lập nhà tù và cho di dời toàn bộ dân về đất liền, do đó ngôi miếu không được chăm sóc đã bị hư hỏng, sụp đổ.
Đến năm 1958, Côn Đảo trở thành tỉnh Côn Sơn dưới chế độ Mỹ - Ngụy. Trưởng ty ngân khố tỉnh Côn Sơn là ông Nguyễn Kim Sáu đã xem lại sử lược Côn Đảo và thấy một người phụ nữ Việt Nam "Trung trinh tiết liệt" đã bỏ mình tại đây bèn đề nghị trích một khoản tiền trong quỹ phúc lợi của tỉnh cộng với lao động khổ sai của tù nhân để xây dựng trên nền ngôi đền thờ ngày xưa một ngôi miếu nhỏ thờ Bà Phi Yến đặt tên là "An Sơn Miếu".
Từ đó đến nay, qua nhiều lần trùng tu và tôn tạo ngôi miếu được khang trang như ngày nay. Để tưởng nhớ bà, vào ngày 17 - 18 tháng 10 âm lịch hàng năm, nhân dân làng An Hải xưa và người dân Côn Đảo ngày nay lại long trọng tổ chức Lễ giỗ Bà, thông qua các hoạt động cúng giỗ theo nghi thức dân gian truyền thống như tế lễ, dâng hương, lễ rước bài vị, các loại hình sinh hoạt văn hóa dân gian để nhân dân tưởng nhớ công đức của Bà. Người dân Côn Đảo xem bà Phi Yến như một vị thần phò trợ cho cuộc sống của họ. Dù trải qua rất nhiều thăng trầm của lịch sử, ở bất kỳ giai đoạn nào, người dân trên đảo vẫn giữ tục thờ cúng Bà.
Lễ giỗ Bà Thứ phi Hoàng Phi Yến là một Lễ hội truyền thống thuộc di tích lịch sử - văn hóa cấp tỉnh An Sơn Miếu (được UBND tỉnh xếp hạng di tích cấp tỉnh tại Quyết định số: 1442/QĐ.UB ngày 18/04/2007).
Những năm gần đây, ngày giỗ Bà Phi Yến đã trở thành một lễ hội văn hóa lớn trong năm, được Đảng bộ, chính quyền, quân và dân Côn Đảo tổ chức trang trọng và từng bước nâng Lễ giỗ Bà hàng năm thành lễ hội truyền thống của địa phương, phù hợp tập quán và đáp ứng nhu cầu tâm linh của nhân dân trên Đảo.
