Sơn Hòa Tự do Nguyễn Thị Gái hay thường gọi bà Mười, con gái của một cướp biển, tự tay gánh đá xây chùa. Xây chùa trong thời kỳ Ngô Đình Diệm bài Phật giáo, bà gặp rất nhiều khó khăn. “Sơn” là núi, “Hòa” là yên hòa, hòa bình, còn chữ “Tự” vừa có nghĩa là chùa vừa mang ý nghĩa tự bà Mười dựng nên. Ngôi chùa được xây nên với ý nguyện của bà Mười là mong muốn người dân trên đảo có chỗ thờ cúng hương khói và có cuộc sống yên bình, hòa hợp.
Chùa ở lưng chừng núi đảo, đủ cho ta bao quát cái mênh mông của biển trời và nhấp nhô đảo lớn nhỏ xa gần. Sơn Hòa Tự nhỏ nhắn, vắng vẻ, đìu hiu. Tuy nhiên nơi đây vẫn có các vật dụng thiết yếu trên bàn lễ như bình hoa, bát nhang, chung trà,... chứng tỏ sự chăm sóc của bàn tay con người ẩn sau vẻ hiu quạnh. Vào ngày mồng một, ngày rằm, đặc biệt là Tết và các ngày lễ Phật, Sơn Hòa Tự thay thế sự vắng vẻ bằng cảnh tượng đông vui hội tụ của Phật tử và người dân trên đảo đến làm lễ.