Trước đây, khu vực Bãi Dâu có nhiều mây rừng, cây cối mọc um tùm, hoang vắng nên được gọi là Vũng Mây. Về sau được phát quang cây cối, trồng dâu nuôi tằm, tạo công ăn việc làm cho người dân, cái tên Bãi Dâu ra đời từ đó.
Do được che chắn bởi núi Lớn, Bãi Dâu sóng êm biển lặng, nằm tách biệt. Ở đây hầu như không có các dịch vụ biển đi kèm, vì thế du khách tìm đến thường là để ngắm cảnh, sau đó viếng thăm Đền Thánh và tượng đài Đức Mẹ Maria tọa lạc trên sườn Núi Lớn, ngay phía đối diện Bãi Dâu.