Chùa Lô Sơn được Tể tướng Nguyễn Văn Miên dựng vào đời vua Lê Dụ Tông. Chùa nằm trên khu đất bằng phẳng, lúc đầu chỉ là ba gian nhà nhỏ mái lợp tranh nên người dân gọi là Am tự. Chùa có không khí thanh tịnh, linh thiêng, tựa lưng vào núi Lô Sơn, hướng về phương bắc tạo nên địa thế khá đẹp.