Nghề làm bánh gai Ninh Giang có từ bao giờ thì đến nay cũng chưa tìm thấy tài liệu nào ghi chép. Các cụ cao tuổi ở làng kể rằng, ngày xưa có hai vợ chồng nông dân nghèo, vào một năm đói kém, mất mùa, thiếu ăn họ phải đi tìm các loại lá cây mọc tự nhiên để ăn.
Họ đã tìm thấy một loại lá cây mang về nấu cơm ăn thấy dẻo, ngon. Họ bèn hái, thái phơi khô để dành, từ thổi cơm dần dần họ nghĩ ra cách lấy lá đó trộn với bột gạo nếp làm bánh ăn rất ngon và thơm, vừa để được lâu.
Sau này các thế hệ con cháu cải tiến từ gói bánh bằng lá chuối tươi, đến gói bằng lá chuối khô, rồi cho thêm một số loại thực vật khác làm nhân bánh, dần dần trở thành bánh gai như hiện nay. Cho nên ở Ninh Giang người ta thường gọi bánh gai là bánh lá gai.