Trước đây Nhà tù Hà Tiên được gọi là Khám Hà Tiên do thực dân Pháp xây dựng vào những năm 1897. Nhà tù Hà Tiên nằm trên một khu đất bằng phẳng bao quanh là bức tường bằng đá kiên cố. Bên trong, nhà tù có ba dãy phòng giam kiên cố có song sắt, không cửa sổ, chỉ có khe nhỏ lấy ánh sáng, bốn góc có bốn tháp canh.
Nhà tù Hà Tiên là dấu vết lịch sử của thời kỳ thực dân Pháp xâm lược, đô hộ nước ta và có ý nghĩa lịch sử quan trọng. Đây là nơi tố cáo tội ác thực dân Pháp và cũng là bằng chứng về tinh thần yêu nước, tinh thần cách mạng quật cường của nhân dân Việt Nam.