Banh 3 được Pháp xây dựng năm 1928, còn có tên gọi là Lao 3, đến thời Mỹ - Ngụy đổi tên là trại Bác Ái, trại 3, trại Phú Thọ hay "Biệt Lập Chuồng Gà". Trại này có tổng diện tích 12.700 m2, cách trại Phú Bình và trại Phú Hải khoảng 1 km.
Thời thực dân Pháp, trại Phú Thọ có một khu bệnh xá và ba dãy trại giam (trong đó có hai dãy phòng giam tập thể và một dãy biệt lập). Sau Cách mạng tháng 8/1945, được chỉnh trang lại còn hai dãy, mỗi dãy có bốn phòng được đánh số thứ tự từ 1-8. Thời Mỹ - Ngụy xây thêm phòng 9 và phòng 10 ở phía sau bệnh xá. Phòng 10 được ngăn ra 15 phòng biệt giam nhỏ, gọi là “Biệt Lập Chuồng Gà”. Trên trần không có song sắt như Chuồng Cọp, chỉ đan bằng kẽm gai chằng chịt mà Mỹ - Ngụy dùng để bổ sung cho khu Chuồng Cọp. Ngoài ra, trại Phú Thọ còn có các công trình phụ: nhà kho, nhà ăn, nhà bếp, văn phòng giám thị, sân vườn. Khu bệnh xá được dựng lên để đối phó với các đoàn giám sát về nhân quyền của quốc tế và đánh lừa dư luận.
Thực dân Pháp sử dụng trại Phú Thọ để giam giữ những tù nhân mới bị đưa ra Côn Đảo nhằm cách ly họ trước khi chuyển qua các trại giam khác, để ngăn chặn tin tức từ đất liền đưa tới các tù nhân cũ. Sau đó, trại Phú Thọ trở thành nơi giam cầm tù nhân bị kết án về tội phá hoại và âm mưu phá rối, tù vượt ngục nhiều lần.
Từ năm 1939-1945, trại Phú Thọ giam giữ những người bị bắt trước và sau Cuộc khởi nghĩa Nam Kỳ (1940), trong đó có: Lê Duẩn, Lê Hồng Phong, Dương Bạch Mai,... Các chuyến chuyển tù nhân từ Sơn La - Hỏa Lò bị đày ra đảo hè năm 1944 cũng bị giam cầm ở trại Phú Thọ, trong đó có nhiều tù nhân là lãnh đạo cấp ủy và xứ ủy Bắc Kỳ.