Thành Ninh Viễn được đế chế Chiêm Thành xây dựng để trấn giữ phên dậu phía bắc với Đại Việt. Thành xây bằng đất và đá, cao 5 m, rộng 5 m, có chỗ 10 m, chu vi khoảng 5.000 m. Thành có bốn cửa theo bốn hướng đông - tây - nam - bắc, mỗi cửa có điếm canh ở trên. Người dân còn gọi thành Ninh Viễn là thành Nhà Ngo là vì ở mỗi cửa thành và góc thành xưa có một chòi canh, tiếng địa phương gọi là "chòi doi", từ cổ là "ngó", lâu dần đọc chệch thành "nhà ngo". Hiện thành chỉ còn vài di tích còn sót lại.