Ngục Kon Tum được thực dân Pháp xây dựng từ những năm 1915-1917, ban đầu chỉ để giam giữ tù thường phạm. Sau năm 1930, nhà Ngục mới được sử dụng để giam giữ tù chính trị bị bắt trong phong trào Xô - Viết Nghệ - Tĩnh 1930-1931 và những người yêu nước chống Pháp quê ở các tỉnh Miền Trung.
Trên 500 lượt tù chính trị đã bị giam cầm nơi đây và hơn một nửa trong số đó đã bỏ mạng trong lao tù hoặc vùi thây dọc đường 14 khi bọn địch cưỡng bức đi làm đường. Đưa người tù chính trị lên chốn rừng thiêng nước độc, cưỡng bức tù nhân đi lao động khổ sai làm đường 14, âm mưu thâm độc của bọn giặc là vừa cách ly được tù chính trị với phong trào cách mạng ở miền xuôi, đồng thời lợi dụng lam sơn chướng khí, lao động khổ sai, ăn uống kham khổ để giết dần giết mòn người tù.
Lao Ngoài là khu vực xây dựng Nhà trưng bày Di tịch lịch sử Ngục Kon Tum hiện tại. Sau 6 tháng khổ sai làm đường 14, vừa trở lại Nhà Ngục Kon Tum, bọn địch lại âm mưu tiếp tục bức tù nhân đi làm đường mãi trên Đăk Sút, Đăk Pao. Chấp nhận đi làm đường là chấp nhận con đường chết nên phải lựa chọn con đường sống, cho dù biết rằng con đường sống ấy rất có thể phải trả giá bằng chính mạng sống của mình, nhưng “sau khi ta chết đi, họa may anh em khác mới có con đường sống”. Tù nhân ở Lao Ngoài kiên quyết phản đối, thà chết tại chỗ không đi làm đường nữa và đã bị bọn cai ngục khủng bố dã man. Bọn lính thực dân đã xả súng vào nhà ngục, chỉ trong vài phút đã bắn chết và làm bị thương nhiều người.
Gần trọn một thế kỷ đã trôi qua kể từ ngày các bậc anh hùng tiên liệt ngã xuống trước mũi súng quân thù, ngục Kon Tum năm xưa đã trở thành Di tích lịch sử văn hóa tiêu biểu của tỉnh Kon Tum, một địa chỉ đỏ, nơi giáo dục và hun đúc cho các thế hệ trẻ tinh thần yêu nước, ý chí quật cường, không khuất phục trước sức mạnh bạo tàn của bất cứ kẻ thù nào. Năm 1988, Ngục Kon Tum được công nhận Di tích lịch sử Quốc Gia. Kể từ đấy, nhà ngục nhiều lần được tôn tạo và xây dựng thêm một số hạng mục vào các năm 1989, 1994, 1997-2000, 2010...