Năm 1821, Minh Mạng cho cất một ngôi nhà ở phía tây vườn Thiệu Phương mang tên là Trí Nhân Ðường. Ðến đời Thiệu Trị sửa lại và đặt tên là Thanh Hạ Thư Lâu. Năm 1887, Ðồng Khánh cho triệt hạ và dựng lầu mới gọi là Thái Bình Ngự Lãm Thư Lâu. Lầu này dùng sành, sứ khảm trạm rất công phu.
Phía Tây lầu trông xuống một hồ vuông trong xếp đá thành non bộ giả cảnh thiên nhiên thật là hấp dẫn. Ở bên trái toà dựng lầu Tứ Phương Vô Ngu, bên phải dựng hành lang Hoá Nhật Thư Trường, rồi ở bên trái đình Bát Phong dựng gác nhỏ gọi là Lục Trì Thần Thông, bên phải dựng phòng Thận Tu, ở phía Bắc phòng ấy dựng lầu Lục Giác, bên trái lầu ấy dựng Trạch Trung, phía trước gọi là nhà Ðức Viên. Cầu, hành lang liền nhau, ao hồ nước thông chảy suốt, xem rất nên thơ.
Công trình là một tòa nhà kép, gồm tiền sảnh, chính doanh, hậu doanh nối liền nhau bằng hai máng thoát nước. Mặt nền cao hơn đất 1m, mặt trước là bốn cột xây bằng gạch trát vữa. Phía trước có 3 chữ Thái Bình Lâu và hai bên là hai bài văn do vua Khải Định ngự chế.
Sau tiền sảnh là chính doanh. Đây là một ngôi nhà 2 tầng cao 9.55m, mái được lợp bằng ngói âm dương tráng men vàng với nhiều trang trí rất đẹp và lộng lẫy như hình những con dơi tượng trưng cho Ngũ Phúc và hai bờ nóc đắp nổi hai hình hồi long đầy uy lực.
Hậu doanh có 3 gian, 2 chái, mái lợp ngói liệt, hai đầu hồi có đắp nổi đề tài Hải ốc thiêm trù với hình ảnh ba ông già chúc thọ cho nhau.