Nguyên trước nước Nam ta chia ra làm từng trấn, có quan Trấn Thủ, hay là quan Lưu Trấn để coi việc trong trấn. Từ đời Gia Long trở đi, ở Bắc Thành và Gia Định Thành đặt quan Tổng Trấn và quan Hiệp Trấn, để coi việc quân và việc dân trong cả toàn xứ.
Đến năm tân mão (1831) là năm Minh Mệnh thứ 12, vua Thánh Tổ mới theo lối nhà Thanh, đổi trấn làm tỉnh và đặt chức tổng đốc, tuần phủ, bố chính sứ, án sát sứ và lĩnh binh.
Tổng đốc thì coi việc quân, việc dân, khảo hạch quan lại, sửa sang bờ cõi ở trong hạt; tuần phủ thì coi việc chính trị, giáo dục và giữ gìn phong tục; bố chính sứ thì coi việc thuế má, đinh điền, lính tráng và triều đình có ân trạch hay là cấm lệnh điều gì, thì phải tuyên cho mọi nơi biết; án sát sứ thì coi việc hình luật và kiêm cả việc trạm dịch bưu chính; lĩnh binh thì chuyên coi binh lính.
Từ tuần phủ trở xuống đều phải theo lệnh quan tổng đốc. Thường thì tỉnh nào lớn, có lắm việc quan trọng mới đặt tổng đốc để quản trị cả hai ba tỉnh. Còn những tỉnh nhỏ thì chỉ đặt tuần phủ là quan đầu tỉnh.