Nguyên từ khi họ Trịnh giúp nhà Lê Trung Hưng về sau, đất Kinh Kỳ chỉ dùng lính Thanh, lính Nghệ gọi là ưu binh để làm quan túc vệ.
Những lính ấy thường hay cậy công làm nhiều điều trái phép. Năm giáp dần (1674) đời Trịnh Tạc, lính tam phủ tức là lính Thanh, lính Nghệ đã giết quan Tham Tụng Nguyễn Quốc Trinh và phá nhà Phạm Công Trứ. Năm tân dậu (1741) quân ưu binh lại phá nhà và chực giết quan Tham Tụng Nguyễn Quý Cảnh. Những lúc quân ưu binh làm loạn như vậy, tuy nhà chúa có bắt những đứa thủ xướng làm tội nhưng chúng đã quen thói, về sau hễ hơi có điều gì bất bình, thì lại nổi lên làm loạn.
Đến năm nhâm dần (1782) Trịnh Sâm mất, Đặng Thị và Hoàng Đình Bảo lập Trịnh Cán lên làm chúa. Con trưởng Trịnh Sâm là Trịnh Khải mưu với quân tam phủ để tranh ngôi chúa. Bấy giờ có tên biện lại thuộc đội Tiệp bảo tên là Nguyễn Bằng, người Nghệ An, đứng lên làm đầu, vào phủ chúa đánh ba hồi trống làm hiệu, quân ưu binh kéo đến vây phủ, vào giết Hoàng Đình Bảo, bỏ Trịnh Cán và Đặng Thị Huệ, lập Trịnh Khải lên làm chúa.
Trịnh Khải phong quan tước cho Nguyễn Bằng và trọng thưởng cho quân tam phủ. Từ đó quân ấy một ngày một kiêu, cứ đi cướp phá các nhà, không ai kiềm chế được. Năm giáp thìn (1784) quân tam phủ lại phá nhà quan tham tụng Nguyễn Ly, nhà Dương Khuông và giết Nguyễn Triêm ở trước cửa phủ chúa. Khi bấy giờ Nguyễn Ly chạy thoát được lên Sơn Tây cùng với em là Nguyễn Điều bàn định rước Trịnh Khải ra ngoài, rồi gọi binh các trấn về trừ kiêu binh. Nhưng sự lộ ra, quân kiêu binh vào canh giữ phủ chúa, Trịnh Khải không ra được. Quân ấy lại chia nhau ra giữ các cửa ô. Quân các trấn cũng sợ chúa bị hại đều phải rút về. Từ đó quân kiêu binh kéo nhau hàng trăm hàng nghìn đi cướp phá các làng. Hễ có đứa nào đi lẻ loi thì dân làng lại bắt giết đi, thành ra quân với dân xem nhau như cừu địch, mà các văn thần võ tướng cũng bó tay mà chịu không làm sao được. Sau có quan tham tụng là Bùi Huy Bích dỗ dành mãi mới dần dần hơi yên.
Lúc bấy giờ ở trong đang có kiêu binh làm loạn, ở ngoài Tây Sơn nhân dịp đem quân vào đánh phá, bởi thế cho nên cơ nghiệp họ Trịnh đổ nát vậy.