이해에 사도세자와 영조의 사이가 악화되어 세자폐위의 비망기가 내려지자 죽음을 무릅쓰고 막아 이를 철회시켰는데, 이 사건으로 하여 후일 영조는 채제공을 지적하여 “진실로 나의 사심없는 신하이고 너의 충신이다.”라고 정조에게 말하였다 한다.
이후 대사간·대사헌·경기감사를 역임하던 중 1762년 모친상으로 관직을 물러나자, 이해 윤5월에 사도세자의 죽음이 있었다.
복상 후 1764년부터 개성유수·예문관제학·비변사당상을 거쳐 안악군수로 재임중 부친상을 당하여 다시 관직에서 물러났다.
이후 1767년부터 홍문관제학·함경도관찰사·한성판윤을, 1770년부터는 병조·예조·호조판서를 역임하고, 1772년 이후 세손우빈객·공시당상(貢市堂上)이 되었다.
1775년 평안도관찰사로 재임시에 서류통청(庶類通淸)은 국법의 문제가 아니므로 풍속에 맡겨야 한다고 주장한 상소로 인하여 서얼출신자에게 구타당하는 사건이 생기기도 하였다.
이후 영조의 깊은 신임으로 약방제조로 병간호를 담당하기도 하였고, 정조가 왕세손으로 대리청정한 뒤에는 호조판서·좌참찬으로 활약하였다.
1776년 3월에 영조가 죽자 국장도감제조에 임명되어 행장·시장·어제·어필의 편찬작업에 참여하였다.
이어 사도세자 죽음에 대한 책임자들을 처단할 때 형조판서 겸 판의금부사로서 옥사를 처결하였고, 정조특명으로 사노비(寺奴婢)의 폐를 교정하는 절목을 마련함으로써 정1품에 이르렀다.
이 사노비절목은 점차로 그들의 수효를 감소시킴으로써 1801년(순조 1)의 사노비 혁파를 가능하게 하였다. 이후 규장각제학·예문관제학·한성판윤·강화유수를 역임하였다.
1780년(정조 4) 홍국영(洪國榮)의 세도가 무너지고 소론계 공신인 서명선(徐命善)을 영의정으로 하는 정권이 들어서자, 홍국영과의 친분, 사도세자에 대한 신원의 과격한 주장으로 정조 원년에 역적으로 처단된 인물들과의 연관, 그들과 동일한 흉언을 하였다는 죄목으로 집중공격을 받아 이후 8년간 서울근교 명덕산에서 은거생활을 하였다.
1788년 국왕의 친필로 우의정에 특채되었고, 이때 황극(皇極)을 세울 것, 당론을 없앨 것, 의리를 밝힐 것, 탐관오리를 징벌할 것, 백성의 어려움을 근심할 것, 권력기강을 바로잡을 것 등의 6조를 진언하였다.
이후 1790년 좌의정으로서 행정수반이 되었고, 3년간에 걸치는 독상(獨相)으로서 정사를 오로지 하기도 하였다. 이 시기에 이조전랑의 자대제(自代制) 및 당하관 통청권의 혁파, 신해통공정책 등을 실시하였으며, 반대파의 역공으로 진산사건(珍山事件)이 일어나기도 하였다.
1793년에 잠깐 영의정에 임명되었을 때는, 전일의 영남만인소에서와 같이 사도세자를 위한 단호한 토역(討逆)을 주장하였으므로, 이후 노론계의 집요한 공격이 야기되기도 하였다.
그뒤는 주로 수원성역을 담당하다가 1798년 사직하였다.