胡耀邦下臺的原因雖然複雜，但根本原因在於胡耀邦與鄧小平在鄧本人是否全退的問題上發生歧見。據《胡耀邦傳》披露，1986年5月，鄧小平約胡耀邦到家中談論中共十三大人事安排。胡耀邦說：「我已年過70了，十三大一定要下來。」鄧小平說：「我、陳雲、先念都全下，你要下就半下，不再當總書記，而再當一屆軍委主席或國家主席，到時候再說。」
同年8月22日，鄧小平過81歲生日，在北戴河擺了幾桌酒席，表示在兩年後的中共十三大上全退。胡耀邦信以為真。10月，他在政治局會議上公開表態，說「今天我就十分具體和坦白地講，我贊成小平同志帶頭退下來，這是一個很好的帶頭。只要小平同志退，別的老同志的工作就好做。我的總書記任期滿了，也下來，充分給年輕的同志讓路。」
胡耀邦講話後，鄧小平沒有任何表示，神情嚴峻。胡耀邦的講話得到了人大委員長萬里、中央書記處書記楊得志、人大副委員長聶榮臻、倪志福和國家副主席烏蘭夫的贊同。中央書記處書記習仲勛還在會上發表了支持胡耀邦的講話。
會上，王震被激怒，說：「你們實際上提出了一個問題，就是要不要權威，承認不承認小平是我們黨的最高權威。」萬里這時插話說：「王老啊，你不要激動。要小平同志掌舵，我沒有意見。我只是想糾正一下，我們要樹立權威，不是個人，而是集體。民主才是我們的最高權威。」事後，鄧小平曾問萬里：「耀邦為何偏要我下？」萬里答：「可能是失言。」鄧小平說：「要樹自己。」萬里說：「耀邦不是那種人。」
此後，胡耀邦的權力被削弱，失去了中共十三大的人事主導權。在他毫不知情的情況下，鄧小平把人事權交給了中顧委副主任薄一波，安排由薄一波等7人組成的小組，分頭徵求黨內對十三大的人事安排意見，尤其是對胡耀邦的意見。
同年12月，安徽中國科技大學開始的學潮蔓延到北京，為鄧小平倒胡行動找到了藉口。 12月30日，胡耀邦打算召開政治局常委會，討論中央書記處關於處理學潮的意見。鄧小平不同意開會，並要胡耀邦到他指定的地點談話。鄧認為學生運動是「幾年來反對資產階級自由化思潮旗幟不鮮明、態度不堅決的結果」，並責問胡耀邦「你難道沒有責任？」胡耀邦回答說：「我保留我的意見。」鄧小平說：「不是保留，而是要你馬上站出來，堅持四項基本原則，否則就放任了資產階級自由化。」鄧還說：「沒有專政手段是不行的。對專政手段，不僅要講，而且必要時要使用。」
翌年元月10日，中央顧問委員會副主任薄一波主持召開「政治局生活會」，胡耀邦在會上受到一幫老人的圍攻。薄說：「胡耀邦整天到處亂跑，全國兩千多個縣，你都快跑遍了，你是黨的主席、總書記中能跑的最高記錄。這不叫指導工作，而是遊山玩水，譁眾取寵。」楊尚昆說：「胡耀邦，你如果想要亡黨亡國的話，你就和資產階級自由化分子結成聯盟吧。」宋任窮說：「我最不能容忍的就是胡耀邦對待鄧小平的態度。」會上，鄧力群對胡耀邦作了長達五、六個小時的批判發言。
會上，薄一波、彭真要求胡耀邦辭職，王震表示：「薄一波、彭真代表了我們大多數的意見。」面對如此場面，習仲勛拍案而起，指著薄一波等人說：「你們這是幹什麼？這不是重演『逼宮』嗎？」胡耀邦沒讓習仲勛說完，就站起來勸說：「仲勛同志，我已考慮好了，不讓我幹，我就辭職。」
1月15日， 「生活會」散後，胡耀邦出門坐在台階上大哭。田紀雲默默站在旁邊，久久不願離去。萬里回到家也難抑心中不平，說：「耀邦沒有錯。」為了安慰他，萬里叫廚師燉了一鍋胡最喜歡吃的狗肉送到胡家。胡耀邦被迫辭去總書記職務後，回家對夫人李昭說：「我沒有錯，顧全大局，我只能辭職。」
是非公道自在人心。中共召開的十三大上，選中央委員時，胡耀邦得票1,800多票，差幾十票就是全票。選政治局委員時，胡耀邦又高票當選，差7票是全票，未投票的包括他自己。而當初賣勁倒胡的鄧力群和胡喬木，則在選舉中因得票最少而落選。
