在唐代中期政壇上，李泌是一個很有點神秘色彩的人物，他歷仕玄宗、肅宗、代宗、德宗四個皇帝。那是一個多災多難的時代，奸臣當權，藩鎮割據，許多大臣不是死於姦佞的讒言，便是死於武夫的刀劍。而他被四個皇帝所信任，雖屢被誣陷、讒毀，卻能倖免於難，保全終身，其中的訣竅有兩條：一條是避權讓位，一條是功成身退。
早在唐玄宗時，他還是一個少年，因其出色的智慧而聞名於朝廷，唐玄宗要任命他為太子李亨的官屬，他辭謝了，只願以布衣的身份與太子來往，李亨稱他為先生，對他十分尊重。後來因遭楊國忠的忌妒而遭貶斥，他乾脆棄職而去，游於嵩山、穎水之間，避免了一次災難。
安史亂起，新即位的李亨(肅宗)特意派使臣去請他出山，並要任命他為宰相，他又堅決辭謝了，對肅宗說：「陛下以賓客、朋友的身份對待我，這不是比宰相還要尊貴嗎?請別勉強我了!」
肅宗也只好由他，對他的尊寵信賴，可謂非同尋常。出則並駕齊驅，入則聯床而臥，朝中事無鉅細，全都請教於他，對他言聽計從，甚至連元帥、宰相的任免，以至太子的人選，也都要聽從他的意見，真是所謂：不在其位，而謀其政。每當朝中議事時，他和皇帝聯袂而坐，大臣們在下面便指指點點地說：「穿黃袍的是聖人，穿白袍的是山人。」這樣一種高級參謀的身份，使他既可參與決策，又不必承擔任何責任，一旦發現有於己不利之事，進退也很自由。
當唐朝的軍隊收復了失陷的長安，平定安史之亂的鬥爭取得了巨大勝利之後，他便向肅宗請求還山歸隱，他說：「我已經報答了陛下對我的厚恩，如今重新作一個閑散之人，沒有比這更快樂的事了。」
這使唐肅宗十分吃驚，「我與先生這幾年來，共同歷經憂患，如今將要同享歡樂，先生為什麼突然要離我而去呢?」
李泌嚴肅地說：「我有五條不能留下來的理由；懇請陛下任憑我離去，使我免於一死!」
肅宗不明白，問道：「此話怎講?」
李泌說：「我同陛下相知太早，陛下對我倚托太重，寵信太深，我的功勞又太大，行為又太不一般，這五條，正是我不能久留的理由。」
肅宗沒有表態，只是說：「該睡覺了，這事以後再說。」
李泌堅持說：「陛下如今與臣同榻而臥，臣的請求還不能得到批准，更何況將來在朝堂之上，公案之前!陛下不許臣離去，這無異是要置臣於死地!」
肅宗說：「沒想到你對我疑懼到這個地步，哪有像我這樣對待你而又會幹出殺你的事來呢?你簡直把我看成是只可共憂患、而不可共安樂的勾踐了!」
李泌說：「正因為陛下不會殺臣，臣才請求歸隱，若是陛下決定殺臣，臣又怎敢說話?而且殺臣不是陛下，而是‘五不可’，陛下一向待臣如此之好，臣有些事情還不敢說，將來天下安定之後，臣就更不敢說話了!」
李泌對官場的風雲，看得可謂透徹，處理得也很得法，就是這樣，仍免不了遭到姦佞之輩如宦官李輔國等人的忌妒、陷害，他終於堅決離開朝廷，隱居衡山。肅宗賜他三品官的俸祿，並在衡山為他建了房舍。
李泌曾經當過道士，受道家思想影響很深。道家思想的創始人老子說過：「功成、名遂、身退，天之道。」李泌便是按著這個「天之道」去作的，他功成而不求官，名遂而不戀位；可為則為，不可為則不為；有所為、有所不為；見機而作，適可而止；功成身退，無所羈絆。實在是官場中人生的最佳境界。
