段祺瑞出身於一個軍人家庭，其祖父段佩與劉銘傳、張樹聲、周盛波、周盛傳等人既是同鄉，又同隸屬於李鴻章的淮軍體系之下，早年因鎮壓捻軍有功而官居淮軍統領。段祺瑞於1865年出生於安徽六安縣太平集北的段家老宅，其父親段從文倒是人如其名，一直耕讀在家。段祺瑞五歲的時候，父親段從文在合肥買下百畝良田，隨後舉家搬遷，因此段祺瑞又被人稱為「段合肥」。
段祺瑞小時候主要受到祖父的影響，他在七歲的時候便被祖父段佩接到自己在宿遷的兵營，由此耳濡目染了軍旅生活。儘管祖父給段祺瑞請了塾師帶他唸書，但年少時的段祺瑞卻最喜歡舞刀弄棍，看書也只愛看排兵佈陣、奇門遁甲之類的兵書(難怪袁世凱賞識他，原來兩個人都有如此經歷)。在那段日子裡，作為小少爺的段祺瑞過得還是很愜意的。
但是，段祺瑞的好日子在14歲的時候戛然而止，因為他的祖父段佩在宿遷駐地突然亡故。失去了庇護的小段在軍營中無以托身，只得將祖父的靈柩扶送回合肥老家安葬。不久，小段又隻身一人步行2000多里，在風塵僕僕數十天後，終於趕到山東威海投奔了堂叔段從德，並在他的手下做了一名小兵。這一年，段祺瑞才16歲。
不幸接踵而至。就在段祺瑞來到威海的第二年，其父段從文在趕到威海看望兒子後，在回家途中被盜賊所害 (離家不過30里地)，盤纏擄掠一空，年僅39歲。噩耗傳到威海後，段祺瑞請假奔喪而未獲得批准。八個月後，段祺瑞的母親因為哀痛過度，也不幸亡故。一年之內，父母雙亡，段祺瑞這次才被批准回家奔喪。
回到家中後，看著自己年幼的弟弟妹妹(大妹啟英12歲，二弟啟輔10歲，小弟啟勛9歲)，18歲的段祺瑞心情十分沈重。作為家中的長子，段祺瑞在父母雙亡的情況下，必須承擔起照顧弟弟妹妹生活的重擔。
家庭的變故和養家餬口的重擔，使得段祺瑞心事重重，愁眉不展。作為普通一兵，段祺瑞是看不到生活的希望的。時來運轉的是，李鴻章在1885年創立了天津武備學堂並擬從淮軍中招收學員，剛滿20歲的段祺瑞聽說這一消息後喜出望外，他決心要抓住這改變命運的絕好機會，於是立刻報名應徵並在考試中名列前茅，最終被選入炮兵科學習。
兩年後，段祺瑞以「最優等」的成績從學堂畢業，隨後又被選派到德國去學習軍事。據說，在初選名單裡本來是沒有段祺瑞的，但李鴻章看到選派人員中安徽籍的只有兩個人，心中十分不悅，於是把山東籍的劃掉一個，而改選了一個自己的小老鄉，這個小老鄉就是段祺瑞。說起來，李鴻章被人稱為「李合肥」，段祺瑞後來也被稱為「段合肥」，這兩人還真有點緣分呢。
到德國後，段祺瑞等人進入柏林軍事學校學習。在校期間，段祺瑞還鬧起了剪辮風波，因為德國人看到中國人留著長辮子，覺得十分可笑，暗地裡罵他們是「中國豬」，段祺瑞氣憤難平，於是拿起剪刀要剪掉腦後的辮子。這時，督學蔭昌正好進來，他看見段祺瑞要剪辮子，慌忙加以制止，這才避免了一場麻煩。
在其他人已經學成回國後，李鴻章再次指派段祺瑞前往克虜伯兵工廠實習，以熟悉並學習世界最先進火炮的製造和使用技術。直到1890年底，25歲的段祺瑞才返回國內，在進入北洋軍械局不久，又調入威海隨營學堂充當教習。可惜的是，當時的清軍對這些軍校畢業生不甚重視，他們中的大多數人都是被委以教習之類的閑職，而沒能進入軍營中做帶兵官。當時的軍界風氣，那些行伍出身的舊派軍官大都看不起軍校畢業生，他們認為這些娃娃兵沒有實際作戰經驗，不能委以重任，即便段祺瑞這樣留洋回來的優秀軍官，也屢屢遭到這些舊軍官的排擠。
直到袁世凱的「小站練兵」後，那些軍校畢業生才開始得到重用。當時袁世凱請當時任天津武備學堂總辦的蔭昌推薦人才，蔭昌很自然的便想到了段祺瑞，並將他推薦到袁世凱的門下。袁世凱的新建陸軍是一支擁有步兵、騎兵、炮兵、工程兵等多兵種的新式部隊，其中炮兵就有近2000人，段祺瑞隨後被委任為炮隊統帶，並得到袁世凱的極大重視。當時段祺瑞帶的這支炮隊有速射炮、重炮等60門，戰馬近500匹，這也是中國近代歷史上第一支正規化的炮兵部隊，段祺瑞也可以說的中國第一任炮兵司令。
隨著袁世凱的不斷升遷，段祺瑞也跟著沾光，陸續做到了北洋六鎮的統制之職。在清朝覆滅後，段祺瑞做過幾任陸軍總長，後來因為反對袁世凱稱帝而隱居西山。袁世凱死前，命人將段祺瑞找來並將國事托付給他，段祺瑞也由此做上了民國的內閣總理，成為當時最重要的政治人物。
段祺瑞的為人一向古板嚴肅，不苟言笑，給人的印象是不太好打交道。他平時的生活也是很有規律，一年三百六十五天基本沒有什麼變化。一般情況下，他都是在家吃早飯，隨後上書房看公事；看完公事後去衙門，中午再回來吃飯。
吃過中飯後，老段一般會在內客廳睡個中覺，然後有客的時候會客，無客的時候就與棋手們下下圍棋，或者找一些詩人搞搞詩會，當時王揖唐、梁鴻志等人便是段府的常客。晚飯之後，老段照例要打一會牌(麻將)。
段祺瑞非常喜歡下圍棋，當時他還特意養了一批棋手，後來加入日本籍的國手吳清源，他小的時候便經常陪老段下棋，每月發給工資。據說，那些棋手和段祺瑞下棋時都十分識相，既不能贏段祺瑞，因為老段自尊心很強，輸了他會很不高興；但也不能多輸，因為多輸的話，會讓段祺瑞看不起。
據稱，有一次段祺瑞和兒子段宏業下棋。棋到終盤，段祺瑞大負，氣得他跳起腳來，把棋盤掀翻，並怒斥段宏業道：「你這小子，一無所能，就知道玩這個，你以後有什麼出息？」段宏業被斥後，只得諾諾而退(想必兒子輸給了他，段祺瑞又會笑罵：「你這小子，連個棋都下不好，你以後還能幹什麼？」)。段宏業是到段祺瑞的大兒子，平時最喜歡吃喝玩樂，素無大志，他在外面一向是花天酒地，唯獨見了老段就像是老鼠見了貓，大氣也不敢出一聲，這不，贏了棋還被老段斥責一頓，他屁也不敢放一個。
唯獨有個小棋手卻不畏懼段祺瑞，這就是後來成為著名棋手的吳清源。吳清源做段府的棋手時年紀還小，也最受段祺瑞的喜愛。他在和老段下棋的時候到是毫不客氣，倆人經常能下個旗鼓相當，但隨著吳清源水平的不斷提高，段祺瑞和他對弈往往輸多贏少，後來也就不再和他下了。吳清源後來入了日本籍，成為日本圍棋界的一流高手。
段祺瑞脾氣大，治家嚴，手下的人都戰戰兢兢，不敢犯錯，特別是不敢向來賓索取門包。按前清的規矩，一般大官的門房都有一個陋規，那就是收取門包，否則就進不了門。段祺瑞大概吃過這個「門包」的虧，因而最恨別人收門包，他要是聽說誰收門包，還真能把人拉出去槍斃。按中國人的習慣，過年過節的，終究要禮尚往來，而地方上的官員來京辦事，也一般會給重要的京官送點禮，這個規矩，唯獨到了老段這裡行不通。每逢有人將禮物送到段公館，門房都是將之放在內客廳門口的條案上，等段祺瑞親自過目後定奪。段祺瑞每次路過時，總是仔細地看了又看，最後挑一兩件最不值錢的留下，其餘的全部讓人送回。
有一次，江蘇督軍齊燮元給段祺瑞送了一個精美絕倫的圍屏，圍屏上鑲有各種寶石，五顏六色，非常漂亮。段家的人喜歡得不得了，晚上還偷偷起來觀看。但第二天早上，段祺瑞便令人送回。張作霖有一次給段祺瑞送了一些東北的特產，如江魚、黃羊等，在其副官的一再懇求下，段祺瑞才收下兩條江魚，這已經是非常大的面子了。唯獨有一次馮玉祥給他送了一個大南瓜，老段倒是很中意，沒有送回。
另外，段祺瑞還不准家裡人說私情。譬如有個老媽子托段祺瑞的一位姨太太替他的一個親戚找個小差使，這剛一張口，段祺瑞的鼻子就氣歪了。他大罵道：「好啊，你們想賣官還怎麼著？你拿了人家多少錢！快說！」因此，在段祺瑞的面前，誰也不敢亂託人的。
段祺瑞不但對自己嚴苛，對別人也是非常嚴格。他手下有個姓蘇的軍需官，他買了個小丫頭，而他的老婆經常虐待這個小女孩，三天兩頭把人家打得鬼哭狼嚎。不知怎麼的，這事傳到了段祺瑞的耳中，他得知後勃然大怒，立即派人將蘇軍需和小丫頭帶來，自己則怒氣沖沖在大客廳等著問話。
當時的場面可謂是殺氣騰騰，如同舊時衙門上堂一樣。等蘇軍需到後，段祺瑞拍著桌子大罵，並令手下用軍棍重責40大棍。這下把蘇軍需嚇得渾身發抖，連連求饒。段祺瑞罵了半天後，氣才消了下去，隨後便吩咐手下將小丫頭送到後院，讓自己的家眷收養下來。
不過，段祺瑞只是表面上看起來嚴肅，其實內心也是真性情。段祺瑞少年的時候隨祖父在宿遷軍營，在當地私塾讀書時認識了幾個同年好友，後來段祺瑞做上了總理，發達了，其中的一個叫申孟達的好友便試著來北京找他。剛開始的時候，申孟達害怕段祺瑞已經認不得他了，於是先寫了封信讓人送到段府，不曾想段祺瑞在接信後便立即派人送上銀元200元，三天後，段祺瑞親自來接，一下子就開來了十幾輛小汽車，並讓人好生招待。
當年跟隨段祺瑞祖父段佩的幾個老人，後來也被段祺瑞接到府上。其中有一個叫刑寶齋的，他每次提到段祺瑞的時候，常說段祺瑞小時候一天到晚鼻涕邋遢，刑寶齋看不上他，那時罵他：「你這叫什麼少爺啊，一點都不愛乾淨！」
刑寶齋常跟公館裡的人說這事，有的人聽煩了，便反詰道：「你不是看不上他嗎？可人家如今幹出了一番驚天動地的大事業，你現在還在給他買笤帚！」刑寶齋被堵得沒話說，只好結結巴巴地說：「我哪知道他有這一天啊，我要知道，當初也對他好點啊！」
《一士類稿》中有個這樣的記載，說段祺瑞剛做上邊防督辦的時候，一日雪後，他偶至街頭散步，忽然問隨行的小僮：「邊防處距此遠不遠？」小僮說不遠，於是段祺瑞便讓他帶他去看一下。到了邊防處，衛兵見一個衣冠樸舊的老頭昂然入內，便厲聲呵止。小僮趕上前斥道：「這是段督辦，你怎敢如此無禮！」衛兵聽後十分驚愕，慌忙請罪並報告處中重要職員，恭迎段祺瑞入內視察。眾人平時都見不到段祺瑞，今天看到他突然蒞臨，以為有什麼大事要宣布，於是一個個都肅侍靜候訓示。段祺瑞微笑道：「今日下雪，我乘興閑游至此，你們不必管我了，各自回去辦公吧。」說完，段祺瑞便讓眾人散去，自己則到督辦室小坐了一會，隨後仍舊緩步而歸。
作為民國年間的大人物，段祺瑞一生不蓄私財，不徇私情，不擁兵自重，這在軍閥中，無論如何也算是至為可貴了。
