FBI由美國司法部長查爾斯．波拿巴 （Charles Bonaparte）所創立，他是拿破崙弟弟熱羅姆的孫子。FBI早期的任務只有20多項，包括：聯邦犯罪調查、白領犯罪，國家安全工作等等。
不過，隨著兩次世界大戰爆發導致的國家安全危機，國會不斷擴大FBI的管轄權，造就了FBI今日的規模。
一百年來，美國不僅經歷了兩次世界大戰，還遭逢1930年代的經濟大蕭條，以及犯罪狂潮淹沒美國的年代。FBI探員陸續把艾爾卡彭、狄林傑等惡名昭彰的幫派首腦繩之以法，成為傳奇性的美國打擊犯罪機構。
二次大戰期間，FBI從擁有幾百名探員和線民，激增到將近1萬3000人，對於穩定國內安全發揮了重大功能，包括阻止8名德國納粹分子潛入美國進行破壞。
之後，FBI陸續逮捕殺害民權分子的三K黨成員、偵破奧克拉荷馬市炸彈攻擊案、逮捕1993年紐約世貿中心炸彈攻擊事件的主謀。 FBI的戰功彪炳除了為它平添傳奇的色彩，也讓它成為媒體的寵兒，電視和電影不斷以FBI幹員為主角。例如電影"沉默的羔羊"和電視劇"X檔案"，後者1993年在電視首演，後來還改編成電影，續集"X檔案：我要相信"將於下週在台上映。
FBI還有一項傲人的成績，在1950年代開始推出"十大通緝要犯"。這些年來上榜的400多名罪犯，有95%被捕，目前的頭號通緝要犯就是凱達組織首腦賓拉丹。
只不過，賓拉丹並非在2001年911事件後才被列為頭號通緝犯，早在1998年非洲肯亞和坦尚尼亞的美國大使館遭到炸彈攻擊後，賓拉丹就已經上榜。換句話說，他已逍遙法外長達十年。2005年，美國司法部的報告，斥責FBI應該為無法事先偵測及預防911事件負責。
FBI不是萬能，除了賓拉丹讓FBI招牌蒙塵，1971年感恩節前夕的劫機事件也讓FBI顏面掃地。當時一名叫做庫伯（Dan Cooper）的男子以炸彈挾持了一架飛往西雅圖的飛機，飛機降落時，庫伯以釋放乘客換得20萬美元和4個降落傘，並要求繼續飛往墨西哥。
FBI雖然採取行動反制，但庫伯在飛往墨西哥途中，從俄勒岡州上空帶著贖款跳傘，從此音訊全無，成為FBI探員心中多年來的不解之謎。
美國聯邦調查局走過一世紀，將近半世紀（48年）都是一人獨攬大權，就是已故局長胡佛（J. Edgar Hoover）。
FBI成立於1908年，老羅斯福總統在任期間，當時只是美國司法部的一個調查小組，原名"調查局"，規模很小，一直到1924年胡佛上任才越來越上軌道，日益壯大，1935年改稱"聯邦調查局"。
胡佛掌管FBI的48年期間，美國總共換了8位總統，包括小羅斯福、甘迺迪和詹森，或多或少都和胡佛有過衝突，但他就是有辦法挺了過來。
沒有誰敢叫他走人，因為沒人知道胡佛究竟握有自己哪些見不得人的把柄，胡佛因此被戲稱為美國的"地下總統"。他對甘迺迪兄弟與瑪麗蓮夢露緋聞的監控，拿來當作護身符的傳聞，更是聲名狼藉。
FBI雖然在胡佛的主導下漸漸成熟、壯大，不過為達目不擇手段的做法，也讓他飽受批評。例如，在1950和1960年代，FBI以追查共黨分子及同路人為名，滲透包括反越戰在內的民間團體，試圖掌握異議組織及人士的動向。不僅無辜老百姓被跟監，連總統都遭到監聽。
