根據文獻資料和地方史誌記載，此寺之肇基者，是晚唐的「斷際禪師」。唐大中二年(西元848年)，宣州刺史裴休，迎斷際禪師來此，駐錫城中的開元寺，隔年(西元849年)，創建廣教寺佛殿，相傳所用木材皆是「松蘿』，是由黃櫱禪師自安南勸募來的，展現神通而從寺旁金雞井中運出。之後歷代不斷修建，擴大寺院規模，最盛時期有房屋千餘間，僧人數百，成為江南名剎。抗日戰爭時，廣教寺全毀於兵燹，成為一堆廢墟，僅留存「雙塔」和「金雞井」兩處古遺蹟。
宋太宗曾經賜御書120卷，由僧人惟真建藏經閣貯存。元帝也曾賜當時的廣教寺住持「榮佑崖法師」金襕袈裟。由此足見廣教寺在中國歷代佛教寺院的地位顯赫。
「雙塔」，是一組較獨特的古建築。建於北宋哲宗紹聖三年(西元1096年)，為仿木樓閣式磚塔結構。外觀仿照唐代方形樓閣的形式，內部結構和細部，則以磚代木做成柱、枋、斗拱等，輔以半木結構，在中國現存的宋代古塔實物中，這種既沿襲了唐代四方形平面的建塔風格，又具有宋代建築特徵的塔，僅此一例。
廣教寺遺址上，雙塔比肩並立於一片平坡地上。雙塔東西對峙，東塔稍大，直線距離為26．9米，現高均為17米。雙塔的東西軸線略為偏斜，塔身的底層，東塔南北2．66米，東西2．64 米；西塔南北2．33米，東西2．3米。兩塔形制相同，平面呈方形，均為7級仿木樓閣式，中間不立塔心柱為空心，可登臨。但塔的內部很小，各層之間只能用簡單的木梯上下。
雙塔底座為白石浮雕，底層為三面開門之外，唯東塔缺東門，西塔無西門。第二層以上均四面開門。雙塔外壁裝飾樸實無華，四隅亦未施設角柱。券門之上隱出闌額和斗拱，「補間鋪作」只設一朵，「角鋪作」與「補間鋪作」之間，各嵌鑲佛像陶磚兩塊。
雙塔的「出檐」的構筑方式在全國極為少見，出檐大體由澀磚、斗拱與水平木檐三者組成，起主要懸挑作用的澀磚，各層檐部用「疊澀磚」，與「菱角牙子磚」，並鋪以木斗拱來承托出檐，而斗拱僅用來作為仿木構件的裝飾。柱頭枕上之壁體砌筑稍為收進，挑出多層的「疊澀磚」，用以形成上一層之平座。再向上，又挑出「平澀磚」若干層，構成再上一層的平座。這些澀磚富有裝飾性，使雙塔外觀更顯秀麗典雅。
整個塔身，大部用「蓮壇坐佛像」的雕磚砌筑塔面，塔的每一層之每一面，四角均裝置有側腳的圓形角柱。柱上端設闌額，額下有兩根兼柱，將壁面劃分為三間，都用圓柱型磚條以區隔劃分為3間，中間部分砌有圓形拱門，兩旁為欞格的方窗，以「寶相花」裝飾牆面，並有「貼額」、「腰串」等仿木構部件，體現了莊嚴肅穆的氛圍。
塔的第二層以上的各層塔壁，寬度及層高依層往上而遞減。塔壁的牆體大多採用「走磚砌造」的方式，外壁的色彩為紅白相間，所有仿木構件，如槏柱、斗拱、闌額、角柱、窗條等均為紅色，其它部位則是以白灰粉飾，灰縫間以石灰加黃泥砂漿鋪施其間，這說明宋代已使用石灰來砌牆。
第5層在補間鋪作兩旁正中央的位置上有2根心柱，這種修筑法保存了唐塔的形式。從第6層起，使用「木過梁」承托「干剎」和「頂飾」，但因年久失修，塔頂已全部損壞，木質構件也朽毀無存。
在維修中發現，塔壁牆內，每隔半米之距平放一層長條木板，即為「木骨」，它能使塔體增強拉力，塔身不易裂開，用以加固。幾百年前，雙塔沒有了頂剎，遭受風吹雨打屹然挺立，這「木骨」起了非常重要的作用，中國古代先民在建築技術上的一大創造。
根據計算，依此雙塔建築要求，而特別燒制的磚型規格就有近百種，有青、灰、紅、黃等顏色。相傳，建築雙塔所用之磚，全部由廣教寺的僧人化緣而來，所以形制色彩各異，筑塔工匠們將各類不同形制規格的磚，巧妙地砌成了精美的藝術建築。
塔身原砌有多塊佛像磚，但只剩東塔第五層的四對佛像迄今尚保存完好。東塔之東面、西塔之西面，第二層各橫嵌著北宋文學家蘇軾手書的《觀自在菩薩如意陀羅尼經》，為陰刻正楷書體刻石，為長方形，四周配鑲磚框。刻石署款為「（宋）元豐四年（西元1081年）二月十七日責授黃州團練副使眉揚蘇武書贈廣教寺院模上人」。兩塊刻石的後跋上書「（宋）紹聖三年（西元1096年）六月旦日宛陵乾明寺欏嚴講院行者徐懷義摹刊普勸眾生同增善果」。
據考證，由兩刻石四周灰縫及砌磚的尺寸得知，其與雙塔內壁其它部位的結構以及修建細部手法相當一致，判斷刻石應是建塔時砌入的。雙塔的建造年代在還沒找到確切文字記錄之前，由雙塔的結構方式、造型風格、以及藝術特色等特點，可推測建造於北宋紹聖三年。
關於廣教寺的歷代修建情況，記載甚少，且多文簡意略、支離破碎。唯從嘉慶二十年（西元1815年）《寧國府志》卷首的「敬亭山圖」和上海博物館收藏的「梅清雙塔」畫之中可知，當時雙塔已沒有頂剎。可見幾百年來，雙塔一直維持沒有的頂剎的情況。西元1988年，雙塔進行了修繕，由於找不到雙塔塔剎的原史資料，所以修筑時，仍然保留了塔剎的殘破現狀，只有對危及塔體安全的塔身，進行現狀加固和部分維修。
「雙塔」建築，在中國佛教建築遺物中留存甚少，有廣州廣孝寺雙鐵塔、浙江杭州靈隱寺雙石塔、江蘇蘇州羅漢院雙塔、福建泉州開元寺雙石塔、雲南昆明大德寺雙塔。宣城廣教寺雙塔，是以「方形平面」及「直井式塔心室」為重要特點，並保留了自漢、晉、南朝及唐、五代傳統佛塔的古意，同時，它又是雙塔中可登臨的最早實例。
