謝安少年時，得到名士王濛及宰相王導的器重，已在上層社會中享有較高的聲譽。然而謝安并不想憑借出身、名望去獵取高官厚祿。朝廷最初征召謝安入司徒府，授任他佐著作郎之職，都被謝安以有病為借口推辭了。

　　后來，拒絕應召的謝安干脆隱居到會稽郡的東山，與王羲之、許詢、支道林等名士、名僧頻繁交游，出門便捕魚打獵，回屋就吟詩作文，就是不愿當官。當時的揚州刺史庾冰仰慕謝安的名聲，幾次三番地命郡縣官吏督促逼迫，謝安不得已，勉強赴召。僅隔一個多月，他又辭職回到了會稽。后來，朝廷又征召他為尚書郎、瑯玡王友，謝安一概推辭。吏部尚書范汪舉薦謝安為吏部郎，也被他寫信拒絕。有關官員上疏認為謝安被朝廷征召，歷年不應，應該禁錮終身，謝安便放浪于東部的名勝之地。

　　升平五年(361年)，在桓溫即將北征時，謝萬病逝，謝安乘機投書請求奔喪，離開了桓溫。不久，被任命為吳興太守，他在任上聲譽一般，但離開后便為眾人所懷念。其后被征召入朝，擔任侍中，又升任吏部尚書、中護軍。

　　太元十年(385年)四月，謝安借口救援苻堅，主動交出手上權力，自請出鎮(zhèn)廣陵的步丘，建筑新城來避禍。孝武帝在西池為謝安設筵餞行，并敬酒賦詩。謝安雖受朝廷囑托，但隱居東山的志趣始終未消失，每每露于形色。及至出鎮(zhèn)新城，攜帶全家前往，制造泛海的船只和裝備，打算等到天下大體安定后，從水道回東山。但不久后，謝安病重病。上書朝廷請求估量時局停止進軍，并召其子征虜將軍謝琰解甲息兵，命龍驤將軍朱序進據(jù)洛陽，前鋒都督謝玄與彭城、沛縣之敵對峙，委任謝玄為督察。如果二城守敵憑借地形頑抗，待來年漲水，東西夾攻。孝武帝詔令侍中赴新城慰勞，謝安獲準返回建康。聽說自己的車駕已進入建康的西州門，自以為壯志不成，功業(yè)未就，因而感慨萬分，對所親近的人悵然道：“從前桓溫執(zhí)政時，我常常擔心不能保全自身。忽然有一天夢見自己乘坐桓溫的車駕走了十六里地，看見一只白雞后停了下來。乘坐桓溫的車駕，預兆將代替他執(zhí)掌朝政。十六里，從我執(zhí)政到今天剛好十六年了。白雞屬酉，如今太歲星在酉，是兇兆，我這一病大概再也起不來了!”于是上書遜位，孝武帝派侍中、尚書曉喻朝廷旨意。之前，謝安從石頭出發(fā)，金鼓忽然破碎，又加上謝安說話從不出差錯，這一天忽然出現(xiàn)謬誤，眾人覺得十分奇怪。

　　同年八月二十二日(10月12日)，謝安病逝于建康，享年六十六歲。孝武帝聞訊后，在朝堂里哭吊三天，賜棺木、朝服一具，衣一套，錢百萬，布千匹，蠟五百斤，追贈太傅，謚號“文靖”。因為謝安沒有私宅，孝武帝于是詔令在其官府中備辦喪事儀式。到下葬時，其葬禮規(guī)格與桓溫相同。又因擊敗苻堅的功勛，被追封為廬陵郡公。

　　永初元年六月十四日(420年7月10日)，劉裕代晉稱帝，建立劉宋，當時前朝東晉的封爵中只有王導、謝安、溫嶠、謝玄與陶侃子孫的爵位未被廢除。謝安的爵位廬陵郡公被降封為柴桑縣公，食邑一千戶。