唐玄宗開元二十八年（740）庚辰冬，王昌齡離京赴江甯丞任。王昌齡對江寧丞這一職務並不滿意，經常與友人辛漸宴飲郊遊于長江之畔的丹陽城芙蓉樓，有《芙蓉樓送辛漸》：“丹陽城南秋海陰，丹陽城北楚雲深。高樓送客不能醉，寂寂寒江明月心。”
唐玄宗天寶初年（742）壬午，王昌齡由江甯往長安，臨別時，與來訪的友人辛漸相別。有《別辛漸》：“別館蕭條風雨寒，扁舟月色渡江看。酒酣不識關西道，卻望春江雲尚殘。”
唐玄宗天寶七年（748）戊子春，“詩家天子”王昌齡由江甯縣丞左遷巫州龍標縣尉，因懷念長江之畔的丹陽城芙蓉樓，乃建樓于金鼇山麓、沅水之畔，仍以芙蓉樓名之。“江甯王少伯由中秘謫遷斯尉，因以龍標名。縣有樓，曰芙蓉。相傳少伯送辛漸，賦詩餞行其中。文采風流，照耀千古。”（清嘉慶二十年黔陽縣令曾鈺《新修芙蓉樓碑記》）“黔邑東關，舊有芙蓉樓。相傳為少伯送辛漸處，其地原在唐潤州（今鎮江府治也）。蓋少伯丞江甯時事，後人因其謫宦來此，建樓存跡。”（清道光十九年黔陽教諭黃本驥《芙蓉樓唱和詩序》）“嘗考邑之芙蓉樓，唐人王少伯謫龍標尉時，建於東關外。當日少伯以琴書自隨，命蒼頭拾敗葉以爨，洞蠻長跪乞詩，是其清操善政，與都人士之翕然向化，悉於此見。”（清光緒二年黔陽縣令陳忠煐《重修芙蓉樓碑記》）是年秋，芙蓉樓落成，友人魏二來訪。魏二臨別龍標，王昌齡有《送魏二》：“醉別江樓橘柚香，江風引雨入舟涼。憶君遙在瀟湘月，愁聽清猿夢裏長。”
唐玄宗天寶十一年（752）壬辰，王昌齡在龍標，仍任龍標縣尉。夏，辛漸來訪，盤桓數月。秋，辛漸離開龍標，告別王昌齡。王昌齡有《芙蓉樓送辛漸》：“寒雨連天夜入吳，平明送客楚山孤。洛陽親友如相問，一片冰心在玉壺。”辛漸離開龍標後，王昌齡游武岡雲山訪程六、柴侍禦。遊雲山，有詩《雲山清曉》：“蒼深翠淺瀑崢潺，豈謂譏秦始愛山。一炬咸陽機塚赤，紫霄巍立曉雲間。”程六、柴侍禦送王昌齡回龍標，盤桓數月。冬，程六、柴侍禦離別龍標，王昌齡有《送柴侍禦》：“沅水通波接武岡，送君不覺有離傷。青山一道同雲雨，明月何曾是兩鄉。”又有《送程六》：“冬夜傷離在五溪，青魚雪落膾橙薺。武岡前路看斜月，片片舟中雲向西。”
唐玄宗天寶十二年（753）癸巳，丹陽進士殷璠編選《河岳英靈集》竣，起唐玄宗開元二年（714）甲寅，共收24位元詩人作品，其中王昌齡的詩選得最多，共16首，其次是常建（15首），再次是李頎（14首），再其次才是李白、高適、崔國輔（各13首）。而當時王昌齡又正在偏僻的貶所龍標當縣尉。由此可知他在當時也是一位很有名望的詩人。晚唐顧陶編《唐詩類選》時，也將王昌齡置於杜甫、李白之後的第一人。
明思宗崇禎十七年（1644）甲申，文學家向文煥游黔陽縣城東金鼇山麓沅水之畔的芙蓉樓，有《臨江樓記》。“金鼇山多橘柚，舊有樓曰臨江，少伯日登臨之，賦詩自娛，命蒼頭拾敗葉為炊，則金鼇龍標間自有樓在。”（民國二十七年黔陽縣長張其雄《芙蓉樓記》）
清高宗乾隆四十年（1775）乙未，黔陽縣縣令葉夢麟，於東城外舊臨江樓遺址建芙蓉亭。
清仁宗嘉慶二十年（1815）乙亥，黔陽縣令曾鈺，尋前人植亭廢址，低窪迫隘，無山水林木之美。既非唐時之舊而蕞爾之土，又不足以著名勝愜遊觀。爰改卜於城西香爐岩。其地背郭臨江，依林踞阜。軒豁呈露，洵勝境也。僉議曰善，遂捐產為倡。黔陽邑庶士聞之，咸踴躍樂輸，鳩工庀材，諏吉始事。因地勢之高下，准佈置之疏密。正者為樓，高者為亭，拱而翼者為廊，綴其旁者為室。繚以長垣，固以石闌。層磴穿雲，飛甍插漢。自有芙蓉樓記，及懷古詩即事、並留別詩四章。一時名流和韻成帙。
清宣宗道光十九年（1839）己亥，黔陽縣縣令龍光甸重修之。樓下為龕廳，中祀龍標縣尉王少伯，左祀黔陽縣令曾鈺，右祀黔陽縣令雷鐸牌位。龕左右石刻《王少伯宦楚詩》及《芙蓉樓落成》等詩，皆辛丑狀元龍啟瑞手書。又東石壁鉤刻米芾書《西山書院碑記》，西石壁刻顏真卿書《麻姑山仙壇記》，皆同時黔陽教諭黃本驥所設。樓後，有半月亭。又圓亭，為冰心玉壺亭，合篆“一片冰心在玉壺”七字鐫石，為龍啟瑞于道光二十一年（1841）手書。亭下為芙蓉池，中蹲古石。池旁有洞在焉。樓左建有碑亭，左刻顏真卿“浮玉”二大字，右刻嶽飛“墨莊”二大字。中為黃本驥集字長律一章，其左集字長律一章，右嵌武陵女史陳梅仙篆字十六鑲。祠後石刻曾鈺及蕭錫霖詩。樓右刻有曾鈺《新修芙蓉樓碑記》、閻海林手書《夏日同人燕芙蓉樓詩》。四旁古色蒼然，琳琅眩目，令人應接不暇。樓最高，背郭臨江，怪石戄立，中懸《芙蓉樓全圖》，為黔陽縣令龍光甸妻、狀元龍啟瑞母黎采蘋手作。對壁讀畫，倚檻看山，為“楚南上游第一勝跡”。
清德宗光緒二年（1876）丙子，欽加同知銜署理黔陽縣事陳忠煐重修芙蓉樓，並撰有碑記。
中華民國十一年（1922）壬戌，黔陽縣縣長田運寅主持建修芙蓉樓邊廂、偏殿等附屬建築。
中華民國二十七年（1938）戊寅七月，湖南省第七行政督察區專員公署專員兼黔陽縣長張其雄主持復修芙蓉樓，得湖南省主席何健、國民黨要員危道豐、黔陽縣農會長謝祖乾等人資助。湖南省第七行政督察區專員公署專員兼黔陽縣縣長張其雄撰《芙蓉樓記》，秘書長黎澤泰書。
共和四十五年（1984）甲子，芙蓉樓文物管理所所長夏安，因芙蓉樓日見傾欹，遂主持維修工程。
共和六十七年（2006）丙戌三月，芙蓉樓文物管理所所長李慧仁主持復修工程，耗資200萬元，費時半年。校修樓宇、翻修碑廊、繕修庭院、擴修圍牆、新修門坊。使1248年歷史的芙蓉樓煥然一新。
共和六十九年（2008）戊子清明，原懷化市旅遊局局長唐國煥陪同懷化市作家協會主席鄧宏順、向本貴及李槐蓀，登芙蓉樓，見碑廊有書法、記事各類，而無有紙版宣傳品，遂萌生將碑刻拓印，並注釋成書之念，因邀約賀俊卿、夏安、謝永仲等，集思廣益，共襄盛舉。是時，五溪文化學者謝永仲遠在長沙謀事，聞此舉，欣然答允。月後，即自長沙回，著手收集、整理芙蓉樓書法碑刻和記事碑刻的撰寫者、