乾隆十九年（1754年）至三十三年（1768年），是纪昀在翰林院春风得意、酣酒高歌的日子。这时与他交游的朋友中有王鸣盛、钱大昕、朱筠、卢文?、王昶等。乾隆二十年，纪昀在北京歙县会馆拜见了戴震。两人一见如故，并折节与交。
　　乾隆三十三年（1768年）六月，据《清高宗实录》记载，两淮盐政卢见曾因有营私贪污行为而被革职查办。纪昀则因为通风报信而被发配乌鲁木齐。这件事《清朝野史大观》的记载更为生动有趣：当时纪昀得知消息，想预先通知卢家。但又怕引火烧身，不敢轻易传话、写信。他想出了一个绝妙的办法，把一点食盐和茶叶封在一个空信封里，里外未写一字，星夜送往卢家。卢见曾从中终于悟出其中的隐语：“盐案亏空查封”。后经刘统勋等人的严密侦缉，纪昀终于败露，同年十月，被遣戍乌鲁木齐赎罪。
　　在乾隆三十六年六月奉召回到京城之前，纪昀在新疆呆了两年多。在这两年多时间中，其大儿子纪汝佶病亡，爱妾郭彩符在纪昀东归不久也撒手人寰。在这段日子里，纪晓岚对人生有了更深切的感悟，体会到了君主的无常、官场的险恶与世态的炎凉。一种人生的空幻感与弥漫感伤的情绪时时萦绕于心际。在这期间，他曾为自己的一块砚台赋诗：“枯砚无嫌似铁顽，相随曾出玉门关。龙沙万里交游少，只尔多情共往还。”他还曾为一幅《八仙对弈图》题诗，图上，韩湘子、何仙姑对局，五仙旁观，铁拐李酣然大睡。纪昀端详过后，无限感慨涌上心头，信笔写道：
　　“十八年来阅宦途，此心久似水中凫。如何才踏青明路，又看仙人对弈图。
　　局中局外两沉吟，犹是人间胜负心。哪似顽仙痴不省，春风蝴蝶睡乡深。”
　　重返翰林院，使纪晓岚的思想为仕与隐的抉择产生过激烈的斗争。他对人生世事的认识更加清醒，对胜衰荣枯之理也有了更深的理解。与其争强好胜，还不如酣然“痴不省”而来得快活。
　　但是，纪昀最终还是选择了继续过那种“水中凫”的生活，火热的经世情怀终于战胜了退隐的念头。纪昀生活后期，备受恩宠。他三迁御史，三入礼部，两次执掌兵符，最后竟以礼部尚书、协办大学士加太子太保管国子监事致仕。纪昀不仅居高位，享盛名，而且执学术牛耳，为士林所宗仰。洪亮吉就称他“当代无人可并论”，是名副其实的一代文宗。虽然如此，他晚年的内心世界却日益封闭。年轻时一度才华横溢、血气方刚的他，至此，日感疲惫，再“无复著书之志，唯时作杂记，聊以消闲”，其《阅微草堂笔记》正是这一心境的产物。所以当《阅微草堂笔记》脱稿时，他不无抱憾地吟咏道：“平生心力坐销磨，纸上烟云过眼多。拟著书仓今老矣，只应说鬼似东坡。”
　　嘉庆十年（1805）二月十四日，一代鸿儒纪晓岚去世，终年82岁。嘉庆帝曾亲自前往祭奠，并追谥文达。