书奏不报。世南又上疏曰：“汉家即位之初，便营陵墓，近者十余岁，远者五十年方始成就。今以数月之间而造数十年之事，其于人力，亦已劳矣。又汉家大郡五十万户，即目人众未及往时，而功役与之一等，此臣所以致疑也。”时公卿又上奏请遵遗诏，务从节俭，因下其事付所司详议，于是制度颇有减省焉。
太宗后颇好猎，世南上疏谏曰：“臣闻秋狝冬狩，盖惟恆典；射隼从禽，备乎前诰。伏惟陛下因听览之余辰，顺天道以杀伐，将欲躬摧班掌，亲御皮轩，穷猛兽之窟穴，尽逸材于林薮。夷凶剪暴，以卫黎元；收革擢羽，用充军器；举旗效获，式遵前古。然黄屋之尊，金舆之贵，八方之所仰德，万国之所系心，清道而行，犹戒衔橛，斯盖重慎防微，为社稷也。是以马卿直谏于前，张昭变色于后，臣诚微浅，敢忘斯义？且天弧星毕，所殪已多，颁禽赐获，皇恩亦薄。伏愿时息猎车，且韬长戟，不拒刍荛之请，降纳涓浍之流，袒裼徒抟，任之群下，则贻范百王，永光万代。”其有犯无隐，多此类也。太宗以是益亲礼之。尝称世南有五绝：一曰德行，二曰忠直，三曰博学，四曰文辞，五曰书翰。十二年，又表请致仕，优制许之，仍授银青光禄大夫、弘文馆学士，禄赐防阁，并同京官职事。寻卒，年八十一。太宗举哀于别次，哭之甚恸。赐东园秘器，陪葬昭陵，赠礼部尚书，谥曰文懿。手敕魏王泰曰：“虞世南于我，犹一体也。拾遗补阙，无日暂忘，实当代名臣，人伦准的。吾有小失，必犯颜而谏之。今其云亡，石渠、东观之中，无复人矣，痛惜岂可言耶！”未几，太宗为诗一篇，追述往古兴亡之道，既而叹曰：“钟子期死，伯牙不复鼓琴。朕之此诗，将何以示？”令起居郎褚遂良诣其灵帐读讫焚之，冀世南神识感悟。后数岁，太宗夜梦见之，有若平生。翌日，下制曰：“礼部尚书、永兴文懿公虞世南，德行淳备，文为辞宗，夙夜尽心，志在忠益。奄从物化，倏移岁序，昨因夜梦，忽睹其人，兼进谠言，有如平生之日。追怀遗美，良增悲叹。宜资冥助，申朕思旧之情，可于其家为设五百僧斋，并为造天尊像一区。”又敕图其形于凌烟阁。有集三十卷，令褚亮为之序。世南子昶，官至工部侍郎。