房玄龄自知不久于人世，于是，对儿子们说：“我想我是病得快要死了，皇上对我的恩惠却越来越重，如果亏负了皇上，那么死了也还有责任。如今天下清静安宁，各方面的事都处理得妥妥当当，惟独不停地东征高丽，才是国家的忧患。皇上心怀愤怒，态度坚决，朝臣们没有谁敢冒犯威严进行劝谏；我明白这种情况而不说，就会带着遗憾死去。”于是，呈表直言劝谏说：
“我听说用兵打仗忌讳的是没有止息，崇尚的是争取和平。如今大唐的教化，没有哪个边远地区没有达到，自古以来不愿臣服的，陛下都能使他们臣服，不愿接受控制的，都能使他们接受控制。仔细观察历史和现状，给国家造成祸患灾难的，没有比突厥等西北民族更厉害的。
陛下也能静坐宫廷筹划英明的策略，不必亲出宫殿，而突厥等族大大小小的首领可汗，一个个归顺朝廷，分担守卫任务，参与宫廷警卫执勤工作。此后延陀部族猖狂嚣张，不久就被荡平，铁勒部族仰慕正道，请求设置行政机构予以治理，整个西北地区，一派清静安宁。后来像高昌国在西州暴乱，吐谷浑国在积石关反叛，派出一支部队征讨，就都归顺平定了。高丽祖祖辈辈逃避惩罚，没有谁能讨伐他。
陛下对他叛乱造反杀死国君、侵害百姓要给予处罚，亲自统领军队，到辽东、碣石征讨。还不到一个月时间，就攻克辽东，前前后后，俘虏他的人马达几十万，分给各个州郡，没有哪个地方没有满员。昭雪了历代的旧耻，安葬了历代阵亡将士的骸骨，论功业德行，超过历代国君千万倍。这些都是陛下清楚的，我怎能说得周全啊。
再说陛下恩泽遍布大地，孝德可比高天。分析周边侵我部族的衰亡，则能断定具体时日；给出征将领部署战略战术，则能决断万里之外的战机。弯弯手指，看看日影，就能断定邮递人员什么时间送来什么内容的文书消息，应验如同神仙，谋划无一差失。您从士卒中提拔将领，从百姓中挑选吏属。边远地区的外族使者，见一面就不会忘记；下级小官的姓名，问过一次就记住了。一箭能射穿七层铠甲叶片，拉开硬弓足有一百八十斤力量。更是倾心于古代经典，喜爱吟诵诗篇，书法超过东汉张芝、三国钟繇的造诣，文章深得西汉司马迁、东汉班固的神韵。文思奋发，如同音乐优美和谐；翰笔挥舞，如同百花竞相怒放。以仁慈抚慰百姓，以礼仪对待群臣。对微小的善行都要褒奖，对重大的罪错也能宽容。难听的劝谏您总是采纳，不实的报告您一概杜绝。您有爱惜生灵的美德，要把江湖上的捕捞设施烧掉；您有厌恶杀伤的仁慈，要使屠案上的宰杀工具停下。野鸟得到了饲养的恩惠，家畜得到了保护的爱心。您走下车来吸吮突厥可汗思摩的伤口，登上灵堂悼念魏征的亡魂。痛哭阵亡的士卒，哀伤震憾全军将士；背负垫路的柴草，精诚感动高天大地。对百姓的生命尤其看重，处理各种诉讼案件特别尽心。我记忆模糊，怎配叙述皇上深远的功业，议论皇上崇高的德行啊！
陛下集多种美德于一身，无不一应齐备，小臣我由衷地为陛下仰慕这些，尊重这些，维护这些，珍惜这些。《周易》里说‘知道进却不知道退，知道存却不知道亡，知道得却不知道失。’又说‘明了进退存亡得失的内在关系，能够恰当处理的，只有圣人吧！’从这些话看来，进里头就包含着退的意义，存里头就包含着亡的原由，得里头就包含着失的道理，我为陛下珍惜美德的原因，正在于此。老子说‘知足常乐就不觉屈辱，见好就收则不担风险。’说到陛下的权威声望功业德行，也可以满足了；拓展领土开扩边疆，也可以停止了。高丽是边境上的落后民族，不必以仁义对待，不能以常礼要求。
自古就把他们当作鱼鳖一样容留下来，对他们应当宽松。如果一定要灭绝他们，恐怕逼得无路可走就会拼命。再说陛下每判一个死刑罪犯，一定要三番五次地核查汇报，吃素餐、停歌舞的原因，都是由于人命关天，触动了您的仁慈心肠。何况那些普通士卒，没有一个犯罪的人，无缘无故把他们赶到战场上，放在刀尖下，使他们肝脑涂地，成为孤魂野鬼，让他们的老父孤儿寡妻慈母望着战车掩面哭泣，抱着枯骨极度伤心，足以使得阴阳颠倒，精气感伤，实在是天下百姓的委屈痛苦。再说武器是杀人的工具，战争是杀人的灾祸，实在没有办法才用兵打仗。假使高丽违背人臣的操守，陛下惩罚他们是可以的；侵扰我们的百姓，陛下消灭他们是可以的；日后会成为国内的祸患，陛下除掉他们是可以的。这三条中如有一条，即使每天杀一万人，也不必愧疚。现在没有这三条，无故烦扰国内百姓，对内要替前代国君雪耻，对外要为新罗国报仇，难道不是得不偿失？请陛下遵循皇家远祖老子‘知足不辱，知止不殆’的告诫，保护千秋万代的崇高声望。发布丰隆的恩泽，颁下宽容的诏令，顺应清明盛世施予恩德，允许高丽自己改过更新，烧掉渡海的战船，遣返应征的兵众，当然是华夏高丽幸福有望，边境肃敬，内地平安。我是个年老病重身处高位的朝臣，说不定今晚明晨就会死去，遗憾的是终究没有一粒尘土、一滴露水为高山大海帮点小忙。趁我断气前夕说出全部心里话，预先代为表达结草报答陛下大恩的诚意。如果承蒙采纳，就是我死了也算活着。”
李世民看了表章，非常感动，对房玄龄的儿媳，也就是自己的女儿高阳公主说：“这人病危到如此程度，还能忧虑国家大事。”
后来房玄龄病情恶化，于是凿穿院墙开了便门，李世民不断派遣中使探望。
李世民还亲临病榻，握住房玄龄的手诉说别情，悲痛得承受不了，皇太子也到房玄龄的床前跟他诀别。
李世民当面任命他的儿子房遗爱为右卫中郎将，房遗直为中散大夫，让他亲眼看到儿子们官高名显。
不久，房玄龄逝世，终年七十岁。
李世民停止臣子朝见，悼念房玄龄三天时间，同时下诏令追认房玄龄为太尉、并州都督，谥号叫文昭，赐予棺木，把他安葬在太宗为自己预先营造的昭陵墓地。