乾道六年，公元1170年，赵昚诏令范成大为祈请使，为了徽、钦二帝的宫寝陵墓的缘故。
金人不同意移交给宋朝，并报告准备以三十万骑兵护送徽、钦二帝的宫寝陵墓归宋，朝野上下议论纷纷，一片惊恐，荆、襄二州统帅都请求增加兵力戍卫。
虞允文对他们说：“金人刚杀死完颜亮不久，决不会轻举妄动，他们不过是故意虚张声势，吓唬吓唬我们而已。”于是奏请停止增兵。
朝野舆论一片哗然，虞允文坚持己见决不动摇，以后金军果然没有入侵南下的行动。
这事，可见虞允文地金人的了解。
虞允文看到王储空缺，当下屡次上奏疏，言词恳切希望早立太子，以安定天下。
乾道七年，公元1171年正月，赵昚封两宫尊号，立太子之议终于决定，下诏将第三子恭王赵赵惇立为皇太子，另一皇子赵恺以雄武、保宁军节度使身份通判宁国府。
皇太子不久就任临安尹。
侍卫马军司牧马的地方过去一直设在临安，虞允文认为此地地势狭窄，不利于放牧，请求下令将牧地改为镇江，遇有紧急情况时骑马过江比较便利。
三军将士对此颇有怨言，以后议事者以此指责虞允文。
胡铨因任台谏官评议国事过多的缘故被去职，虞允文奏请将他留在经筵。
不久，赵昚生日，金国使者乌林答天锡前来拜见。
他是金主完颜褒的女婿，态度恶劣，狂妄自大，坚持要求赵昚降低身份询问完颜褒的日常生活，向金主请安，赵昚不肯答应。
乌林答天锡就跪地不起，周围的侍从惊慌失措，无以应对。
虞允文请赵昚立即起驾回宫，然后告诉乌林答天锡说：“大宋皇帝既然已经起驾回宫，就不会再回此殿了，金使就随大臣们一起上朝祝寿吧。”
乌林答天锡无奈，只得羞惭而退出朝殿。
赵昚认为仆射的名称不太合适，将其改为左、右丞相。
乾道八年，公元1172年二月，任命虞允文为特进、左丞相兼枢密使，梁克家担任右丞相。
虞允文曾经举荐梁克家代替自己，皇上没有同意。
这个月，虞允文又以病要求解除自己的重要职务，又称赞梁克家老成持重有宰相的气度，到这时，梁克家开始与虞允文一同为相。
赵昚又下手诏问虞允文：“我准备提拔一名武将任枢密使，你认为曹勋如何？”
虞允文说曹勋人品卑劣，气量狭小，无特殊才能，不可任用此人。
不久，赵昚任命张说任签书枢密院事，右正言王希吕与台谏官交相弹劾张说。
赵昚对王希吕非常厌恶，手诏将王希吕发配到险恶的边远地区。
虞允文扣留了手诏，皇上愈加愤怒。
梁克家说：“王希吕评论张说，是台谏官的责任，虞允文救王希吕，是为了国家的大体着想。”
赵昚怒气逐渐消去，最终减轻了对王希吕的惩罚。