李隆基的兴庆宫有马三百匹，李辅国矫敕取马，仅留下十匹。
李隆基对高力士感叹说："吾儿为辅国所惑，不得终孝矣！"
李辅国又令六军将士，号哭叩头，请让李隆基搬出兴庆宫，迁居西内。
唐肃宗哭而不应。
李辅国这才感到惧怕，但他有一颗不会死心的心。
恰好，他碰到唐肃宗有病。
李辅国也不管那么多了，当下矫称皇帝旨意，迎李隆基于西内。
李隆基无奈，只得搬家。
他到了睿武门，李辅国带领着五百骑，露刃拔出白晃晃的刀子，拦在路上，说：“皇帝以兴庆宫湫隘，迎上皇迁居大内！”
李隆基受到惊吓，几乎坠马。
高力士见了，大声说："李辅国何得无礼！"说着，叱令他下马。
李辅国不得已，下了马。
高力士又宣李隆基诰令说："诸将士各好在！"
将士听了，纳刃再拜，山呼万岁。
李辅国这才知道，李隆基虽然没有权力了，但威望尚在。
高力士又叱李辅国，要求他与自己共同帮李隆基扶马鞚，侍卫们前往西内，居甘露殿。
李辅国无奈，只得率众而退。
但他把陈玄礼、高力士及旧宫人都迁出外面，不能留在李隆基左右。
李隆基也没办法，说："兴庆宫，吾之王地，吾数以让皇帝，皇帝不受。今日之徙，亦吾志也。"
李辅国与六军大将又假惺惺，素服去见唐肃宗请罪。
唐肃宗虽然不赞成这样逼迫父亲，但见诸将都参与了，也是没办法的事，当下慰劳他们说："南宫、西内，亦复何殊！卿等恐小人荧惑，防微杜渐，以安社稷，何所惧也！"
刑部尚书颜真卿见李隆基被李辅国这样的小人欺辱，当下率百寮上表，请问上皇的起居。
李辅国对颜真卿的行为深恶痛绝，当下奏贬颜真卿为蓬州长史。
不久，李辅国把高力士流放巫州，王承恩流放播州，魏悦流放溱州，陈玄礼勒令致仕，也就是提前退休。
李隆基被李辅国这样一逼，心情郁闷，因此不再吃荤，而且，经常没有吃饭，不久，就染上疾病。
唐肃宗开始的时候还有去问安，后来，他自己也有病了，只有遣人去问起居了。
不过，这时的唐肃宗开始意识到李辅国的阴险恶毒了，想要杀了他，又怕他手握重兵，杀他不成反被害，因此犹豫不能决。
宝应元年，公元762年，李隆基病逝于长安神龙殿，终年78岁。
他怎么也想不到，晚期会这么凄惨的生活！
其实，他最后的凄惨遭遇，正是在偿还晚期的错误。早期的李隆基，真是英明神武的三郎，最能体现他的英明的，在于他的用人，他用姚崇、宋璟、张说、张九龄等人，都是有才而又骨鲠的大臣，让国家进入了盛世；而晚期，从用宇文融开始，到李林甫、杨国忠，盛世走向了没落，最后，走向了动荡。由此可见，用人是多么的重要！用君子，则国治；用小人，则国衰。这是任何一个皇帝都知道的道理，问题是，不是谁都能去用君子的，因为君子势必阻止皇帝去肆意享乐。也就是说，能用君子的人，皇帝必须先是一个能控制自己欲望的人。
李隆基晚期控制不住自己欲望，小人焉能不乘虚而入？
惜哉！李隆基是最接近其先祖李世民的人，可惜，终究还是比不上，因为，他没有像李世民那样，至始至终，控制着自己，让自己那颗要放飞的心，始终牢牢被拴住！靡不有初，鲜克有终！人想达到完美，真是何其难也！