上皇时常临幸此楼，街市过往的人遥望叩拜，上皇有时以御膳余剩之物，命高力士宣赐街市中父者，人都欢忻，共呼万岁。
    李辅国便乘机借端密奏肃宗道：“上皇居兴庆宫，而高力士日与外人交通，恐其不利于陛下。
    且兴庆宫与民居逼近，非至尊所宜居。
    西内深严，当奉迎太上居之，庶可杜绝小人，无有他虞。”
    肃宗道：“上皇爱兴庆宫，自蜀中归，即退居于此，今无故迁徙，殊佛这圣意，断乎不可。”
    辅国见肃宗不从其言，乃密启张后，使亦以此言上奏。
    肃宗恐惊动上皇，也不肯听。
    张后忿然道：“此妾为陛下计耳，今日不听良言，莫叫后日追悔！”
    说罢，拂衣而起。
    肃宗默默含怒，适又偶触风寒，身上不豫，暂罢设朝，只于宫中静养。
    辅国途乘此机会，与张后定计，矫旨遣心腹内侍及羽林军士，整备车马，诣兴庆宫奉迎上皇，迁居西内，请即日发驾。
    上皇错愕不知所谓，内侍奏称皇爷以兴庆宫逼近民居，有亵至尊，故特奉请驾幸西内。
    皇爷现在西内，候太上驾到。
    上皇心下惊疑，欲待不行，又恐有他变。
    高力士奏道：“既皇帝有旨来迎，太上且可一往，俟至彼处，与皇帝面言，或迁或否，再作计议，老奴护驾前去。”
    上皇无奈，只得匆匆上辇。
    高力士令军士前导，内侍拥护，銮舆缓缓行动。
    将至西内，只见李辅国戎服佩剑，率领军士数百人，各执戈矛，排列道旁。
    上皇在辇上望见，大惊失色。
    高力士见这光景，勃然怒起，厉声大喝道：“太上皇爷驾幸西内，李辅国戎服引众而来，意欲何为？”
    辅国蓦被这一喝，不觉丧气，忙俯伏奏道：“奴辈奉旨来迎护车驾。”
    力士喝道：“既来护驾，可便脱剑扶辇！”
    辅国只得解下腰间佩剑，与力士一同护辇而行。
    力士传呼军士们且退，不必随驾。
    既入西内，至甘露殿，上皇下辇，升殿坐定，问：“皇帝何在？”
    辅国奏道：“皇爷适间正欲至此迎驾，因触风寒，忽然疾作，不能前来。
    命奴辈转奏，俟即日稍疾，便来朝见。”
    上皇道：“皇帝既有恙，不必便来，待痊愈了来罢。”
    辅国领旨，叩辞而去。
    上皇叹息，谓高力士道：“今日非高将军有胆，朕几不免。”
    力士叩头道：“因太上过于惊疑耳，五十年太平天子，谁敢不敬？”
    上皇摇首道：“此一时，彼一时。”
    力士道：“今日迁宫之举，还恐是辅国作祟，皇后主张，非皇帝圣意。”
    上皇道：“兴庆宫是朕所建，于此娱老，颇亦自适。
    不意忽又徙居此地，茕茕老身，几无宁处，真可为长叹！”
    上皇说罢，凄然欲泪。
    后人有诗叹云：
    三子冤诛最惨凄，那堪又纳寿王妻？今当道妇欺翁日，懊悔从前志太迷。