柴瑞所搞出来的县令选举，让唐玄宗李隆基非常的愤怒。这是在藐视他的权威。虽然此时唐玄宗已经被安禄山驱赶的偏安一隅，但是他仍然是这片大地的主人。普天之下莫非王土……率土之滨莫非王臣……柴瑞如此的弄出稀奇古怪的东西，李隆基都可以忍受，可是如此藐视皇权的行为李隆基是不可以忍受。李隆基马上就给柴瑞下一封诏书。这是一封调任术，调柴瑞去其他地方当节度使。而且还要让柴瑞取笑那个官员，改由朝廷委派。柴瑞看着这封诏书，冷冷一笑：“你们说我该不该去？”杜甫显然沉默不语。一面是忠君爱国的思想，让杜甫想要听从李隆基的命令。而另一方面，杜甫现在是柴瑞的臣子，必须为柴瑞打算。耶查不刚却淡淡的说：“去。”这下众人都非常的反对。柴瑞连忙制止众人，问耶查不刚。耶查不刚此时慢慢的说：“北有安禄山，东有魏仲犀，李隆基等人，南有李亨，南诏；西有吐蕃，更加上和西域也不合，可谓我们现在腹背受敌。据情报所知，李隆基在荆州起兵二十万，而且不断的向西运行，看来目标则是我们益州。李亨也在江西柴桑集结了重兵。我想李亨绝对不是为了什么cao练吧。”李白怒吼道：“这些人来便来，还怕他们不成。”耶查不刚连忙对着李白说：“剑阁新战，南诏刚退，百姓刚刚经历了两场大仗，此时再次开战，实属不智。”柴瑞也在揣摩李隆基的意图。“好，我去下南京，看看李隆基到底能拿我如何。”李白等人再次阻止柴瑞。“我意已决，无须多言。传我将令，剑南道大小事宜分别有杜甫和耶查不刚负责。军事上由郭子仪、铁勒宏负责。诸位务必全力辅助，等着我凯旋归来。”看着柴瑞如此坚决，反对肯定无效。当散会之后，唯独耶查不刚没有走。“先生，为何不离去？”柴瑞看着没有走的耶查不刚，连忙问着。耶查不刚此时终于对着柴瑞说出了自己的心里话：“南京此行，非常的凶险。李隆基早已经起了杀你之心。”“这我早就知道。”“所以你去南京之时，一定要去见下安禄山。”“为何？”“不是要你真的去见安禄山，而是起码要离安禄山非常近，而后绕过去。而且行踪看似部署周密，可是一定要故意的暴露给李隆基的探子得知。当李隆基得知你前往国安禄山，虽然表面上不会说什么，可是内心一定会非常的猜疑。李隆基非常的担心你和安禄山勾结。”“你的意思是说，要我借着安禄山这张牌在南京周旋。”
耶查不刚点了点头又说：“李隆基不敢杀你，那样的话，肯定是把剑南道逼到安禄山这方去。李隆基最可能做的就是赐你一栋宅子，再授你一个虚职，而后把你软禁起来。”柴瑞牢牢的记住耶查不刚的话。柴瑞不担心李隆基杀他，因为李隆基不会这样做。李隆基不是没有头脑之人。而是软禁，让柴瑞不得不防。在离开益州之后，柴瑞果然的暗中朝北面而去，看似直奔长安而去。而且柴瑞故意的把自己的行踪暴露给李隆基的探子。但是快到长安之时，风灭等人立即出手杀死那些跟到此时的探子。从此柴瑞在李隆基的眼中，犹如人间蒸发一般。李隆基丝毫不知道柴瑞有没有去见安禄山。李隆基不得不做好最坏的打算。而正巧的是，安禄山和李隆基最近的一战当中，安禄山突然出现了只有柴瑞军中才有的火炮。火炮的出现，让原本相持不下的两军马上就分出高下，仆固怀恩的大军被火炮轰散了阵型，被安禄山的重骑兵长驱直入，大败而归。此时李隆基更是怀疑柴瑞和安禄山早就在暗中勾结。越是忌惮柴瑞，李隆基就越是不敢轻易的动柴瑞。好在柴瑞真的前往南京。李隆基正在盘算如何才能软禁柴瑞，从而切断柴瑞和益州方向的联系。蛇无头不行。只要柴瑞在自己手中，益州那些杂碎怎么敢不听命于自己。柴瑞到了长安附近，没有去见安禄山，也没有急着离开，而是对着地龙、地亢二位飘香仙坊的长老说：“你们可知道飘香仙坊的具体下落。”虽然地龙、地亢是飘香仙