。但是后来被发现了，李存勖很生气，连自己的女人都敢动，这真是吃了雄心豹子胆了。于是派人押解张彭到京城准备治罪，张彭害怕了，把原来隐瞒公款的账单都拿出来献给郭崇韬，争取宽大处理，郭崇韬非常感谢张彭，于是给李存勖求情，不杀他，但是也就是这件事从此郭崇韬与任园产生了矛盾。同光三年(公元95)，任园罢去司马之职，只当工部尚书，基本上算是被闲置了，没啥事。魏王李继岌和郭崇韬去伐蜀，害怕任园在朝中说他的坏话，陷害他，于是安排任园参与灭蜀的军事行动，随时在身边监视着。
灭蜀后，上表任园为黔南节度使，任园坚决要求不去。等到李继岌杀了郭崇韬后，派任园代他统率大军返回。但是就在这个时候，因为朱友谦和郭崇韬事件的刺激，康延孝造反了，李继岌派任园率三千军队会合董璋、孟知祥等军镇压叛乱，最终汉州击败延孝。而魏王李继岌到了渭南后听说李嗣源已经在洛阳称帝了，知道这皇帝已经没他啥关系了，于是就自杀了，任园率大军独自东还。明宗李嗣源嘉奖任园，觉得这是个大忠臣，于是提升任园为同中书门下平章事，也就是实际上宰相，随后又兼职了三司的职位。当时，李嗣源刚刚诛杀孔谦之类的人物，任园选择人才比较公正客观，重实干而不是名声，压制断绝侥幸之人，公私仓库丰实，天下安定，可以说任园是一个实干型的人物，举个例子，之前在孔谦时代，官员的俸禄那都是不足额的，等他上台，直接就全额发放，不允许打折，很得人心。但是他也有缺点，那就是急功近利还有一点就是不够明智和清醒，而他最终就是因为这两点掉了性命，我们下面详细说。不久，韦说、豆卢革被罢相，宰相的职位出现了空缺，这就需要再选两个，再选的过程中就出现了问题，任园与安重诲、郑珏、孔循商议选择能够当宰相的人。任园认为李琪合适，李琪这个人的确是比较适合的宰相，因为不算是能力还是才识都没啥问题，可以说任园选择的还是比较客观的，虽然说李琪也带有任党的印记。可是郑珏、孔循不赞成李琪为相，孔循对重诲说：“李琪不是没有文才，但是不廉洁啊，整天干点龌龊事！宰相，只要端庄有气度的人就能够当，重要的是人品而不是能力和才识，太常卿崔协就可以当嘛。”安重诲想了半天，觉得有理表示同意。过了几天，李嗣源问谁可以当宰相，重诲立即答复崔协可为相。任园上前争论说：“安重诲不熟悉朝廷中人，被别人利用了，全天下的人都知道崔协不识文字，是虚有其表，天下都称他为‘没字碑’，意思就是不认识字。臣我原本就是陛下错误的选择（当然这是谦虚的说法），无功靠幸运而升任，这种不知书不识字的人，有臣一个人供人耻笑足够了，宰相这个位子有几个？哪里还能再增加笑料呢？”李嗣源一时间不知道怎么决断于是说：“宰相位置重要，你们更应详细审查。我在藩镇时认识易州刺史韦肃，人们都说他是名家子弟，而且和我关系也不错，让他当宰相可以吧？如果他若不可，那么冯书记冯道是先朝判官，自立够了吧，可以当宰相吧？”一群人商议了半天，扯了半天淡未做决定，安重诲等人退出来在中兴殿廊下休息，孔循不辞而别，拂衣而去，边走边骂说“：天下的事，一决定于任任园，二决定于任任园，他任园算什么样的人？”任园对安重诲说：“李琪的才华，可胜过当时的一百人，但是小人谗言巧妙阻挡，忌才害能，倘若不用李琪而用崔协为相，犹如抛弃用紫苏合成的药丸而取屎壳郎滚转成的粪球。”安重诲笑而不言，然而安重诲终于相信孔循的话，过了一个多月，崔协与冯道都当了宰相，崔协在相位数年，人们都嘲笑他的所作所为，任园与安重诲的矛盾从此开始升级，任园一连和两代权臣闹得不欢而散。以前使臣出使各地都是户部发给公文，安重诲奏请从宫内发出公文，任园从历史上的传统与他争辩，但是没说服他，于是就和安重诲在皇帝