为了报答李晔的恩德，李顺节经常向李晔打小报告，说杨复恭的坏话。李晔听了之后龙颜大悦，鼓励他有朝一日肯定能超越义父。有了皇帝的期许，李顺节开始培植自己的势力，杨复恭自然成了他的绊脚石。
有一天，李晔和宰相在大明宫延英殿商议政事，杨复恭有事求见，因此和往常一样坐着轿子直接来到大殿门口。宰相孔纬突然咆哮道：“陛下，您身边就有反叛的人，何必舍近求远，去镇压地方上的节度使呢？”
李晔听闻此话，配合地问道：“不知爱卿说的是谁？”
孔纬：“就是杨复恭。”
杨复恭大惊失色，跪在地上辩解道：“臣岂是叛臣？望陛下明察。”
孔纬：“陛下，杨复恭不过是皇家的一个奴才，竟然敢直接坐轿子上殿。而且他还广收义子，让他们执掌兵权，这不是要造反吗？”
杨复恭：“陛下，臣收养义子，是为了辅助陛下您啊。”
李晔：“既然你是替国家着想，那为何这些人姓杨而不姓李呢？”
此言一出，杨复恭理屈词穷，无言以对。说白了，这是打压杨复恭权威，测试他反抗态度的试验。不管是李晔，还是朝臣，都不会因为义子姓氏的问题处罚杨复恭。此事过后不久，宰相孔纬因为朝廷对李克用战争的失利被贬，在前往任所的路上，遭遇了一伙歹徒。背后的主使，正是杨复恭。