这确实给葛雄飞出了难题，对朝廷重臣的处置如果只凭着“风闻”，那必定会引起大家非议，而且魏金祥盘踞大司空位置多年，手下门生故吏如过江之鲫，这方面的舆论不得不考虑。

葛雄飞想了一会，说：

“私下结交藩王，兹事体大，臣下的意见是宁可信其有，而不可信其无，现在虽然证据不足，一时不能对魏金祥治罪，但可以让他从大司空这个关键位子上先下来，这应该可以的吧？”

“那以什么理由呢，而且大司空人选目前也没有合适人选。”

“陛下，大司空这个位置掌握着统兵权，如果魏金祥一旦真有异心，陛下很难对他进行有效地控制，因此，臣的建议是，先不管接替大司空的人选，而是要把魏金祥先拿下来。”

葛雄飞本来就对魏金祥这些赳赳武夫颇有看法，此时毫不留情地落井下石，他接着说：

“至于理由嘛，就说韩国公劳苦功高，理应好好享受，而大司空这个位置日理万机，陛下于心不忍，让他暂时退下来修养，然后陛下再给他增加赏赐，这在朝中应该说得过去。”

第二天，景德帝就下了旨，说他十分心疼韩国公魏金祥案牍劳形，日理万机，为了让这个有功之臣能有修养的机会，特免去了魏金祥大司空的职务，并给他增加食邑500户。

魏金祥内心十分清楚，景德帝此时已开始对他猜忌，可他绝不能表示自己的不满，还要歌颂景德帝对他的关心。于是，他装着十分愉快地样子接受了旨意，至此回家闭门谢客。

可是，树欲静而风不止，几天后，魏笙武和几个年轻校尉在一起接受宴请。席间，有个校尉问起魏笙武他父亲到底是怎么一回事，魏笙武此时已经酒酣耳热，他叹了一口气，说：

“一言难尽啊。”

殊不知，第二天就有人到大理寺告密，说魏笙武对景德帝这样处置他父亲心怀不忿。

正满大街要找魏金祥岔子的葛雄飞大喜过望，随即立刻进宫面见景德帝。两人一合计，景德帝立即下旨将魏金祥和他的两个儿子魏笙勇、魏笙武打入诏狱，其余家人则遣送回原籍彭城，交由地方官员看管。