在布伦堡登上他权力顶峰的同时，他在军事问题上的谨小慎微和巨大的权力也开始渐渐引起希特勒的不满，早在1936年3月希特勒下令国防军开进莱因兰非军事区的时候，他就对希特勒的这种冒险举动提出了警告。

1937年8月5日，希特勒招集战争部长布伦堡，陆军总司令弗利希，海军总司令雷德尔，空军总司令戈林和外交部长纽赖特在总理府开会，向他们宣布了他的远期战争计划并要在近期对奥地利和捷克斯洛伐克采取侵略行动的企图。

在会议中，布伦堡在弗利希的支持下提出了战争将会遭到西方列强联手干涉的警告，因此他和弗利希都对希特勒的侵略战争企图持保留或反对的态度。

这令希特勒极为震怒，他认识到必须及早把布伦堡和弗利希轰下台，重新换一个顺从的军队首脑。

否则，他们两人迟早将会成为他发动侵略战争的绊脚石。

不久，布伦堡的婚姻丑闻给了希特勒这个机会。

自从1932年布伦堡的妻子赫尔米希去世后，他一直过着鳏夫的生活。

但5年后，他很快就和他的秘书格鲁恩小姐坠入爱河并准备结婚。

然而，布伦堡也清楚，他和出身平民的格鲁恩结婚肯定会遭到思想保守的军官团的反对。

为此，他想办法找来希特勒和戈林来做他的证婚人，以此来封住军官团的嘴。

1937年8月12日，他与爱娃。

格鲁恩在战争部大厅内举行了平民婚礼。

随后，布伦堡就带着新婚的妻子去意大利度蜜月去了。

婚礼的证婚人希特勒和戈林或许当时没想到，这桩布伦堡的喜事给了他们除掉他的天赐良机。

在布伦堡度蜜月期间，柏林警察局长赫尔道夫发现了一份记载着元帅新夫人爱娃。

格鲁恩曾经做过的档案，他立即将这份档案交给了国防军局局长，布伦堡的亲家‐‐凯特尔炮兵上将，希望他能够妥善处理，凯特尔在得到这份关乎他上司命运的档案后，因为害怕包庇布伦堡而开罪纳粹党和党卫军，影响自己的前程，所以把档案交给了戈林。

觊觎布伦堡帅位已久的戈林很快就向希特勒告了密，希特勒勃然大怒，他的元帅欺骗了他，还让他去做证婚人，把他当作傻子。

这个消息也使军官团彻底抛弃了布伦堡，陆军参谋长贝克曾对凯特尔说：&ldo;不能容忍一个陆军元帅和一个结婚。

&rdo;

很快，8月25日，布伦堡便被希特勒就职并被迫退役。

这位显赫一时的陆军元帅就这样在陆军名录中被永远划去了，突然消失在公众的视线之中。