不过萧瑀处事却严厉刻板,刚直不阿,上朝言事言辞简括直率,屡次忤逆圣意,且为人严厉清正,不肯容忍之短,不善处理人际关系,与同僚多不和,关系紧张,因此惹得李世民极为怨愤。虽在李世民一朝始终处于权力中心,但其仕途也是极为坎坷,一生六起六落,即六次拜相又六次被罢相,甚至在最后一次被罢相时,李世民因念其忠诚耿直,不忍再度废黜他,希望他能自动辞职,以保全面子。但最终还是触怒了李世民,结果被削去爵位,贬斥出京。萧瑀被贬斥出京后,他的姐姐萧皇后受到了沉重的打击,竟然一病不起,与世长辞。而萧瑀因与姐姐萧皇后从小相依为命,感情很是深厚,在萧皇后死后,萧瑀感到无比的孤苦和寂寞,随后便也身染重疾,不久即病情恶化去世,终年74岁。时离萧皇后去世仅三个月。