不过萧瑀处事却严厉刻板，刚直不阿，上朝言事言辞简括直率，屡次忤逆圣意，且为人严厉清正，不肯容忍之短，不善处理人际关系，与同僚多不和，关系紧张，因此惹得李世民极为怨愤。虽在李世民一朝始终处于权力中心，但其仕途也是极为坎坷，一生六起六落，即六次拜相又六次被罢相，甚至在最后一次被罢相时，李世民因念其忠诚耿直，不忍再度废黜他，希望他能自动辞职，以保全面子。但最终还是触怒了李世民，结果被削去爵位，贬斥出京。萧瑀被贬斥出京后，他的姐姐萧皇后受到了沉重的打击，竟然一病不起，与世长辞。而萧瑀因与姐姐萧皇后从小相依为命，感情很是深厚，在萧皇后死后，萧瑀感到无比的孤苦和寂寞，随后便也身染重疾，不久即病情恶化去世，终年74岁。时离萧皇后去世仅三个月。