1874年菲尔莫尔去世后，卡罗琳并没有改善和继子的关系，仍旧居住尼亚加拉广场的宅第中，直至1881年8月11日去世。
当1860年的大选又来到的时候，菲尔莫尔没再介入竞选。他知道，自己的政治峰巅已成昔日黄花，即使自己再抛头露面也没有多少人响应自己的号召了。不过，作为多年政坛上的老将，他心中的政治火苗并没有完全熄灭，当政治暴风雨来临的时候，他还要趁机闪烁几下，发散一下余光。60年代初，美国内战的形势越来越明显了，可以说是一触即发，可在任的布坎南总统却迟迟下不了决心采取行动，这引起了北部联邦的强烈不满，他们纷纷指责布坎南。菲尔莫尔也不再沉默，加入了日益高涨的批评者的大合唱，甚至破天荒的事情出现了，菲尔莫尔——这位自始至终的温情主义者——竟然发表言论说什么布坎南应该使用武力来防止南方联邦的分裂行动，并声称那些企图脱离联邦者，“应被视为阴谋叛国者拼凑起来的未经授权的州议会，理应像其它任何不合法的议会一样受到惩罚。”
