从乾道四年（1168年）年始，辛弃疾先后担任过建康府通判、滁州知州、江西提刑等职，在平定了赖文政领导的茶商军之后，又知江陵府兼荆湖北路安抚使，成为封疆大吏，后历江西、湖南安抚使等职。

频频的调动与升迁并没有使辛弃疾感到满足，他日夜渴望的是驰骋沙场，收复失地。

但辛弃疾豪迈倔强的性格和执着北伐的热情，却使他难以在官场上立足。

另外，“归正人”的尴尬身份也阻拦了他仕途的发展。

后来，辛弃疾因在地方上大刀阔斧地整顿、创置“飞虎军”等事，妨碍了权贵们的利益，淳熙八年（1181年）十一月被交章弹劾，以“用钱如泥沙，杀人如草芥”等罪名，罢去他的所有职务。

在被罢官时，辛弃疾回到上饶，开始了他中年以后的闲居生活。

此后二十年间，他大部分时间都在乡闲居。

绍熙三年（1192年）至绍熙五年（1194年），辛弃疾出任福建提刑、福州知州、福建安抚使等职，其间一度归朝任太府卿，又被劾罢官奉祠。

同年夏，辛弃疾回到上饶，住在瓢泉，动工建新居，经营瓢泉庄园，决意“便此地、结吾庐，待学渊明，更手种、门前五柳”。

嘉泰三年（1203年），主张北伐的韩侂胄起用主战派人士，已六十四岁的辛弃疾被任为知绍兴府兼浙东安抚使，次年（1204年）差知镇江府，年迈的辛弃疾精神为之一振。

嘉泰四年（1204年），他晋见宋宁宗，认为金国“必乱必亡”，被加为宝谟阁待制、提举佑神观，并奉朝请。

不久后，辛弃疾出知镇江府，获赐金带。

辛弃疾知镇江府时，曾登临北固亭，感叹对自己报国无门的失望，凭高望远，抚今追昔，于是写下了《永遇乐·京口北固亭怀古》这篇传唱千古之作。

开禧元年（1205年）三月，在一些谏官的攻击下，辛弃疾被降为朝散大夫、提举冲佑观，又被差知绍兴府、两浙东路安抚使，但他推辞不就职。

之后，他还被进拜为宝文阁待制，又进为龙图阁待制、知江陵府。

朝廷令辛弃疾赶赴行在奏事，试兵部侍郎，但辛弃疾再次辞免，回到铅山。

一连串的打击使辛弃疾心力交瘁。

开禧三年（1207年）秋，朝廷再次起用辛弃疾为枢密都承旨，令他速到临安府赴任。