赵烈文最终还是步入官场了，这是老师曾国藩的要求。他于同治八年五月抵达保定，再次入幕，十月，曾国藩外放他任磁州知州。
清朝的直隶省行政单元最为庞大，下属十府、六直隶州、四直隶厅、十七散州、一百二十三县。磁州（今河北磁县）是散州，属广平府，知州是从五品，级别高于知县（正七品）。清朝的州县岗位有“冲（交通枢纽）、烦（公务烦多）、疲（赋税拖欠多）、难（民风彪悍）”的分类，而磁州占了“冲、烦、难”三项，素称难治，按官场的说法是“要缺”或“繁缺”。但磁州比较殷富，又是直隶著名的“肥缺”。曾的用意很明确：一是培养人才，需要让烈文“下基层”磨练；二是从现实出发，做官可以挣钱养家。烈文还是像以往一样推辞，他不是虚伪——自己的性情历来畏难畏烦是原因，更怕干不好给曾国藩丢面子。
其实老师待他不薄——知州的级别虽不高，但有清一代，即便是科举正途的进士，三五年也未必能谋得像磁州这样的“要缺”，至于举人，五十岁以前基本没有可能。而烈文无疑走的是“军功保举”的捷径——谁都知道他和曾家的关系，苦等十几年还等不到实缺的那些后补官员们，不免眼红，烈文如履薄冰的心态亦可知焉。做官还有许多无形的损失，主要是做人的尊严方面。以前烈文在曾幕，是客卿性质的下属，搁现代至少也是“首长秘书”，外出办事，即便巡抚一级的干部，见他也要客客气气的。那时候他写信，对李鸿章都是朋友式的口气，真从曾国藩算起来，李鸿章也不过是他的“师兄”。但进入官场，一切都不同了，等级森严，任命书一下，连对曾国藩也不能像过去那样随便，而以前懒得打交道的布政使、知府之类，如今都成了自己的上司，掌握着考核的权力，要轮到他毕恭毕敬了。
不过比起当官的实际好处，“清高”又显得多余，按道光年间洪亮吉的说法“守令之拙者，满任而归或罢任而返，其盈余虽不多，然恒足以温饱数世……今则十倍于前”（《卷施阁甲集》卷一），否则也不会那么多人眼红了。名义上，清代知州每年的薪俸是80两银子，这当然是开玩笑，还要有养廉银，而直隶省的州县官员，每年养廉银最高也不过1200两，还不够为幕僚支付报酬。一个州县官的正常支出，要包括摊捐、幕僚薪金、伙食费、接待费等好几项，每年约五千到一万两左右，而磁州是“冲”，直隶的南大门，迎来送往更要花钱，要靠巨大的“陋规”维持。“陋规”是一种官场潜规则，即地方各级官员可以自行收费以补充收入，法律是默许的，没有它，地方工作不能开展，因此，“三年清知府，十万雪花银”是必须的。但收多少陋规，完全凭官员的良知，所谓好官，就是陋规基本上用于公事，不用于自己致富，但这需要多高的觉悟！赵烈文固然是好官，后来调职，据说还留下州财政的亏空，可见其“刮民”不恶。但在那个体制下，一个官员即使不爱钱，也不会受穷，此前日记中不见他任何消费的记录，担任州官后，购买精致版本的图书则屡见不鲜，可见其经济状况的改善。老师曾国藩诚然是严于自律的一代伟人，但出于亲密，还是为他“曲线”地解决了后半生的生活，他对此感激零涕。
同治九年十月，曾国藩重任两江总督。南下时并不路过磁州，烈文特地赶到今天京冀交界的白沟河去迎接，陪了五天，一直送到河间才告别。这是他最后一次见曾国藩，临别“为之怆然”，而曾亦“闵默不复能谈”。这对师徒无疑是那个时代道德水准的标杆，但他们也无法摆脱文化惯性所编织的社会人情大网——在厌恶规则的同时，自己也不自觉地执行着规则，这是那个时代的悲剧，也是中国历史的悲剧。
继任直隶总督的是李鸿章，也是曾幕中的老关系，但十年间青云直上，官架子要大多了。李很看重烈文，对他早有“为何不投入我门下”的遗憾。然而在次年五月，烈文去职磁州，等候调职，本来稳拿的赵州知州缺，却被别人夺走。这是曾国藩离任的效应，李鸿章不可能面面俱到，而布政使等人早憋着换上自己人，烈文就这样吃了哑巴亏，暂时安排编撰《畿辅通志》。
转过新年，即同治十一年的正月，或许是直隶的长官们觉得对不住曾国藩的委托，或许是受到曾的直接压力，又委任烈文易州知州，仅赋闲半年即又履新职，后台还是很硬。易州不如磁州富裕，却是省的直隶州，下面还辖有涞源、涞水二县，属于“冲、烦”。知州的级别是正五品，庶几等于知府的从四品，烈文实际上是晋升了。作文www.yuananren.com而更有特殊意义的是，清西陵在易州，平时有宗室看守，搞不好皇帝也会来谒陵，知州的责任更大。但他上任才一个月，就传来了曾国藩逝世的消息，而此前他还为哥哥的工作麻烦老师，悲痛之情，难以言表。此后三年，波澜不惊，只是在同治十三年二月，皇帝与两宫太后谒西陵，烈文记录详细，是很好的史料。但在接待的过程中，他得罪了监察工程的宗室，后者还去直隶告黑状，尽管李鸿章不以为然，但官场的黑暗让他心灰意冷，更何况对于一个预测政权五十年必亡的人，这个体制本身就不值得留恋。
光绪二年三月，赵烈文辞去易州知州职务，准备还乡。李鸿章不愿放他走，但他去意已定。他从未去过京师，绕路入都一游，南下途中，又游览了泰山、曲阜，于是，每天的日记都是一篇精彩的游记。其中关于北京旃檀寺的记录尤为珍贵，因为此地如今是国防部大院禁区，古迹已经没有了。他到家已是十月底，七年游宦，落叶归根，虽然才华未尽施展，毕竟官囊不薄，今后可以过上体面的生活了。
早在同治三年攻克天京之后，烈文就有求田问舍之志。他看中了常熟县城西南虞山脚下的一块地，开始建造私人园林，而北归之后，似乎更不愁资金，开始大力营造。如今常熟市区有“曾赵园”景点，是将曾朴（《晚清著名小说《孽海花》作者》的“曾园”与赵烈文的“赵园”合在一起，成为当地一大名胜。据说典雅清幽，媲美苏州园林，也算是赵烈文留下的“文化遗产”之一。
他的生活自此悠闲平静，爱好不过是收藏珍版书籍和金石碑帖，隔几年还会买个小妾。他对时局的深刻洞察力依然偶露锋芒，如光绪二年上书李鸿章论外交，言“与其起衅而开边，毋宁口诛而笔伐。勿以强弱计成败，但取曲直论是非。得攻心之一言，胜浪战之万万……至于一日之计，则防清议重于防边；十年之安，则审敌人莫先审己。若进为长治久安之上策，盖不外用人行政之大端”，文辞足以媲美唐代陆贽的奏议！而这种清醒的见地，即使用于当世也不为过。
但他的身份彻底转变为乡绅，志向也转移到纵情山水，唯一让他有所顾虑的是子女的前途——毕竟维持这种社会地位和生活水平是家族最低的要求，为此，他不惜放下老脸，利用曾国荃、曾纪泽这些关系，为子女和亲属求职。此后的生活虽悠哉，亲友的相继去世却贯穿了整个隐退生涯，属于他们的时代正在缓缓落幕。当他的日记戛然而止之时，自己的生命也似乎进入苟延，而即将进入二十世纪的满清王朝，也一步步地实现他的预言。