1846年，胡林翼被任命为贵州安顺知府。临行前，他跪在祖坟前发誓：绝不以一钱自肥以贻前人羞。当时的安顺，地无三尺平，人无三两银。胡林翼上任的第一天，衙役们杀了一头猪，宰了一只羊，用苗家最隆重的礼仪迎接新知府，而胡林翼却叫来了街坊邻居，叫来了沿街乞讨的乞丐，把他们请上桌来。衙役们有些惊愕。胡林翼语重心长地说，我不是来吃肉的，我是来做事的，我与大家有福同享、有难同当。

　　初任知府，胡林翼便芒鞋短衣，出入于山间沟壑，访贫问苦，作社会调查。他亲自绘制上百幅地图，哪里富裕，哪里贫穷，哪里混乱，哪里盗匪出没，他了如指掌。通过调查研究，他厘清了治理安顺的思路：一是组织百姓子弟学习，兴办学校；二是治匪，把民众组织起来共同维护社会治安；三是鼓励生产，积极发展地方经济。他以身作则，亲力亲为，亲自带领官兵与盗匪作战数百次，清除了匪患，为百姓的生产生活创造了安定的环境。胡林翼在贵州为官八年，一直过着清苦的生活，交情绝少，府库中的银子未曾动过一两，他宁肯借贷和赊账度日，也不以公款来肥己。在任黎平知府时，府中经济极为困难，乃至家丁都忍不住了，跑掉六七人。

　　胡林翼认为：民乱必由官贪，民乱的根本原因不在于民，而是官的贪污腐败。他在一封奏疏中这样写道：“救地方之急症，莫如选将；医国家之真疾，莫如察吏”，“国家之败，皆由官邪，民乱必由官贪”。因而，他不仅注重自身的清正廉洁，还非常注重吏治，坚决惩治贪污腐败官员，毫不手软。咸丰五年（1855年），胡林翼被任命为湖北巡抚。当时的湖北，官场腐败、经济凋敝、匪患成灾、民不聊生，被称为“天下第一破烂鄂”。他首先从整顿吏治开始。当时湖北有六十多个州县，他明察暗访，掌握翔实的事实和材料。对那些不做事而贪图享受的庸官，做坏事而贪污受贿的劣官，绝不容情，该治罪的治罪，该撤换的撤换。在他担任巡抚的前五年，被劾参营私舞弊、破坏漕章、胡作非为的州县官员，就有二三十人之多。王尔敏在《胡林翼之志节才略及其对于湘军之维系》一文中这样称赞道：“由于林翼之忠诚，储才之远识，果然使湖北耳目一新，人才之盛冠全国，一时为各方瞩目。”与此同时，胡林翼采取整顿盐政，整顿漕运，整顿军事等一系列措施，开创了湖北的清明政治，把湖北“天下第一破烂鄂”变成了吏治最清明，风气最正的“天下第一富强省”，史称“湖北新政”。

　　呕心沥血，殚精竭虑，为的是造福一方，为的是国家的长治久安。胡林翼在给学生的信中这样写道：“官是苦海，不努力不能保全地方，过努力则一身一心之苦累，不可言状。”他还说：“吾等做官如仆之看家，若视主人之家如秦越之处，则不忠之大焉。”这里的“家”指的就是国家和人民。“公仆”一词，大概就是由此而来。

　　据说，青年时期的毛泽东读过胡林翼的文集后，十分敬佩他这位老乡、前辈的人品才华，遂将字改为润芝，后又改为润之，天下先有胡润芝，遂有毛润芝。（杲继普）