古时作战多用马。战马疾驰疆场，冲锋陷阵，每战都要出很多汗。战斗次数越多，战况越激烈，出汗当然也越多。因此，形容有战功，就叫“汗马”。

《韩非子·五蠹》就有“汗马之劳”的说法。《战国策·魏策》也有：“张仪说楚曰：‘不费汗马之劳，不费十日。而拒扞关’。”（扞，扞关，地名。）,《史记·晋世家》叙述春秋时晋文公的一段故事时，也说过“汗马之劳”的话。晋文公，名重耳，是晋献公的儿子，所以又称公子重耳。他曾流亡国外达十九年之久，后来回国做了国君，而且称霸一时。当他回国之初，即位为晋文公时，对于随从他流亡的人员，一一论功行赏。有个小臣名叫介之推，没有提出自己有什么功劳，也不求赏赐，躲到深山里隐居起来了。另一个小臣名叫壶叙，见三次行赏都没有他的份儿，便对晋文公说：“君行三赏，赏不及臣，敢请罪！”晋文公当即把行赏的标准向他说明：“夫导我以仁义，防我以德惠，此受上赏；辅我以行，卒以成立，此受次赏；矢石（箭矢炮石）之难，汗马之劳，此复受次赏；若以力事我而无补我缺者，此复受次赏。三赏之后，故且及子。”,《史记·萧相国世家》和《汉书·萧何传》也有一段有关“汗马之劳”的故事。萧何是汉高祖刘邦的同乡，刘邦起兵反秦，萧何始终帮着他，筹谋划策，忠心耿耿，是刘邦最可靠的得力助手。秦亡以后，刘邦又打败了项羽，建立汉朝，做了皇帝，萧何便担任相国。刘邦认为论功劳应以萧何为第一，所以首先封他为“酂侯”（酂，县名，今湖北光化县），食邑八千户。但是其余功臣多不服，他们说：“我们拼死拼命，多的经过百余战，少的也打过几十仗，而萧何未有汗马之劳，只会耍笔杆、发议论，根本没上过战场，封赏反在我们之上，这是什么道理？”刘邦问道：“你们知道打猎的事吗？”大家同声回答：“知道。”再问道：“那么你们知道猎狗吗？”又是同声回答：“知道。”刘邦于是接着说：“打猎的时候，追杀野兽的是狗，而指示野兽的住处、去向，让狗去追杀的，却是人（‘夫猎，追杀兽兔者狗也，发踪指示者人也’）。你们只会追杀，不过是‘功狗’而已，至于萧何，能‘发踪指示’，他才是‘功人’。而且你们多数是单身跟随我，有同族两三人一起入伍的就算难得了，可是萧何，他叫全家族的几十个男子都参加了我们的军队，跟着我一同出力。他的大功劳是怎么也不能忘记的！”大家听了，便谁也不吭气了。