常惠是太原人。年轻时家中贫穷，自告奋勇报名参军，跟从移中监苏武出使匈奴，一同被匈奴扣押了10多年，到昭汉帝时才得以返回。汉朝为嘉奖苏武等人的功劳，封苏武为典属国，后来被列为麒麟阁十一功臣之一，成为千古名扬的爱国典范。常惠作为苏武的副手，朝廷也没有忘记他，封为光禄大夫。

这个时候，在乌孙的解忧公主上书说：“匈奴发动骑兵在车师屯垦，车师与匈奴军合二为一，共同侵犯乌孙，希望天子来救我们。”汉朝征兵养马，商议准备攻打匈奴。赶上昭帝崩，宣帝刚登基，本始二年，派常惠出使乌孙。

乌孙公主和乌孙王都派使者来朝，通过常惠上书说：“匈奴接连派大部队攻打乌孙，夺取了车延、恶师等地，把当地的百姓都抢走了，还派使者来威胁要求娶乌孙公主，想使乌孙同汉朝隔绝。乌孙王愿意征发国内一半的精锐部队，自行配备好5万士兵和马匹，竭尽全力攻打匈奴。希望天子派兵来拯救公主和乌孙王！”于是汉朝大规模调发15万骑兵，5位将军率领分路出发。

朝廷任常惠为校尉，让他带着符节统辖乌孙军队。乌孙王自己率领翎侯以下的5万多骑兵从西面进兵到右谷蠡庭，俘获了单于的父亲一行人马以及嫂嫂公主，有名的王爷以及骑兵将领和部下39000人，夺得马、牛、驴、骡、骆驼5万多匹，羊60多万头，乌孙都自行取走所俘获的东西。

常惠带着10多个官兵同乌孙王还军，还没有到乌孙，乌孙人就偷走了常惠的官印和符节。按照当时的规定，丢失了官印和符节，是死罪，常惠回到京城，自以为一定会被杀。当时汉的5位将军都没有功绩，天子觉得常惠奉命出使取得成功，没有追究罪责，还封他为长罗侯。

又派遣常惠带着黄金增帛回去赏赐给乌孙的显贵以及有功的人，常惠趁机上奏说龟兹国曾杀校尉赖丹，没有治他们的罪，请顺便去攻打龟兹，宣帝没有同意。大将军霍光暗示常惠根据情况自行决断行事。常惠和官兵500人一同到了乌孙国，回来路过龟兹，就征发西面国家的军队2万人，命令使征发龟兹以东国家2万人，乌孙兵7000人，从三面攻打龟兹。

军队还没有会合前，就先派人指责龟兹王以前杀汉朝使者的罪状。龟兹王道歉道：“这是我先王的时候被贵人姑翼所害而成，我没有罪。”常惠说：“即使是这样，也要把姑翼捆来，我可以放了大王。”龟兹王就捆缚姑翼带到常惠处，常惠杀了姑翼后就回去了。

后来常惠替代苏武为典属国，他熟悉外国的情况，辛勤劳苦数次有功绩。甘露年中，后将军赵充国莞，天子就任常惠为右将军，典属国的官职照旧。宣帝崩，常惠事奉元帝，3年后莞，谧号为壮武侯。封国传到曾孙，建武年中才断绝。