求贤若渴的刘备不计前嫌地去拜访刘巴，才发现刘巴逃走了，而且逃得很远，逃到交趾（今越南）。刘巴之所以逃走，是因为招抚长沙、零陵等地的计划失败了，无法回去向曹操交差，只能一逃了之。在其出逃之前，诸葛亮曾情真意切地写信劝他归顺刘备，刘巴却回复：“受命而来，不成当还，此其宜也。足下何言邪！”毫不犹豫地拒绝了，使“先主深以为恨”。

历史上的张飞并非粗鲁武夫，他很喜欢结交有名气的士大夫。所以张飞自然也想结交刘巴，但是刘巴不搭理张飞，张飞为此很愤懑，两人关系一直很紧张，诸葛亮曾劝刘巴对这位皇弟客气些，但刘巴不买账。面对这种情况，刘备很无奈地对诸葛亮说：“刘巴这个人才智超人，如果无人替代，那么就用他，如果有人替代，那么就不必用他了。”

参考资料：《三国志》裴松之注