方山肉牛养殖由来已久。当地出土的新石器时代的彩陶上绘有牛形图腾，由此证明，早在六、七千年前，生活在这方土地上的先民们已经开始捕猎、驯化野牛。珍藏在吕梁市博物馆的汉画像石上刻有古代方山人役牛牧牛的图像，这说明西汉时期，牛与方山人的生产、生活息息相关。历史上，方山曾长期被白狄、匈奴、鲜卑、羯、氐、羌等游牧民族统治。《资治通鉴》记载，唐永泰元年（765年)至大历十四年（779年),党项族内迁石州（方山古称），以水草而居，养牛马。
方山肉牛品种优良。当地民间故事传说，方山肉牛乃是太上老君座下青牛所化。《太上说玄天大圣真武本传神咒妙经》记载：真武大帝入北武当山修道，历四十二年功成果满，白日升天。玉皇有诏，封为太玄，镇于北方。太上老君闻讯前来与真武大帝讲经论道。老君坐骑青牛趁机游山玩水，因迷恋当地景致，遂化身石牛长驻方山。
神话故事虽然不足为凭，但也从侧面反映了方山肉牛的优良基因确实非同一般。唐太宗李世民时期，名将尉迟恭（字敬德）曾获罪被贬方山马坊镇饲养军马。尉迟恭“思念朝廷，日夕登高遥望长安，无奈高塔阻隔，望而不见，一怒之下，以鞭折塔。”有人将此事禀告李世民，李世民听后甚是欣喜：“敬德不负我也。”遂将尉迟恭赦罪召回。尉迟恭回到长安，将方山牛肉进献皇帝。李世民品尝后龙颜大悦、连声称赞，下旨“岁岁以贡”。