早在隋末，就有黑水靺鞨酋长率领所部数千户内附，被隋炀帝安置在营州（现辽宁朝阳）。隋末中原混战，这个部族加入唐朝一方，随李世民攻打刘黑闼，并击败了高开道引来的突厥军。贞观年间，这个部落酋长被赐姓李，酋长的儿子就是李谨行，也是初唐时期的一员虎将。

黑水靺鞨主体其他十几个部落仍然生活在白山黑水之间，其中白山部原来依附高句丽，高句丽被灭后并入中原，所以大唐对靺鞨各部并不陌生。

开元十三年（725年），唐王朝驻守东北的安东都护薛泰上书请求在黑水靺鞨设置黑水军，又在黑水靺鞨领地设置黑水都督府，以其首领为都督，统御其原有领土，唐王朝向黑水都督府派遣长史，之后朝贡不绝。

这就是唐王朝的羁縻州的标准形态，这块土地算是大唐领土了，但唐王朝并没有真正在这些地区进行行政管理，也没有驻军，只是一个名义上的统一。

盛唐疆域图

黑水靺鞨归附唐王朝的核心原因是要在大唐和后突厥之间选边站队。

当时唐王朝和后突厥之间争夺东亚领导权的战争已经持续了数十年。

从武则天时期开始，后突厥一直占据主动，甚至已经恢复了当年东突厥全盛时期的荣光。到了李隆基时期，唐王朝几次对后突厥的战役都没取得预期效果，李隆基也转变了战略，由军事打击变成了双方对耗国力。具体的措施之一，就是双方都在争夺一批小势力的领导权，其中包括契丹、奚族、渤海、新罗、室韦，当然也包括黑水靺鞨。

这个过程中这些小势力的选择各不相同，新罗和室韦投靠了大唐，契丹和奚族游移不定但倾向于后突厥，渤海犹豫不决。

黑水靺鞨这时选择了大唐，这才有了这次内附和黑水都督府的成立，分析其原因有以下几点：黑水靺鞨与大唐并不接壤，投靠大唐不会被唐王朝过多压榨，而后突厥对所属部落压迫严苛，黑水靺鞨需要改善自己的境遇；黑水靺鞨受到同是靺鞨一族的渤海国的军事威胁。渤海国一直有向东、向北发展的想法，双方接壤，黑水靺鞨需要唐王朝的支持和保护；最后可能就是仰慕中原先进文化了，东北各少数民族势力在尧舜时期就有与中原政权联络的传统，深知中原的先进、强大和富饶。

黑水都督府和渤海都督府

安史之乱后，辽西被渤海国控制，黑水都督府再无记录。

盛唐时期东北、外东北的情况是这样的：

契丹和奚族控制着通往东北的陆上通道，渤海国占领着辽东，再往北才是室韦和黑水靺鞨，当契丹和奚族与大唐敌对的时候，唐王朝在东北地区包括朝鲜半岛的实际控制能力就是零。而自从武则天时期营州之乱契丹、奚族反叛之后，这条通道就时断时续，一直持续到盛唐，李隆基也没能解决这个问题，安东都护府治所也多次内迁，安禄山就是靠与契丹、奚族作战十余年才有了他造反之前的权势地位。

于是，当黑水靺鞨选择归附大唐之后，渤海国也刚刚换了国王大武艺，大武艺同样也面临着要在大唐和后突厥之间选边站队的问题，之前的国王大祚荣是两边不得罪、两边讨好。当时后突厥势大，唐王朝并没有表现出明显的优势，渤海国还想把黑水靺鞨的领土据为己有，大武艺就选择了后突厥一边，出兵攻打黑水靺鞨。史书上没有记录大武艺的战斗结果，但之后黑水都督府还能入朝朝贡，估计是大武艺占到便宜就回军了。之所以没说大武艺打败了，因为几年后大武艺就水陆两路攻打大唐，后路不稳的话大武艺也不敢对大唐用兵。

大祚荣

史书上实际上到此之后就没有了黑水靺鞨和黑水都督府的记录。

安史之乱时大唐平卢节度使还兼任着渤海、黑水等外藩镇抚使头衔，安史之乱后河朔三镇为藩镇所有，辽西也被渤海国侵占，即使当时黑水都督府仍然存在，与大唐千山万水阻隔也是无法联系。

总之，黑水靺鞨归附大唐是当时两大之间一小的无奈，唐王朝也没有真正把统治权延伸到这个区域，这和在西域有唐朝驻军的实际控制有本质区别。