乐府最早指由朝廷设立的一个音乐管理机构。从出土的文献来看，乐府从秦代就已经开始设立，汉代的时候沿用了这种机构，但最早属于一个临时机构。

根据《汉书礼乐志》的记载，公元前112年，汉王朝正式设立乐府，它负责收集编纂各地民间音乐、整理改编与创作音乐、进行演唱及演奏等工作，它的采诗地区，包括燕、赵、代、秦、齐、楚、吴周等广大区域，采诗的目的在于了解民间风俗，为统治阶级提供政策依据。 这些采集来的民歌给配上音乐，因此称配乐的歌为乐府诗，或者简称乐府，这种称呼在魏晋南北朝时已经非常普遍。 这样，乐府就由一个机构的名称变为一种诗歌体裁的名称了。

汉魏六朝是乐府诗创作的高峰期，大量的乐府诗中既有文人诗歌，也有民间诗歌，民间诗歌更是其中的精华，其中《木兰诗》和《孔雀东南飞》以其高超的艺术水准被称为乐府民歌中的「双璧」，是中国诗歌史上膾炎人口的诗篇。

文学评论家刘勰的《文心雕龙》中对乐府诗的产生、发展演变、体裁特征作了较为详细的说明。 昭明太子萧统的《文选》、徐陵的《玉台新咏》开辟了乐府专栏，郭茂价的《乐府诗集》则是专门收集乐府诗的诗歌总集。 以杜甫、李绅、白居易等人为代表的唐朝诗人或自立新题作乐府诗，或借用古题写时事，他们创作乐府诗的目的在于针绝时弊，反映民间疾苦，诗歌也不再配音乐，因此，唐代的乐府诗被称为新乐府。