“千牛卫”这个名字，始于唐代，正式名称为“左右千牛卫”。在唐代，“左右千牛卫”是大唐南衙“十六卫”中的两“卫”，不领府兵，专责“掌执御刀宿卫侍从”，是皇帝内围贴身卫兵。晚唐以后，随着“府兵制”的瓦解、“南衙十六卫”的衰败，“左右千牛卫”也逐渐变得徒有虚名，变成了虚衔的一部分。五代、宋、辽、金，皆是如此。

唐代禁卫军分为南、北两衙，左右千牛卫是南衙卫兵。南衙卫兵就是“十六卫”，是国家军队。唐朝实行“府兵制”，在“南衙十六卫”中，除左右千牛卫和左右监门卫不领府兵、只负责警卫外，前“十二卫”都遥领全国府兵。

北衙禁军由“北门屯营”逐渐发展为“北衙六军”等，其中最为有名的一支就是“羽林军”。北衙禁军是皇帝私人军队，是“募兵”，由皇帝亲信指挥。

南北衙禁卫军共同卫戍皇宫和京师，并相互牵制。但盛唐之后，“南衙府兵”逐渐衰败，“北衙禁军”逐渐成为中央政权直接依靠。