当时，丘力居寇略青、徐、幽、冀，四州被其害，将领公孙瓒无法抵御。朝中认为刘虞有德义，曾经当过幽州刺史，对当地士民有恩信，又为外族所附，如果让刘虞去镇抚，幽州可以不劳众而定。[29]
中平五年（188年），朝廷正式任命刘虞为幽州牧。并下诏发南匈奴兵，跟随刘虞讨伐张纯。结果南匈奴发生内乱，单于被杀。[30][41]刘虞到达蓟县，精简了部队，广泛布施恩惠，派遣使者告峭王等人朝廷将宽大处理，可以免除他们犯下的罪责，又悬赏通缉张举、张纯二人。丘力居等人听说刘虞到了，纷纷派遣使者前来沟通归附之事。张纯二人逃到塞外，其余的也或降或散。公孙瓒担心刘虞立功，暗中派人在途中暗杀这些使者。外族得知此事后，便绕道到刘虞处。[6][29]
中平六年（189年）三月，张纯被手下王政杀死，首级被送到刘虞处。[4]汉灵帝刘宏派使者升刘虞为太尉，封容丘侯。[5]刘虞先是推让，并举荐卫尉赵谟、益州牧刘焉、豫州牧黄琬、南阳太守羊续担任此职，但刘宏最终还是拜刘虞为太尉。[6][8]