宥州设立于开元二十六年，即公元738年。

开元九年，居住在这带的胡人康待宾起兵反唐，唐王朝在镇压叛乱后，将参加起义的民众疏散到江淮渚州。而这些人世代游牧，迁徙无定，不习惯中原的农耕生活，日夜思念故土，迫切要求返回故乡。于是，开元二十六年，朝庭命宰相牛仙客在后世的鄂托克前旗设一新州，以安置从江淮地区返回的民众，并将此州取名宥州，以示唐政权的宽宥之意。