至宋代，據《宋史·蠻夷傳》記載，“人居谷，其山自衡州至長寧縣，分屬桂陽陳、連、何、邵，圍壹千余裏，居其中，故稱瑤人”。當時瑤族使用的蠟染印花布是壹種先進的紡織技術，在周曲飛《答嶺外之輩》中稱之為“瑤點布”。布上布滿了“燦爛”的細花，雲“染斑的方法也是墨妖人用的”。1167(南宋三年大道)為了加強對瑤族的統治，將曲江縣的乳源、崇信、樂昌分為三個新興的瑤族鄉，設立乳源縣，縣城在玉堂(今後宮都洛塢)。
明清時期，統治者在楊煉、乳源等瑤族地區建立了特殊的政治制度，采取了鎮壓與綏靖相結合、分而治之的政策。如1395年(明洪武二十八年)，連州設千戶(後改指揮為同治)，置姚佳為都督，設總兵、將軍專事鎮壓；1403-1424(永樂年間)也被劃歸付瑤掌管。從1398(洪武三十壹年)起，又在乳源設姚頭，轄姚鎮、將軍賈，通稱姚關。除了姚頭，還有姚煉和姚佳。姚守和姚連任命漢人擔任職務，而姚佳則由獲得“主人”身份的瑤族上層地主富農擔任。除了和乳源，翁源縣還有姚慕，英德縣在勉縣和有部。1465-1487年(成化年間)，付瑤、瑤兵進駐瑤區，各據點設瑤網。沿至1702(清康熙四十壹年)在連州設立姚軍政知，專司姚事務。1727年(雍正五年)，連州升為直隸，李耀同知改為姚遂同知，並增項勇、仙耀兵。
1912(民國元年)，隋瑤堂改為吳耀辦事處，隸屬連山縣辦事處。每排八排瑤都有壹名瑤主任和幾名瑤醫處理瑤務。1927年(民國16年)，廣東省政府解決“華凱李堯族群”案，在省民政廳設立華凱李堯局，在楊煉設立華藥局，隸屬省政府。24年改為“安化署”。1942年(民國31年)，瑤區實行保甲制，姚昌、姚連為鄉長，保、賈。1946年(民國35年)設連南郡，轄瑤區(不含漢區)，三江屬連縣，寨崗屬陽山。至於曲江縣附近的瑤區，分為曲江、乳源、樂昌三縣，其中碧北壹帶屬樂昌，尤溪壹帶屬曲江，東平西山壹帶屬乳源。
況且唐宋以後，統治者在對少數民族進行管理和征稅的同時，仍然實行階級壓迫和民族歧視的政策，導致了瑤族人民的反抗。唐末幹福六年(879年)，黃巢起義軍從廣州北返。起義軍中的陸因病留在連州瑤族地區，與、領導的湖南瑤族起義隊伍會師，在分離20年的湘南建立地方政權。北宋清朝時期，貴陽瑤族大規模起義，粵北各地瑤族紛紛響應，範圍涉及英國、韶州、連州等地。於是北宋統治者出兵攻打瑤族居住中心區，進壹步把瑤族推進邵州、連州山區，“靠山吃山”，頑強繁衍。1245年(南宋淳祐五年)和宋末，乳源瑤人也有謀反的記載。明清時期，瑤族被征用、被鎮壓，史書記載的瑤族事件此起彼伏。如1450-1456年(明朝景泰年間)，廣西大藤峽瑤族起義，楊煉瑤族及時響應，占領連山縣城，趕走知府。1459年(天順三年)，堯中又破山；四年後，廣西瑤族起義，韶州瑤族響應，甚至到達翁源，攻占清苑縣。1515(十年)，樂昌西山兩千多瑤族連續五天圍攻乳源縣城。1647年(清初順治四年)七月，乳源瑤族起義。首領黃萬生帶領人民加入楊煉瑤族，帶領壹萬多人圍攻乳源縣。1675年(康熙十四年)，乳源姚與吳三桂及其部下聯合反對自稱“勉”、“陸遊”(姚讀音)的越山姚。據《魯春秋·慎勢考》、“...神農十七代開始分天下”。商周時期有11位皇帝被分封。始龍帝之子宣，賜乞姓，其分支為瑤族最早之人。在古代史書中，最早記載瑤族先民的是東周和西周時期的蠻夷和荊蠻夷。後漢書:公元前770-221年，秦趙浩棋使白起攻楚，侵蠻夷，設黔中郡。在《後漢書》(公元前209-220年)中，居住在湖南武陵、巫溪壹帶的瑤族被稱為武陵人，是盤瓠的直系後裔。《舒威》卷110、《南史》卷79(420-618)記載的荊州人、永州人，都說是在潘虎之後。
據史料記載，瑤族最早的發祥地在黃河流域，周代逐漸遷移到長江中下遊，在福建(今福建)、浙江(今浙江)、江淮(今安徽)等地生活繁衍，後沿長江中上遊西移。秦漢時期逐漸集中在湖南湘江、沅江流域和洞庭湖沿岸地區，形成了以無錫、武陵等古長沙為中心的主要聚落區。後來由於與當地統治階級多次發生利益沖突，被統治階級多次殘酷鎮壓後大批南遷，逐漸進入廣西、廣東、江西等地。早期的廣東瑤族由此而來，也就是古籍中記載的“廣東瑤族來自武陵源”的說法。歷史上，瑤族先民在隋朝以前的秦漢時期就開始南遷。據北魏著名地理學家李道元《水經註》記載:“...漫月渡水出武陵郡，元北，水出郴州郡，故成；南面玉林潭榆中縣與鄰水交匯，稱為移溪，東面蒼梧為玉溪(註:漢武帝在位第六年即公元前1165438，轄區包括梧州市、蒼梧縣、廣西東部、廣東西北部等廣大地區)，東面為高要。相當多的人，從那以後，他們越過山脊，住在董熙。”本文中的蠻月指的是南遷的瑤苗等先民。據史籍分析，今天乳源瑤族的壹些珍貴手記，是用來乘船渡海的，而且大師的書裏有很多說法，叫神仙要調兵，就要問連州廟的神仙。瑤族先民其實應該是乘船渡海，從湖南武陵渡水出，沿沅江進入粵西、桂東的西江流域，然後以不同的方式遷徙。大部分人在西江流域和縣境內翻越山脊，進入廣東連州、韶州、乳源、樂昌等地。還有的繼續乘船進入西江，沿西江流向廣東肇慶、高要、懷集、廣州等地，然後逐漸向東北、西北遷徙。在漫長的遷徙過程中，壹部分人逐漸跨越江西、福建等地。被東海等海阻隔，這些人逐漸從福建、江西回徙到廣東的龍門、始興、英德、曲江、仁化、樂昌等地，都屬於綿語。他們語言相近，生活習慣相似。隨著瑤族、苗族等民族的大量南遷，越來越多的瑤族在廣東定居。隋末唐初，大批瑤族先民居住在粵北的西江流域和楊煉縣。根據李默對廣東瑤族歷史上壹些問題的探索，引用了電白縣方言和《化州誌》、唐代送劉思福去參軍的詩、南朝方不同故事的敘述，隋唐時期，廣東連州、邵州、肇慶、龍水、高州、化州等地，到了宋朝，”.....桂陽之州，陳、連、賀(廣西賀州)、邵，即屬巡撫寧郡，遂成，而行萬裏圍”。明代有“南嶺無山無瑤”的鼎盛時期。據《天下郡縣之病》壹書記載:“明代廣東有瑤縣21個，其中瑤山891個。”雖然當時廣東各地都有瑤族，但據有關資料顯示，當時瑤族居住的中心不是廣東，而是廣西靠近廣東邊界的西江流域。當時永安的梧州、大藤峽、涪江、西鄉、路東、和縣是瑤族先民聚居的中心。據《史明鎮廣東少數民族誌》記載，明代兩廣禦用謀士、將軍鎮民爵在朝廷奏報的文書中說，廣西永安州西鄉、涪江東西兩岸的瑤賊長期作亂，遂調集軍隊鎮壓。在周邊地區，動員了64000多名士兵，最後把他們夷為平地。僅永安壹州就需要調六萬四千兵到此，可見當時廣西西江流域的瑤族遠遠多於其他地方。今天，廣西仍然是中國瑤族人口最多的重要省份。
在古瑤族先民漫長的遷徙過程中，由於自然、歷史、經濟和各種民族關系的復雜性，省與省之間、地與地之間的相互遷徙(也就是說除單向遷徙外還有雙向遷徙甚至重復遷徙)是正常的。湖南人民出版社出版的《瑤族文選(翻越名單)》壹書中篩選出30多個翻越名單。其中有湖南遷到廣西、廣東的記載，也有廣東遷到廣西、湖南的12的記載。其中5個記錄明確由廣東樂昌西山遷至湖南道州、江華、藍山。上述歷史記載恰恰說明歷史上瑤族先民的遷徙生活是壹個艱難而復雜的歷史過程。雖然遷徙路徑不同，到達廣東省韶州、乳源等地的時間和朝代不同，但與先期到達廣東省韶州等地的瑤族是同宗同源的患難同胞。他們說緬語，有相同的語言，有相似的生活習慣。這就是他們中的壹部分人在400多年前離開乳源、樂昌西山，向西遷移到廣西、雲南、越南、泰國，再遷移到法國、美國、加拿大，至今仍與乳源有著相同的語言和血緣關系的歷史淵源。