永嘉之亂，說是南渡，為建安太守；子女散在吳越，或家在臨桂。(《漢濱文集》卷十五)
這種說法雖然簡短，但頗具代表性，與明成化《臨桂縣誌》的記載和現存的石氏族譜基本壹致，只是後者在西晉建興末年(317)南遷，晚了幾年。關於石南遷的時間問題，學界也存在較大分歧。北宋時，蘇頌在《石頭記·牧之》中說:
石是青年協會的成員。唐初，祖某逃往越南，因為家在廣西附近。(《蘇魏公文集》卷五十五)
史南遷的時間，據說是在西晉永嘉之亂和唐初。兩者都出自宋代墓誌，但時間相差甚遠。甚至有壹種說法認為，石南遷始於唐末的樂陵，是為了躲避黃巢之亂。造成這些不同看法的主要原因，恐怕是宋初史氏族譜的散佚。這壹點在南宋新昌石氏後人石自忠的《修譜序》中說得很清楚:
自萬第十五任總統孫建安以來，石家壹直是元太守，並從金建興元年年底渡江，居於東南。前者的野心是李思的校尉被提升為渡江始祖，或者說晚唐避巢之亂是從樂陵遷徙開始的。蓋是按族譜散的，所以不對。先民的祖先開始收集墓誌銘和家族傳記，與史書有關，族譜為正。(《南明石氏族譜》卷首)
經過晚唐黃巢起義和五代十國的戰亂，唐朝以前的姓氏宗譜大多已經失傳。宋代程顥說“唐末五代之亂，致舊譜牒失傳，天下之序不可復知”(《程譜牒序》)。因此，史自忠的說法是可信的，符合當時的事實。
宋代對《臨桂》石譜子的修訂，始於《石公比》，卻是北宋末年。在此之前，臨桂石氏家族的後人對其家族歷史的描述是混亂的。從現存的南宋史氏家族墓誌銘、族譜及後世方誌來看，關於史氏家族起源的記載在進入南宋後相對統壹，這可能與北宋末史公弼修訂族譜有關。
到了南宋中期，史甚至有了比較完整的譜系。南宋時期，陸遊和都曾試圖提及史氏族譜。此外，還可以舉壹個例子，周必達的《文鐘記》(卷七十五)《石博士墓誌·官(按日問)》記載:
本朝大臣程通判鮑洲為諱，石灣為第四十代之孫。是曾祖父，軍隊大亂，他被殺了，胡先生是碑文。
墓誌上說請高祖師為萬史粉的第四十孫，這與現存史氏族譜的記載相吻合。墓誌寫於嘉泰三年(1203)，說明到南宋嘉泰時，臨桂石室自西漢石室以來已有完整的譜系。南宋修纂的《史氏族譜》已佚，但推測其關於《史》源流及早期世系的核心內容應與現存《史氏族譜》記載相同。換句話說，現存的《石氏族譜》關於石氏家族起源和宋以前早期世系的核心內容，實際上是繼承了南宋族譜的記載。
魏晉南北朝時期(196-589)是中國歷史上的壹個動蕩時期，也是壹個人口遷徙和民族融合頻繁的時期。西晉惠帝年間(291-306)，發生了“八王之亂”，中原北部人民遭受了巨大的災難。與此同時，西晉的統治力量被大大削弱。此時，匈奴人劉淵、石勒等胡人乘機與金作戰，史稱“五朵野花”。永嘉五年(311)，石勒在古縣(今河南陸毅)消滅20萬金軍，隨後劉曜、攻占洛陽，殺官士三萬余人，將晉懷帝流放平陽(今山西臨汾)。這就是歷史上著名的“永嘉之亂”。5年後，長安也淪陷了，存在了38年的西晉也走到了盡頭。晉朝南遷，司馬睿稱帝建業(今江蘇南京)，史稱東晉。為了躲避胡統治者的屠殺，北方士紳巨賈和大量普通百姓不斷渡江，逃往相對穩定的長江以南。《晉書·王導傳》中說:“羅京被推翻時，中州有十六七個士女逃到長江左岸(即江東，指長江下遊以東的地區)”，壹半以上都南移了。在這壹時期，原本居住在山東樂陵的石氏家族開始向江東遷徙是完全可能的。此時，流向江東的中原宗族，起初多留在京口、丹陽(今鎮江)、建鄴(今南京)。
據臨桂《南明史譜牒》記載，建興(317)末年，史氏第十五任建安太守史淵(史延慶墓誌銘中為石舉)自晉朝皇帝司馬睿渡河，居丹陽(今江蘇鎮江)，其後裔分布在江左。世元支持南北朝時，後人遷徙到浙江紹興。唐朝時，這個石家住在東邊的上岡(今嵊州市浦口鎮上江村)。唐二年(837)，第35世史氏家族史元從上岡遷至吳山鄉石牛鎮(今新昌縣西門外)。鹹通元年(860)，丘福起兵破縣，石原為避亂遷居黃壇，葬於附近的平頂山。臨桂石室因此倍增。