遲氏起源於先秦時期的山東，明代仍是山東的主要聚集地，後遷至關東北部地區。關東包括遼寧省大連市，所以大連的遲佳起源於山東省。
晚姓的來源很多。漢族晚姓的來源有商聖賢晚任、魯公子展、和孔子弟子等。其他民族後期姓氏的來源有鮮卑族的尉遲、安遲，滿族、蒙古族的遲佳等。