衛玠從豫章來到建康，人們久聞他的大名，紛紛前來觀看，圍觀的人像墻壹樣堵得水泄不通。衛玠早就體弱多病，經不住勞累，最終釀成大病身亡，當時人們說衛玠是被人看死的。南朝梁 劉孝標註引《衛玠別傳》說：“衛玠向來有別於常人。衛玠童年時，武子曾和他乘著白羊車行駛於洛陽街市上。滿街的人都問：這個白璧壹樣的孩子是誰家的？衛玠是武子的外甥。於是家族鄉裏都稱衛玠為璧人。