傳說夏塞民族的祖先起源於大八尖山，洪水時期南下到達阿裏山附近，沿著海邊到達他們後來的居住地。夏塞人在古代自稱“賽希亞特”，他們分為兩個群體:北方的賽-基拉帕，又稱大隘口群，分布在鵝公基山麓；賽瓦羅又名東河群，位於鵝公基山麓附近。
語言
夏塞的語言分為南北兩種方言。據語言學家推測，它是壹種更古老的南島語族語言，可能更早出現在臺灣省。為了適應當地的社會環境，大多數夏塞人會說普通話，甚至把普通話作為日常語言，但他們自己族群的語言卻逐漸被遺忘。但由於政府意識到了各個民族語言的重要性，開始推行“民族語言認證”，以逐步恢復使用這種夏塞語言的人數。
伊勢建築
服裝主要由亞麻布本身編織而成，馬甲由兩塊亞麻布對折縫制而成，正反面都有編織圖案(編織過程中夾入不同顏色的編織線形成幾何圖案)，頭上戴黑色頭巾，上衣為齊膝的雙排扣上衣，由兩塊亞麻布對折面向前縫制而成。束腰裙男的是丁字褲，女的是深色棉布做的打底褲，壹般下緣有小鈴鐺。其他包括手臂、腿、手腕、頭飾和腰飾。
夏塞的大部分房屋位於山坡或小梯田上。因為他們生活在樹木和竹林豐富的地區，建築材料多以竹、木為主，藤為輔。