馬鞍山遠在新石器時代晚期已有人類活動的痕跡,其後陸續有居民遷徙至此,聚族而居,包括瑤族、輋族及越族。他們的祖先原居於湘、閩、贛、浙、粵,因戰亂及災荒等原因輾轉逃亡到南方,居於隱蔽的山林、沼澤或沿海地帶,早期以刀耕火種、捕魚採珠為生,後期逐漸開始參與運輸及商業活動。北宋以後,中原人士再度因戰亂與饑荒被迫南逃,避居於今天的新界,是為「鄧、廖、彭、侯、文」五大族。他們的祖先,部份原為客家人,但因人丁單薄而漸漸被原住民所同化,開始說「本地話」或「圍頭話」,因而被統稱為廣府人。