台山人是从哪里来的？一般人的说法是，宋朝咸淳（1265—1273）年间从南雄珠玑巷迁来的。其实，这只是台山人祖先的一部分。早在新石器时代，台山人就有人居住了。台山人是1957年知道自己老祖先的。
   1957年广东省文物工作队到台山普查，在广海咸家村、广海毛髻山、赤溪拔园、小江圩长头、台城猫山和大坑奇坑村，发现了一批新石器时代的石制工具、陶器等文物。经考古学家研究，认为这些文物产生于夏代，即距今约3800年以前。这就是说，早在遥远的夏代，台山就有人类活动了。
   从夏代经过商代、周代而到秦代，历史上关于岭南居民的记载很简略。我们只知道，秦代属于南海群辖地的台山，居民主要是越人，汉人移入的不多。汉代以后，北方汉人逐渐迁入岭南。
   经过普代、南北朝而至隋代，历史书上才有台山人物的记载，历史书上记载的第一个台山人物是冯融，死后葬于台山。
   《隋书▪谯国夫人》说：“冯融本北燕苗裔。初，冯宏之投高丽也，遣融大父业以三百人浮海归来，因留于新会”。据《新会县志》记载：“隋罗州刺史冯融墓在新会西南那船迳之古冢岭。”那船在北峰山西南，冲蒌朝中村东南面的山中。
   隋代，台山初步开发，不仅有农业，还有相当规模的制盐业。唐朝武德八年（625年），唐朝政府设立冈州盐场进行管理。当时的冈州辖新会、义宁（现开平）两县，而滨海能制盐的，只有新会县。新会的盐场，又主要在台山。宋代《元丰九域志》一书载：“新会县有海晏、博劳、怀宁、都斛、矬洞、金斗六盐场。”这六个盐场，除金斗外，都在台山。《元丰九域志》成书于1078至1080年之间，这说明在九百多年以前，台山已有相当发达的制盐业。这比南雄珠玑巷的故事，要早差不多200年。
   台山各性族谱，都说始祖于咸淳九年（1273年）从南雄珠玑巷迁来。珠玑巷在北宋首都开封附近的祥符县。靖康元年（1126年）宋政府因金兵攻陷开封而被迫南迁，这里的居民随行。一部分人越过梅岭，在南雄居住。他们不忘故乡，称新居地为珠玑巷。
   宋度宗（1265—1274年在位）时，宫人胡妃因为得罪皇帝被废去封号，她寻找机会逃出宫，穿上破旧的衣服做乞丐。当时南雄州保昌县牛田坊商人黄贮万用船装粮食在临安（南宋首都，现杭州）出售。胡氏下船乞食，黄贮万见她貌美又不知她是宫人，收留了她。带回南雄后，才知道她的身份，黄大吃一惊，先改称她为张氏，后来又遗弃了她，胡氏后来被强徒凌辱而死。不久，皇帝思念胡氏，密令兵部尚书张英贵查找胡妃下落，一年无结果，皇帝下令不再寻找。黄贮万的仆人刘庄因与主人失和，逃去首都，向张英贵报告此事。张英贵恐怕皇帝加以“访缉不严”之罪，伪称保昌县牛田坊老百姓造反，奏请在该处设安良平寇寨，驻兵镇慑，痛予剿办。牛田坊珠玑巷有一个名叫罗贵祖的人，她的姑父乔辉在京城做官，先行派人来报告。罗贵祖与97人秘密集议，决定南迁。经报县、府批准，发给“文引”（通行证）。他们带齐全家，南行至大良（当时大良属新会），各投土人草屋暂时安歇，然后再分头找安身之处—这故事发生在咸淳九年（1273年），有官府文件为证，当时府尹钟文达的批示说：“罗贵祖等九十七家，原系珠玑里民，词称迁移之故，乃虑兵丁之忧，非干违禁之例，准案给引。”看来可信。
   乾隆五十二年（1787年）九月二十四日，广东巡抚图萨布奏称：“新宁县沿海地宽，先于雍正年间及乾隆五六等年，有惠潮各属及闽省人民曾、廖等性，陆续就耕，积至二千余户……”。从中我们得知，在两百多年以前，有2000多户人从惠州、潮州和福建省迁入台山，这又是台山人的一个来源。
   综上所诉，台山早在新石器时代已有人类活动，在漫长的历史各个时期，都有人从祖国的四面八方迁入，融合而成为今日的台山人。