风光秀丽、环境优雅的台山市图书馆，是台山人民接受终生教育的学校。它的历史，可以追溯到101年前。
  台山在清代光绪初叶以前，没有公共图书馆。贫俭好学的人，每每感到无力购书。光绪二十四年四月（1898年5月），台山文人黄朝槐，发动本县诸生成立“大学会”，集资购买了一批中西有用图书，藏于宁阳书院藏书楼（现台师）。同年，粤东督学张文达，拨公款1300元交宁阳书院购书，与“大学会”书籍同藏一处。这就是今天台山市图书馆的始祖。藏书楼对台山历史发展，起了极大的推动作用。在这以前，台山知识分子只限于学习与科学考试有关的书籍，对自然科学知识知之甚少。台城文人李文曜甚至写《天地理论》一书，反对“地心吸力”这个自然科学的基本理论。藏书楼的建立，使新鲜的科学知识得以在台山传播。
  辛亥革命后，台山各地乡村，在华侨的支持下纷纷办起阅书报社。最先成立的是1914年兴办的都斛莘村阅书报社和公益的中华基督教会阅书报社。
  1922年，台山县立通俗图书馆成立，暂设在县政府内。1923年迁出，暂借县前路的祠堂为馆址。1928年时，全县有乡村图书馆和阅书报社23所，上川区成立了区立阅书报社，1930年时，台山县立通俗图书馆已有藏书5817册，年经费广东毫卷2160元（当时上米每斤为0.12元），县图书馆在五十龙村和台城草朗街各设一个阅书报处，各订报刊二十余份，年经费各300元。
  1934年，县政府在学宫之后，县府之东建筑了台山县立图书馆新馆，并拨1万元增购图书和设备。这一年，台山全县阅书报社增加到49所，图书馆有：台城青年会图书馆、公益大振通俗图书馆、十区喜村堡秉正通俗图书馆、海晏明胜图书馆、斗山浮石通俗图书馆、三合图书馆等。1941年3月3日，日本侵略者攻陷台山。台山县立图书馆和台师藏书楼的珍贵典籍，悉数被日寇掠夺，造成台山文化不可弥补的损失。
  1949年10月台山解放后，由台山县人民文化馆在旧关帝庙（现台城镇政府）内办理图书馆业务。读者也可以就近在台城6个段（居民委员会）的人民图书馆阅览或借书。
  1956年11月间，台山县人民委员会组织周毓初等人，整理从四乡收集的万余册古籍。到1957年夏季，已按“经、史、子、集”四类分类整理完毕，并编制了目录。1958年12月筹备成立县图书馆。1959年2月1日台山县图书馆在桔园路正式开放。同日，县工人图书馆向台山县图书馆赠书4569册和设备一批。当年拥有《资治通鉴》、《四部丛刊》等古今图书六万余册。1981年台山县人民政府拨专款建起一座三层总面积712平方米的楼房为馆舍，但仍难以满足读者的需求。
  1986年，我市旅港乡亲伍舜德先生捐资180万港元，黄乾亨、黄乾利昆仲合捐180万港元，分别建筑台山市图书馆南座和东座。馆舍于1986年3月9日奠基，年底落成，1987年1月12日正式开放使用。台山市图书馆外观既有古色古香的民族特色，又有高雅大方的现代美感。共占地15076平方米、总建筑面积5786平方米。现藏书16万册，其中《古今图书集成》1050册为旅港乡亲江永康先生所赠，是国宝的古籍。
  台山市图书馆1990年被国家文化部评定为一级图书馆，多次被评为广东省文明图书馆。