广海书院坐落在广海城西隅，头枕麒麟山，面朝西水关口，门通硖石街(今改为校道)，南临建城指挥官之夏家庄(夏必振之故居)，东近八仙桥。远眺可见南湾渔港与烽火台和溽洋台如在咫尺相望。

    正院原来是一连三进，背有后座和魁星阁。每进以木柱梁椽支撑。进与进之间隔一天井，旁有水腰和走廊。第一进左右两边各建一室，第二进是讲学之舍，第三进供奉五夫子之神座。后座是报功祠，是供奉捐款人之神主牌。两边有勒石碑文，记捐款人之芳名。魁星阁楼高两层，是藏经之室，如今日之图书馆。第一进正门前有石阶四级，门额上悬有红地金字木匾，上刻“广海书院”四字，落款是“吴丹桂书”。考吴丹桂是高要人，任新宁县令。门有石刻对联，联曰：“广南衣冠气，海滨邹鲁风”。院宇花檐绿瓦，门檐梁椽刻有浮雕，甚是壮观。正院右边是副院，一共五进，用作学生宿舍。后座西侧高处，建有四柱凉亭，名曰“观海亭”(已毁)。亭内没有石桌，供学生课余活动。院外周围有围墙，正门前有古榕一株，配合新种之树木、花圃，成为门前之花园。

    广海书院之前身是溽海义学，其旧地原在水松塘东边，近朝阳门。始建于清朝乾隆年间，由邑令康基田创建的。后因年久失修，风雨摧残，墙壁倒塌。至道光年间，广海各界人士有关心教育事业者，乃发起筹款重建溽海义学。办法是：劝捐抽拨(向各姓祖尝议抽)和入神主三种方式。款已筹到，但位置还得选择，因旧址地狭人多不适合办学。后来选定西门麒麟山下，那里地方空旷，但其地是陈启明祖受封之地，后经商得启明祖父老捐出其地，始奠院基。位置择定，几经经营，溽海义学乃重建成，由当时县令李延福书写“溽海义学”四字，在石匾落款是：“李延福书道光乙巳仲春谷旦”。乙巳即道光十五年。义学虽重建成，但经费缺乏，至道光二十年，得邑令林当世在县尝内拨出稻田近八百亩为学田，该田分布在都斛、浮石、上川和广海等地(广海北湾围有个土名叫义学围)。另拨海滩一段(由大洋桥冲口至南湾)和置有尝铺等为义学尝产。从此义学经费比较充裕了。

    溽海义学后来改为广海书院，是与台城宁阳书院同等并列，是光绪初年广海左堂官梁荣寿曾主其事。

    原来溽海义学学舍，只有正座三进，副座一进。光绪十八年，聘请浮石举人赵天锡为山长，在此讲学，他倡议捐款重修和扩建书院，以下三都名义发出劝捐。这次捐款范围广，人数多，损款也多。扩建由光绪乙未冬开始，落成于丙申之冬，即用一年时间完成此事。学舍扩建后之规模已如上述。这次扩建所用材料，墙用青砖阶用石，柱栋梁椽多用坤甸，这可防虫蛀蚁蚀。院内通道以石筑级，各项做得周到。

    民国初建，学堂已兴，地方绅士议将广海书院原讲经制改办新学制，即命校名为“广海公立景星学校”，这校名之取义是以陈景柳(前清秀才)与陈星垣两位豪绅的合称。自赵天锡山长离开广海书院之后，书院尝产则被几位豪绅把持，每年只拿出些少钱办学。按当时院尝收入，足够办中学有余。民国十四年(1925年)，邑人刘栽甫任县长，为了发展台山教育事业，曾发指令“推广小学”之后，城内已有小学数间，但无中学，当时广海教育界的陈国柱、冯干臣等十数人，倡议将广海书院改办中学。事刚开始，适陈祝三等股匪攻陷广海城，波动全县，此事乃作罢论。匪乱平定，城也光复，广海各界人士舆论纷纷，认为广海书院尝产要整理，景星校名要取消。地方各团体联合起来，组织“广海书院尝产整理委员会”，呈县批准，乃进行管理书院尝产。同时将景星学校改名为“广海区立学校”。民国十八年，有位华侨叫陈象山，广海新彭村人，看到广海缺乏师资的培养场所，乃发出公开函，倡议将广海书院改办师范学校，但遭到豪绅反对，双方打起官司，当时县署采取折衷办法，将广海区立学校收为县办，改名为“台山县立第三小学”。陈象山的倡议又作罢论。经过数年，为了校名要符合地名，又改为“台山县立广海小学”。1930年正当抗日战争之时，政府推行“新县制”。学校因之有些改制，将县立广海小学下放由乡办，即又改名为“广海乡中心国民学校”。

    解放初期，广海的热心教育事业人士，认为广海必须有一所中学，乃倡议筹办“广海中学”，当时得到广海临时乡政府的重视和主持筹划，经过—番筹措，乃将广海书院开办广海中学，由黄伟韬为校长。原办的广海小学，即迁往卖柴街，以陈、曹、刘、梅、谭五姓的祖祠为校舍。

    广海中学初办时，因经费不足，只因陋就简。至1952年由政府拨款办理，校务乃日见起色，由初办初中而办成完全中学，学生来自各区。自改革开放以后，该校根据国家和社会需要各种人材，则扩办多种技术性质的教学班。如水产养殖班、英语班、机修班等，成为一所多职能的学校。

    广海书院自清朝光绪丙申年(1896年)修建完竣，至195O年开办广海中学，历时五十四年多，院舍已有些腐烂，政府虽历年拨款修葺和扩建，但仍感不足现代教学需要。1980年，由校友曹小驹捐建该校图书馆一座，屹立在魁星阁后面。又由首任校长黄伟韬组建“广海中学扩建委员会”，专为向华侨捐款扩建校舍。委员会成员多是地方德高望重的著名人士，有的是侨眷，所以对劝捐做出显著成绩，把旧日校舍改建或扩建，更有的是新建筑物，广海中学的旧貌，已转为新貌了。