中遍植荔枝树之故。园门悬匾额“海山仙馆”，并有一副名联“海上名山，仙人旧馆”。联、匾为两广总督耆英所书。故多称此园为“海山仙馆”。园内仿江南园林，建有眉轩、雪阁、小玲珑室、文海楼等，垣绕四周，有游廊曲榭，沿壁遍嵌石刻，皆晋唐以来名迹，当代名流翰墨，令人目不暇接，如游碑廊。
潘仕成在海山仙馆内收藏了不少古玩文物，包括许多宋元版本的古书和汉晋碑帖，其所藏金石、古帖、古籍、古画有“粤东第一”之称。海山仙馆以其浓郁的岭南园林特色和与众不同的文化品位，吸引了许多风流名士。近人冼玉清谓其“一时墨客骚人，文酒之会，殆无虚日”。
由于潘仕成的特殊身份，海山仙馆不仅成了一处显贵来往、文人酬唱之处，还成了外交场合。潘仕成以绅士、富商身份，协助在粤大员办理夷务外交，参与会见外国使者和谈判活动。海山仙馆成了清朝高级官员一处非正式的接见来自欧美外交使者和商人的场所。琦善会见义律、耆英接见法国驻广州领事拉地蒙冬、美国首任驻华钦差大臣义华业向耆英递交国书的仪式，均在该馆举行。
但是世上没有不散的宴席，官场、商场之争更是激烈莫测。潘仕成既以官绅身份经商，虽善经营，颇多善举，晚年却一再遭遇变故，从此一蹶不振。
“听说他已将在十七甫的故宅以三万八千两银子之价售出，说明其手头不济到了出卖故宅的地步。盐务本是一本万利的买卖，何以会亏累至破家，个中缘由尚无人得知。”陈鸿说道。
“这钱，只有流动周转起来，才能生钱，”陈廷轩说道，“他可倒好，赈灾，修路，助朝廷养兵，加上各种摊派，哪一个不是从身上割肉，他赚的钱再多，也经不住这样的折腾。我当年劝他一道离了大清，退往海外，他偏不听，结果现在完了。”
的确，成为红顶商人的潘仕成顷刻成为了不得的大众慈善家、军事开发的财阀、中央财政的无私资助者。铺路、赈灾、种牛痘，潘仕成要出钱；水雷开发和舰船制造，他要出钱，然后无偿或微利转让给清政府；清廷养兵用军，他还是要出钱。一顶红换来一身累，这是潘仕成没有料到的。如果说铺路、赈灾之类是回馈父老乡亲，他尚能甘之如饴的话，本来应该是政府财政拨款支持的项目居然也让他分担责任，则确实成为生命里不能承受之重了。潘仕成是官商，但没有哪个清廷官员能像他那样被无休无止的摊派包围的。一顶红顶换来哑巴亏，潘仕成显然没有更多的办法。他必须固守财富，寸步不离广东于是成为这种心态近乎病态的体现。
与其坐等钱财分散殆尽，不如想方设法、自助自救。既然流动资产易被抽走，那就让所有资财“固定”下来。所以这也是潘仕成为什么花费巨金建造海山仙馆的原因。
“潘家不是有祖训么：宁做一条狗，不做行商首。现下的大清，还是这般视商人为贱等，我看还是不要回去的好。”陈廷轩长叹道，“免得落得和他潘仕成一般下场。”
“也不尽然，儿子多方打探过，如晋商乔致庸，徽商胡光墉，现在做得都不错，当然，须得朝中有大靠山才是。”陈鸿说道，“潘家现在朝中已无可倚靠之人，是以有现下之败。”
“是啊！树大才好乘凉啊！那胡光墉发迹得如此之快，还不是有左宗棠这棵大树！”陈廷轩感慨道，“古今中外，都是一个道理，你媳妇的娘家，若不是傍上各国政要，也难得发迹。”
“所以说，咱们回归故土发展，也得寻到大树才行。”陈鸿也叹道，“只是大清立国以来，就是重农轻商贱工，不似西国以工商为首，若是能变从西国，重回故土当无所碍。”
“对了，林鲲宇这阵子再无书信过来么？”陈廷轩突然想起了林义哲，向陈鸿