这个家族最早在马六甲的历史可以追溯到19世纪初，起源于中国南方福建省同安县，并与马六甲最后几任甲必丹之一有渊源。如今，这个家族的后裔已是第七代。

曾清秀（J.P.，太平绅士）于1865年6月27日出生，是第二代海峡出生华人。他的职业生涯始于种植业，并且在庄园中被广泛称为“戴眼镜的老板”（Towkay Cermin Mata）。他最初种植的是甘比尔（一种用于药用、鞣革和常与槟榔一起咀嚼的植物）。随着世界进入工业化时代，马六甲被视为适合种植橡胶树的地方。曾清秀将他的种植作物从甘比尔转为橡胶，以满足这个新兴世界日益增长的需求。

除了是种植园主，曾清秀还参与了马六甲的许多社会活动。他曾担任太平绅士，管理多个华人庙会和宗亲会的受托人，是华人咨询委员会的成员，并且是马来西亚知名冰制造公司Atlas Ice的创始董事之一。他还是一位热衷的地产投资者，在马六甲、金马仑高原和新加坡购买土地。

在他的联排别墅中，曾清秀以举办许多充满美酒、美女和歌声的“融更夜”而闻名。曾清秀于1919年突然去世，享年54岁，留下了妻子徐如玉娘、三位妾室以及他的儿子曾生枝，后者成为他遗产的受托人。

曾生枝并不像父亲那样喜爱繁忙的城镇生活。他抱怨街头夜晚的“tok-tok mee”（面摊叫卖声）不断打扰，因此他在海边建了一座房子，并于1932年完成，随后将家人迁至那里，直到战争爆发前后一直居住在那里。

直到二战后，家族才再次短暂地住进城镇。随着时间流逝，孩子们纷纷出国或组建了自己的家庭，这座房屋时常被曾生枝的儿子们使用，帮助他们站稳脚跟，然后再搬到自己的家里。多年后，这座家族住所仅被用作办公室和"祖屋"（rumah abu）进行"祀拜"（sembahyang）。