退思园，建于清光绪十一年至十三年（公元1885-1887年）。园主任兰生，字畹香，号南云。光绪十一年（公元1885年）正月，任兰生落职回乡，花十万两银子建造宅园，取名“退思”。

退思园的设计者袁龙，字东篱，诗文书画皆通。他根据江南水乡特点，因地制宜，精巧构思，历时两年建成此园。园占地仅九亩八分，既简朴无华，又素静淡雅，具晚清江南园林建筑风格。

退思园布局独特，亭台楼阁一应俱全，并以池为中心，诸建筑如浮水上。退思园因地形所限，更因园主不愿露富，建筑格局突破常规，改纵向为横向，自西向东，西为宅，中为庭，东为园。

内宅建有十楼十底南北两幢楼，以园主字号名为畹芗楼，是园主与家眷起居之处。楼与楼之间由“走马楼”回廊贯通。复廊东西两侧各设楼梯，雨天不走水路，晴天又可遮阳，又为主仆上下时避让。内宅为园主居住及藏宝重地，因此内宅两侧石库门均用清水方砖砌成，以防火防盗。砖木结构的封火门，据说在同里的明清建筑中，仅此两扇尚属原物，其馀都为近世复制。

中庭是西宅到东园的过渡。放眼庭中，樟叶如盖，古兰飘香，清雅幽邃，有引人入胜之妙。

庭中旱船，前舱八扇长窗如锦屏障目，隔而不断，船头面对“云烟锁钥”月洞门，船身相接漏窗暗廊，隐去船尾，俨然一艘待航的客船。

退思园中，闹红一舸最富动感。它由石舸突兀池中，风吹不动，浪打不摇，人站船头，却有小舟荡湖之感。舸由湖石托出，半浸碧水，水流漩越湖石孔窍，潺潺之声不绝于耳

自菰雨生凉轩穿过假山洞，沿石级盘旋而上，便来到堪称江南园林一绝的天桥，视野豁然开朗。

天桥，上为桥，下为廊，模似阿房宫复道。横空出世，飞越山巅，连接菰雨生凉轩，与辛台为一体。天桥前后贯通，八面来风，炎热酷暑时，到这里消暑纳凉，神清气爽。