1868年（清同治六年），余荫山房建成于广州番禺区南村镇。余荫山房与顺德清晖园、东莞可园、佛山梁园并称为清代粤中四大名园，在广东园林史上具有重要的艺术和历史价值。

余荫山房园主为邬彬，番禺人，号崐山，字燕天，清道光年间中举，由同乡刑部员外郎潘正亨保举进京入刑部，为七品主事。他在朝为官20年，且五代同堂，得咸丰皇帝加封为六品刑部主事后，告假南归。他事先聘请江南名师，吸收苏杭庭园建筑艺术，构思经年，绘成《余荫山房图》。回乡后即以之为蓝图建园，耗时三年建成余荫山房。

余荫山房占地只有1598平方米，园门楹联“余地三弓红雨足，荫天一角绿云深”，概括出其造园特色。园林小巧玲珑，门厅之后为小天井，天井西墙砌英石假山，东墙开满月形门洞。进门冷巷，东侧是夹竹透空砖墙。园内以“浣红跨绿”单拱廊桥为界划分东西两景区。廊桥为卷棚歇山顶，前后各有五级台阶，高出园中平地，柱间随廊设有“美人靠”长木椅，是园中重要的框景建筑。西区辟一长方形石砌荷池，主建筑是池北的深柳堂，池南有临池别馆相望。深柳堂前设抱厦廊，石柱铁架花棚，凌霄花攀绕棚上，怒放宛若红雨。厅内门扇落地罩的透雕浮雕十分精致。东部中央辟一八角形水池，池中八角卷棚歇山顶亭，是东区主体建筑，称“玲珑水榭”。亭内金柱楹联为邬彬自撰：“每思所过名山，坐看奇石皱云依然在目；漫说曾经沧海，静对明漪印月亦足莹神”。亭内八面取景，分别概括为“丹桂迎旭日”、“杨柳楼台青”、“腊梅花开盛”、“石林咫尺形”、“虹桥清晖映”、“卧瓢听琴声”、“果坛兰幽径”、“孔雀尽开屏”。此亭相近有孔雀亭、来薰亭（俗称“半圆亭”），配置相宜。余荫山房南面紧邻有一座稍小的愉园，底层有船厅，厅外有小型方池一个，第二层为听雨轩，俗称“小姐楼”。由余荫山房北面的榄核厅经过道可通向相邻的善言邬公祠。

“文化大革命”期间，园内大部分题联散失，20世纪80年代以后，广州市及番禺政府数次拨款重修，请书法名家补书题匾，较好地恢复了园林原貌。为发展旅游，余荫山房、愉园及善言邬公祠也构通为一体。1989年，余荫山房被公布为广东省文物保护单位。余荫山房对岭南园林有较大影响，后来构建的番禺宾馆、番禺宝墨园，在园林布局、园林建筑上都可以看到直接模仿余荫山房的痕迹。