龚贤故居又名扫叶楼，位于南京市鼓楼区清凉山南麓、清凉山公园西南角，为画家龚贤清初（1664-1689年）在南京的隐居之处，扫叶楼之名得自于龚贤所绘身着僧衣、持帚扫地的自画像。龚贤去世后故居成为清凉寺寺产，清咸丰时毁于太平天国战乱，现存建筑为光绪十五年（1889）奉敕重建，1901年、1914年和1979年多次重修。现为龚贤纪念馆，陈列有龚贤书画作品的复制品及与其有关的书籍。亦有研究认为龚贤故居应在清凉台东北、今虎踞关一带，此处则为某扫叶僧人所居。
扫叶楼始建于1664年，明清式样，砖木结构，覆小瓦，三层，建筑面积约400平方米，占地面积约270平方米，楼前翠竹婆娑，绿树掩映，平台远望，楼后庭院内假山层叠，与善庆寺前石阶结合一体。善庆寺亦明清式样，建筑面积329.7平方米，占地面积630平方米。1989年重新修复扫叶楼时将楼后庭院与善庆寺连成一体，成为一组结构完整、景致优雅的古建筑群。
龚贤，明末清初著名画家和诗人，山水画造诣卓越，被推为“金陵八家”之首，著有诗歌《草香堂集》等；晚年定居此处，并以屋旁余地半亩建园，栽花种竹，名“半亩园”，曾自写小照，着僧服，作扫落叶状，因名所居为扫叶楼。此楼前后三进，陈列着龚贤作品的摹品和复制品、当代书法家所书龚贤的诗作及一些画展作品，楼前可见嵌在壁间的由林散之所书的“龚贤故居”刻石，院落简朴大方，处处体现着主人与世相忘，潜心书画的书香氛围，置身阁楼伫听风雨声，你会有一径风声飞落叶，六朝山色拥重楼的震颤。当年，龚贤曾这样介绍过自己的居所：清凉山上有台，亦名清凉台。登台而观，大江横于前，钟阜枕于后，左有莫愁，勺水如镜，右有狮岭，撮土若眉。余家即在此台之下。他的许多画和诗，就是在此孕育、构思和创作的。
扫叶楼在“文化大革命”中遭破坏，1979年10月修复，并将楼后善庆寺与楼侧茶社以花墙围之，构成一组古建筑群。2000年初在“龚贤故居”的基础上设置龚贤纪念馆。纪念馆的门楣上有当代著名书画鉴定家徐邦达题写的馆名，一楼为展示厅，集中展示当代著名书画家林散之、萧娴、陈大羽、费新我等书写的与清凉山有关的诗篇以及龚贤的诗句。楼上为陈列室，陈列柜中展示的是龚贤书画精品及诗文研究成果。楼后两个展厅不定期举办当代名家的书画艺术展览。
扫叶楼1957年被定为江苏省文物保护单位。
南京女诗人画家康雪莲曾题诗：
八家墨客留心迹，半亩园墙结傲霜；
纵有西风频扫叶，敢教香草护清凉！
