1949年上海解放前夕，杜月笙等上海名流纷纷前往香港。杜月笙临走前，专程拜访黄金荣，希望黄金荣与自己一同去香港。但黄金荣拒绝了，说自己已经是80岁高龄了，不愿意再奔波了。
杜月笙离开上海前夕，蒋介石曾在崇明岛专门召见了他，希望杜月笙能去台湾，杜月笙拒绝了。中国人讲究叶落归根，杜月笙也是如此，去往香港时就希望能再次回到内地。杜月笙在上海时风光无限，可到了香港却疾病缠身。
据杜月笙的女儿杜美如回忆，「父亲病重时，周总理托人来传话，请他回大陆。不过后来种种原因，最终没有回到内地。」杜美如说的种种原因，其中一个重要原因是他看到了一张黄金荣的照片，结果吓得打消了会内地的想法。
1951年镇压反革命运动开始，黄金荣的不少门徒被抓捕，同时警察又在黄公馆搜查出枪支弹药和鸦片，结果黄金荣只能在上海【文汇报】和【新闻报】上发表了悔过书，一时舆论哗然。
就在大家谈论黄金荣的悔过书时，一张爆炸性的照片出现在上海各大报纸上，照片是黄金荣拿着扫帚在「上海大世界」前扫大街。曾经不可一世的上海大亨，竟然沦落到如此境地。正如黄金荣自己感慨的那样，「我的一生，都风扫落叶去了，唯有留下这个‘大世界’。不过，断气瞑目后，‘大世界’不可能再属于我的了。」
杜月笙来到香港后，关于上海的报纸几乎每天都要观看。可「黄金荣扫大街」的照片登报后，家人不愿意病中的杜月笙受刺激，私下把报纸藏了起来。在杜月笙的强烈要求下，家人还是把报纸拿了出来。
当杜月笙看到报纸上的「黄金荣扫大街」照片后感慨万千，暗地庆幸自己没有留在上海，随后「表情始则惊骇，继而切齿，然后便是深切的痛苦与悲哀。他脸色灰白，身子摇摇晃晃，勉强地将那一段新闻读完，自此便坐在沙气喘个不停。」
1951年8月16日，63岁的杜月笙带着无尽的遗憾离开了人世。临死前，杜月笙留下了令人感动的遗言，「父亲回光返照时，对身边人说的最后一句话就是，我没希望了，可你们大家有希望，中国还有希望！」
参考资料：【杜月笙传】
