关于快雪堂太湖石的来历，有两个版本的传说。

《水浒传》里曾描写宋徽宗耗费大量人力财力从太湖中捞取太湖石，运到汴梁建“艮岳园”，后来一部分成了北海的假山石。金攻打宋时，“艮岳园”被毁，但金世宗却非常喜欢园中太湖石，便从汴梁运到北京，让工匠按照原样进行叠放。

据说，当时为了加快运送太湖石，金世宗让人把太湖石折成钱粮让沿途各州府县用等量粮食支付其价款，所以这些山石也称“折粮石”。

另一说法，则是艮岳园运来的太湖石安放在北海琼岛之上，修建快雪堂第三进院落时，从琼岛移到了快雪堂院子里。