整座古宅分十三樓宇、芝園等，亭台樓閣，水榭通幽。從建築到家具都精心布置，運用大量名貴木材精雕細刻。
    故居內還有董其昌、鄭板橋、唐伯虎、文征明等名家的書法石刻作品，以及兩頂為胡雪岩度身制作的紅木轎子，坐在其中，宛如置身小亭。
    整座古宅文物薈萃，猶如一座民間工藝珍寶館。內中還有朱鎔基長篇題詞：“胡雪岩故居見雕梁磚刻重樓疊嶂極江南園林之妙，盡吳越文化之巧，富埒王侯財傾半壁。古雲富不過三代，以紅頂商人之老謀深算竟不過十載，驕奢淫靡忘乎所以有以致之可不戒乎。”