清同治十一年(1872年)，胡雪岩共耗资10万两白银在现在的元宝街建起巨宅，宅内有十三楼、芝园、亭台楼阁、小桥流水、明廊暗弄，建筑构思巧妙，砖雕、木雕、石雕、灰雕无品不精。其中芝园假山为国内现存最大的人工溶洞。宅内选用了大量的紫檀、酸枝、楠木、银杏、南洋杉、中国榉等高档木材，用材之考察，堪称清末中国巨商第一宅。1903年胡雪岩子孙以将豪宅抵债给刑部尚书协办大学士文煜，后又转让蒋家，此后日渐破败。后胡氏故居先后被一些工厂单位和居民占用，其内建筑受到严重破坏。2001年1月20日，建于1872年的胡雪岩故居经过一年多的时间，杭州市投资二千九百万元，日前已正式对外开放。胡雪岩故居位于杭州市河坊街、大井巷历史文化保护区东部，建于清同治十一年(1872年)，建筑面积五千八百多平方米。胡雪岩故居从建筑到室内家具陈设，用料之考究，堪称清末中国巨商第一宅。古宅内有芝园、十三楼等亭台楼阁。故居内还有董其昌、郑板桥、唐伯虎、文征明等名家的书法石刻作品，其中有两顶罕见的红木官轿值得一看。