胡雪岩的家乡有条钱塘江，古称浙江、渐江、罗刹江和之江，这是浙省第一大河，也是东南名川，它发源于皖、浙、赣交界处，流人杭州湾，黄山以下干流屯溪至梅城段称新安江，海城至浦阳江口叫富春江，浦阳江口至澉浦为钱塘江。钱塘江主要支流有兰江、浦阳江、曹娥江。
一个多世纪前，杭州江干到萧山西兴的江面宽达十余里。每逢春秋多雨季节，上游水流湍急、疾驶直下，如离弦之箭，加上海潮从鳖子门涌人，形成汹涌澎湃、气势磅礴的“钱江潮”。而急流与海潮相遇又使得钱塘江的水文异常复杂，江中流沙多变，历来为航旅畏途。晚清时，钱江两岸的人们还靠渔舟过江，出门还得选个天气晴朗、风平浪静的好日子，有人要渡江，家中亲人都要祭祖求神，祈祷平安。不过，即使是这样，也难保不出危险。
胡雪岩经常对自己的伙计说：“凡事要么不做，要做就要做个最好的样子．”为了解除钱江两岸旅客渡江的困难，胡雪岩捐银10万两，主办钱江义渡，并说：“此事不做则罢，做必一劳永逸，至少能受益五十至百年。”
自设义渡，受惠的人，不知凡几，胡雪岩纵非沽名钓誉，而仍然声名洋溢，就此博得了一个“胡大善人”的美名。
关于创办义渡的起因，《胡庆余堂：中药文化国宝》一书中朱成方的《功自心诚，利从义来》一文中说：