嘉右衛門は、天保三年（一八三二）、江戸に材木商の子として生まれ、開港後の横浜で成功を収めた。明治二年、政府は新橋・横浜間（現在の汐留・桜木町間）の鉄道建設を計画する。現在の横浜駅から桜木町にかけての一帯は、当時海で、鉄道を通すため、青木町から野毛にかけて、全長千四百㍍、幅七十六㍍の築堤を造らなければならなかった。