この丘は、高島山と呼ばれている。高島嘉右衛門が別邸を営んだためにこう呼ばれるようになった。鉄道用地埋立などの事業の後、嘉右衛門がこの丘に閑室を設け港内の繁栄と事業の功績を望み、欣然として心を慰したことから望欣台と名付けられた。