1921年7月5日，中南银行开业，总行设在上海。由印度尼西亚华侨黄奕住和胡笔江共同创办，黄任董事长，胡为总经理。建行宗旨诚如黄奕住所言，“华侨资本家良多于祖国国家社会各事业抱具执忱者”；“以为今后为南洋华侨资本家社会各事业发生关系起见”，遂定名“中南银行”。

1922年7月，中南银行在天津设分行，是中南银行在华北地区的重要分行，开办之初的业务以吸引军阀、政客、商贾等的存款以及投资政府公债居多，对政府放款也是中南银行一项主要业务。由于当时中国民族工商业的相对落后与中国金融业的畸形发展，大多数银行并不致力于工商业投资。然而，中南银行秉承“投资实业”的宗旨，始终把投资实业放在重要位置。其与金城银行联合成立诚孚信托公司，管理北洋纱厂和恒源纱厂及上海新裕纱厂，不但收回了放款，还使民族纺织工业在外国资本压榨下获得了一线生机。另外，中南银行对工矿业、铁路、农业等也有不少投资。不仅如此，中南银行还在保险行业也占有一席之地。