1995年3月，马云从杭州电子工业学院辞职，自己拿出六、七千元，向妹妹、妹夫借了一万多，凑足了2万元准备创业。

1995年4月，中国第一家互联网商业公司杭州海博电脑服务有限公司成立。三名员工是马云、马云夫人张瑛和何一兵。

1995年5月，中国黄页正式上线，马云开始从身边的朋友做生意。此时，离中国能上Internet还有3个月。1995年7月，中国黄页为浙江省外宣办做了一个网站，在网上宣传浙江的经济文化，名曰“金鸽工程”。

1996年3月，由于杭州电信也做了一个中国黄页，分食市场，马云决定和杭州电信合并。中国黄页作价60万元，占30%股份，杭州电信投现金140万人民币，占70%股份。

1997年，在得到外经贸部进京成立中国国际电子商务中心（EDI）邀请后，马云决定放弃中国黄页。他将自己所持的21%中国黄页以每股2、3毛钱的价格贱卖给了公司，拿回10多万元。之后马云和他的团队在北京开发了外经贸部官方网站、网上中国商品交易市场、网上中国技术出口交易会、中国招商、网上广交会和中国外经贸等一系列网站。

1999年，阿里刚起步，员工的办公场所，是马云那150平米的家。获得融资后，马云开始飘飘然，将公司总部搬到美国，国内总部搬到上海，马上发现水土不服，又重新迁回杭州。财经评论人吴晓波表示，这是马云犯下的第一个错误。

事后分析，上海城市多是大型国企、外资企业，而阿里服务对象多是中小企业。杭州聚集着大量制造外贸企业，它们有实实在在的电商需求。

马云年轻时也犯过盲目追求“高大上”的毛病，远离自己的用户和“上帝”。这点尤其值得其他创始人警醒。据了解，很长一段时间，浙江一直是阿里收入最高的省份，后来才被广东超越。