任桐建琴园有两个有利条件：一是他有一定财力作后盾，不差钱；二是他擅长绘画，园中布置都可以按他谙熟的中国画的绘画技法和理论为指导。按理说琴园建设应当顺顺当当，但是实际上天灾人祸频发，使他造园屡屡受挫，可贵的是他愈挫愈勇，痴心不改。
建园之初，工人们开始按任桐的设计建一座楼。不巧，任桐有事要去北平。等他在北平处理完事务返回工地，令人无比惊诧的事情发生了：眼前出现的楼阁完全不是他设计的带有中国传统、古色古香的楼，而是一座地地道道有异国风情的西洋楼。一查原因，是负责的工匠自作聪明为赶时髦擅自更改了设计，这座楼显然与全园风格相悖，必须拆除重建。按理说应由工匠负责赔偿，但任桐非常大度，不仅按订价白白支付了4000大洋，还给工匠们发了不少的补贴。
1918年冬，任桐派人到各地采购了几百种名花，将这些名花放入刚刚建好的6间花房中过冬。就在放花的当晚，花房突然着了火，6间花房和几百种名花统统被烧得一干二净，这一次损失达6000大洋，比前一座楼的损失还大。任桐听了，淡淡一笑，把被烧的花收集起来，埋到一处，还作了一篇《花塜记》，文中记述他梦见有12个花神穿着华丽的服装到家里来拜谢他，说若不是他的好意，名花就无葬身之地而任人践踏。随花神来的使者还献上了一根装饰有桃花的藤杖，花神对任桐说，这根藤仗可以帮你延年益寿，万万不可扔掉。任桐梦醒之后，在园内建了一座“十二花神宫”。
又过了不久，任桐遭到第三次厄运。琴园西南区的主体建筑“桃园春晓”在刚刚建成之际突然倒塌。这一次损失又达四五千圆。工匠们非常害怕和担忧，任桐反而加以劝慰，并给工匠们加工资。
任桐始终秉承着“积财不如积德”的家训为人处世，琴园在他的精心构筑下于1924年左右形成规模，1927-1928年达到鼎盛。
