在民国文人政客的圈子里，孙用蕃的出身自然也很显赫。她的祖父是清光绪皇帝的老师，才学可见一斑；父亲孙宝琦曾两次任北洋军阀时期的国务总理。孙宝琦一生娶了一妻四妾，生有8子16女，孙用蕃排在第七。在这种子女众多的大家庭中，孙用蕃的美貌和才华做不到人中龙凤，因而在家庭中的地位比较尴尬。而她年轻时，据说因为一段刻骨铭心的爱情受到打击，从此遁入烟门，与鸦片和烟榻终日为伍。为了维持家门的繁盛荣昌，孙宝琦的策略沿袭了古代豪门望族的一贯做法——联姻：

长女：孙用慧，嫁盛恩颐（盛宣怀的第四子）

次女：孙用智，嫁载伦（庆亲王奕劻的第五子）

三女：嫁大学士王文韶之孙

四女：孙用履，嫁入大臣宝熙家

五女：嫁袁克齐（袁世凯的第七子）

七女：孙用藩，嫁张廷重（张佩纶之子，李鸿章的外孙)，成为张爱玲的继母

八女：嫁天津国华银行经理崔氏

三子：孙雷生，娶冯家贤（冯国璋之女）

四子：孙用岱（蔚青），娶盛范颐（盛宣怀的亲侄女）

侄子：姓名未详，娶袁箓祯（袁世凯的第六女）