亦能谱曲并善于修改前人之曲，他所演奏的音乐十分动听，是“闻者心动焉”。偏偏中尉赵曼也很喜欢音乐，故常请冯万金到府中演奏。
冯万金跟随父亲冯大力，也在姑苏郡主娘家当乐师。冯万金应邀到赵府演奏时，赵曼自然邀请郡主一同欣赏。相传如无冯万金在座演奏，赵曼连吃饭都不香。这样一来二去，冯万金就成了中尉府中的常客，可以不请自到，随时出入。因赵曼“早有私病，不近妇人”的原故，己经长期处于性饥渴状态的年轻的姑苏郡主，如今恰遇风流倜傥且在娘家就己相识的青年乐师，情欲恰似干柴烈火无法控制。在两情相悦之下，郡主与冯万金私通并怀孕了。
赵曼生性暴妒，郡主怕事情闹大，于是推说有病，遂回娘家调治。数月后，郡主临盆，产下一对孪生姐妹。因是私生女，又是在高度保密的情况下生产的，为了不惊动外人，郡主便着人将这一对初生婴儿抱去郊野扔掉了。
过了三日，郡主放心不下。由是，在下人的引领下来到抛婴处查看，想不到，两个女婴居然还活着。郡主于心不忍，又把她俩抱了回去。这才有了《汉书.外戚传》记载的：“初生时，父母不举，三日不死，乃收养之。”
可是，放在何处收养呢?既不能放在江都王府，更不能放在中尉府。于是，郡主就把二女交给了生父冯万金，放在冯家抚养，“二女归万金，长曰宜主，次曰合德。”(见《赵飞燕外传》)并给二女取名，姐姐叫冯宜主，妹妹叫冯合德。
自姑苏郡主把二女交给冯万金后，为避是非，再也没去看望过女儿。数年后，江都王刘建因“图谋不轨”事发，遂畏罪自杀。中尉赵曼和姑苏郡主受到牵连而不知所踪，因此冯家与郡主断了线索。
姐妹俩在冯家平安地生活了十年左右，不幸发生了，冯万金一病而亡。冯家本不富裕，二女又是私生女，冯万金一死，便无人照料她们。为求生存，姐妹俩只得离开冯家，外出乞讨，几经辗转，二女流落到长安。白天，她们沿街行乞，靠人施舍;夜晚，她们在无人居住的破屋栖身。这两位日后对西汉历史产生重大影响的绝代美人，就是在这样的生存环境中，尝尽了人间的辛酸。
俗话说：“天无绝人之路”。栖身于破屋的冯家姐妹，让一位路过的老汉动了恻隐之心。老汉名叫赵临，是阳阿公主府的家令，即管家。阳阿公主与汉成帝刘骜是什么关系?史籍没