杨小曼, 冷漠