La cantante se convirtió en madre el pasado mes de mayo y desde entonces había mantenido a su bebé alejado de los reflectores