Ancien conseiller de Nicolas Sarkozy, il juge que le palais est "un endroit malcommode pour travailler"