Aux côtés des 6 maisons bordant l’avenue des Champs-Élysées en 1800, de luxueuses demeures se multiplient très vite, hôtels particuliers, immeubles ou maisons bourgeoises. L’ensemble des jardins est affecté à la Ville de Paris qui les réaménage, construit des trottoirs puis élève 4 fontaines. En 1854, la construction du bâtiment situé à l’angle de l’avenue Gabriel et de la rue du Cirque s’inscrit dans cette dynamique. Il appartient à la famille du Duc de Morny, homme de pouvoir et figure du Second Empire. Fils illégitime d’Hortense de Beauharnais, demi-frère de Napoléon III, le Duc de Morny compte quelques illustres aïeuls, dont Talleyrand, son grand-père. Visionnaire et ambitieux, il comprend très vite l’évolution de la société française du XIXe siècle et les conséquences de la révolution industrielle.
Après une glorieuse carrière militaire, il change d’horizon mettant à profit son esprit d’entreprise et son talent pour la politique. Élu député de Clermont-Ferrand en 1842, il invente le lobbying au bénéfice de l’industrie sucrière. Aristocrate dandy, collectionneur d’art, propriétaire de chevaux de course et promoteur de l’hippodrome de Longchamp, c’est lui qui lancera Deauville, comme station balnéaire tendance. L’immeuble du 42 avenue Gabriel restera la propriété de la famille du Duc de Morny jusqu’en 1888, entièrement occupé par de grands appartements. Acquis par une compagnie d’assurances, il devient ensuite la propriété de la Compagnie d’exploitation et de financement Capucines de Pierre Cardin puis de Michel Reybier et sa famille.