Avant d'être un parc, la plaine Montsouris était occupée par les carrières de Montrouge. Une partie de celles-ci a été utilisée pour recevoir les ossements des nombreux cimetières réformés par les grands travaux parisiens. Une nécropole, les « catacombes » rassemble de ce fait près de 6 millions d'âmes. Ce passé avait laissé des traces, et les concepteurs durent faire face à un sous-sol labyrinthique et à la présence de deux voies ferrées. La guerre de 1870 avec la Prusse compliqua la situation. Le parc fut achevé malgré tout en 1878.

Créé sous l'impulsion de Napoléon III, le projet fut confié au baron Haussmann. L'empereur voulait alors doter d'un espace vert chacun des points cardinaux de Paris, ce qu'il réalisa, mais après la chute du second Empire.

C'est à l'ingénieur Alphand que fut confié ce vaste projet qui donna naissance à un jardin à l'anglaise de 15 hectares et de 1,5 km de circonférence. Le parc garde encore aujourd'hui les marques de son passé par ses forts dénivelés.

En créant le parc Montsouris, Napoléon III voulait s'inspirer des parcs londoniens. Les espaces verts y jouaient un rôle d'importance; ils étaient considérés comme des lieux de rencontre où se mêlaient toutes les classes sociales, une vision très moderne qui prévaut encore et plus que jamais aujourd'hui.

Le Second Empire connut ainsi une vague de création de grands parcs, dont le parc Montsouris, mais aussi le parc des Buttes-Chaumont et le Jardin des Serres d'Auteuil, qui en sont les exemples les plus réussis.

Cette vague s'inscrivait dans le programme ambitieux des grands travaux d'embellissement et d'assainissement du baron Haussmann, Préfet de la Seine. Il modifiera profondément la physionomie de la capitale.

Pour la première fois, un service des Promenades et des Plantations, l'ancêtre de l'actuelle direction des Espaces verts et de l'Environnement, fut créé, en 1854, sous la responsabilité de l'ingénieur Jean-Charles Alphand. Ce polytechnicien de 37 ans est également chargé de l'aménagement des bois de Boulogne et de Vincennes. Ces travaux avaient pour but de rehausser le prestige impérial, mais aussi de détruire des quartiers insalubres de Paris qui constituaient les principaux foyers révolutionnaires de la capitale.

Le nom de Montsouris serait issu de « Moque Souris ». Il évoque des temps anciens, où les moulins de la Bièvre périclitaient et où les lieux n'étaient plus habités que par des rongeurs.