Pour Jean Monnet, l'Europe des six en devenir, est le moyen de lier l'Allemagne et la France et de désamorcer la renaissance d'une rivalité séculaire, en plaçant les productions de l'acier et du charbon, dans le cadre d'une délégation de souveraineté. Mais il veut aller plus loin, car dès cette époque il est envisagé une armée nationale allemande, ce qui semble être un dangereux retour en arrière.
Jean Monnet propose la création d'une armée européenne, présentée par René Pleven dans le cadre d'un Plan de Communauté européenne de défense (CED). Un premier traité sera signé mais sous le gouvernement Mendès France, le Parlement français le rejette en 1954.
À la suite de cette première grave crise européenne, Jean Monnet démissionne de la Haute Autorité et fonde le Comité d'action pour les États-Unis d'Europe au 94 boulevard Flandrin (16ème arrondissement de Paris), afin de poursuivre son activité en faveur de l’unité européenne à travers lui. Ce comité regroupe les forces syndicales et politiques des six pays et représente plus de dix millions de personnes. Il prône une fédération européenne et propose de placer le siège des institutions communautaires dans un « district fédéral » échappant aux souverainetés nationales. Jean Monnet l’anime jusqu'en 1975, et travaille sur les projets de traité pour le Marché commun et d'Euratom, qui privilégie une filière américaine d'approvisionnement contre l'indépendance nucléaire française, projets qui aboutissent au traité de Rome, le , et sur le projet d'élargissement de la Communauté au Royaume-Uni.
Jean Monnet résume la philosophie de son projet européen dans la formule : «Nous ne coalisons pas les États, nous rassemblons les hommes.»
