Agrégé de philosophie en 1868, il refuse de prêter serment à l’Empire et s’exile en Suisse comme professeur à l’Académie de Neuchâtel. Issu d’un milieu protestant revivaliste, il évolue vers le christianisme libéral et fonde l’Union du christianisme libéral qui prônait un Évangile « sans dogmes, sans miracles et sans prêtres ». Il demande que l’enseignement de l’histoire sainte soit mis en dehors du programme des écoles primaires, et soit remplacé par une histoire de l’humanité.

Dès l’instauration de la IIIe république, il revient en France. Il participe aux activités sociales et prend la direction de l’orphelinat du 17ème arrondissement, premier orphelinat laïque. Il est nommé en 1871 Inspecteur de l’enseignement primaire à Paris par le Ministre de l’Instruction publique de Thiers, Jules Simon. Cependant la décision est rapportée après les vives attaques de Mgr Dupanloup. Jules Ferry le nomme Inspecteur général de l’Instruction publique et en 1879, Directeur de l’enseignement primaire. Ce confident parmi les plus intimes de Jules Ferry a élaboré « tous les projets de lois, tous les règlements, toutes les circulaires » de cette réforme. Il fonde la Revue pédagogique, le Musée pédagogique et obtient la création des ENS de Saint Cloud et de Fontenay-aux-Roses, dont la mission à l’époque est de former les maîtres des Écoles normales d’instituteurs. Il dirige la publication d’un vaste Dictionnaire de pédagogie et d’instruction primaire où l’on peut lire : «aujourd’hui la plupart des principes pédagogiques proclamés par les protestants sont devenus comme la propriété générale des peuples civilisés».
Il est nommé en 1896 titulaire de la chaire de pédagogie de la Sorbonne.
Républicain, pacifiste et engagé.

 Dreyfusard de la première heure, il participe à la création, en France, de la Ligue des droits de l’homme en 1898, dont il sera Président de 1913 à 1926. Il fait aussi une carrière politique, comme député radical socialiste entre 1902 et 1919. Pacifiste (il a participé au Congrès de la Ligue internationale de la Paix qui s’était donné comme but la création des États-Unis d’Europe), il soutient dès le début la  SDN. Il se consacre aussi au rapprochement franco-allemand surtout après l’occupation de la Ruhr en 1923, en invitant des pacifistes allemands à Paris et en se rendant à Berlin.
Il reçoit en 1927 le prix Nobel de la Paix, et distribue cette récompense à ses « fils adoptifs », les instituteurs de France, afin qu’ils puissent travailler au rapprochement des peuples par l’éducation des enfants.