En 1922 son père le confie au capitaine du bateau qui le ramène en France, à Jurançon durant quelques mois puis à Gan où son père a acheté une maison, « une chaumière béarnaise : un toit à quatre pentes, quatre pièces dont deux mansardées au premier » (Il est grand temps...). On ne parle autour de lui que le béarnais, qu’il a oublié. Il doit le réapprendre et se mettre au français dès octobre, à la rentrée des classes.
En Béarn, Noël Mathieu est confié à trois femmes, sa tante, sa grand-mère et sa grand-tante, qui l’élèvent avec une tendresse craintive. Grande est sa tendresse pour sa tante Catherine. L’aînée de ses enfants porte son nom.
Enfant timide, solitaire, il se réfugie dans les études, sous l’égide de son instituteur, M. Lartigau, et du curé qui lui ouvrent leurs bibliothèques.
