Sur la grève de Paspébiac, une petite maison jaune défie la mer et les saisons. Dans la péninsule gaspésienne, riche en poissons, les hommes deviennent pêcheurs de père en fils et Nérée Leblanc n'échappe pas à cette tradition. Comme tous les autres, il se soumet aux règles imposées par le tout puissant Jersiais, Charles Robin, qui monopolise le commerce du poisson. Dès leur mariage, Nérée et Loretta Leblanc adoptent une petite fille, gardienne d'un terrible secret. De leur union naissent trois fils que la mer malmène sans merci. Pour les Leblanc, le quotidien se fait cruel et destructeur. Afin de s'instruire, Victoire Leblanc fuit sa famille d'adoption et s'installe à Carleton, mais la chape de silence entourant le secret se brisera. Écoutant sa voix intérieure, Victoire s'exile à Gaspé où elle devient infirmière. Les malheurs de la Deuxième Grande Guerre lui permettent cependant de rencontrer l'amour sous les traits d'un beau soldat. Loretta lègue à sa petite-fille une série de lettres et une maison jaune qui agonise sur la grève. Pourtant, il suffit d'une heureuse rencontre pour que le précieux legs de Loretta reprenne vie.