Le Lord-Juge était considéré comme un étranger dans cette région, mais sa femme, qui en était originaire, y était connue dès l'enfance, de même que sa race l'avait été avant elle. Les vieux Chevaliers Rutherford de Hermiston dont elle était la dernière descendante, avaient été des hommes fameux autrefois, mauvais voisins, mauvais sujets et mauvais maris, quelles que fussent d'ailleurs leurs qualités. Le récit de leurs aventures est connu à vingt milles à la ronde ; et même leur nom tient une place dans notre histoire d'Écosse, mais ce n'est pas toujours à leur avantage. L'un mordit la poussière à Flodden, un autre fut pendu sur le seuil de sa porte par Jacques V ; deux tombèrent morts, l'un avec Tom Dalyell au milieu d'une orgie, et l'autre, le quatrième (c'était le propre père de Jeanne) en présidant le « Club du Feu d'Enfer » dont il était fondateur. Beaucoup de gens alors hochèrent la tête, voyant en cela un châtiment, car l'homme avait une mauvaise réputation dans toutes les classes de la société, aussi bien chez les gens d'église que chez les gens du monde. À l'heure même de son décès, dix procès le concernant, dont huit accablants, allaient se plaider durant la session en cours. Une destinée semblable atteignit ses agents ; l'intendant de ses propriétés, son bras droit dans beaucoup d'affaires de main gauche, fut renversé de son cheval et étouffé dans une fosse de tourbe à Kye-Skairs ; son procureur lui-même (bien que les avocats aient le bras long) ne lui survécut pas longtemps, il mourut subitement d'un coup de sang.
Au cours de ces générations, tandis que le Rutherford mâle était en selle avec son valet, ou se querellait dans les tavernes, il y avait toujours une femme au teint pâle enfermée dans le château seigneurial ou dans la tour fortifiée. Il paraît que cette longue suite de martyres attendit longtemps sa vengeance, mais elle finit par la trouver en la personne de sa dernière descendante, Jeanne.