Айзък беше едва на три години, когато Хана се омъжи повторно. Вторият ѝ съпруг, свещеник на име Барнабас Смит, не харесваше момченцето, което го гледаше с враждебен поглед зад полите на майка си, и убеди Хана, че би било по-добре малкият да остане в Уълсторп, а не при тях. Така малкият Айзък се раздели с майка си, когато тя се премести в друг съседен град със съпруга си, за да създадат заедно ново семейство. Той израсна с мъглата на самотата, която все по-затегнато обгръщаше сърцето му. Без майка и без баща, само с хладната и мълчалива баба, с която се чувстваше чужд, години наред той остана неопределено ядосан на хората и разочарован от себе си. Тежестта на това отхвърляне беше непоносима и го изпълни с толкова тъга, че никога не избледня в сърцето му през целия му живот.