1820年，布朗特先生被任命为HAWORTH教区的教会长，年薪是170英镑。这个地区气候条件恶劣，对于他出生于英格兰西南温和地区的夫人来讲，实在是苦不堪言。没过多久她就卧床不起，次年她因癌症告别了人世。这一年，他们的长女才8岁，幼女安妮刚刚学习走路。
凡是与布朗特家有过接触的人都会说他家的孩子与别的孩子不同。老布朗特为夫人专门雇了一个女佣，平时很少让子女们进入母亲的房间他自己也习惯于单独吃饭，与孩子们也很少交流。儿女们平时长时间呆在一个被他们自己称作书房的小屋子里。自从他们学会了字母，就开始靠阅读打发一天天的时光。在当地，他们几乎没有一起玩耍的小伙伴。人们可以经常看到这几个孩子手拉着手在荒野中散步。直到他们进了当地的寄宿学校，才开始与别的孩子接触。
老布朗特平时对孩子们并不严厉苛刻，有时候他还去听孩子们的课，而且为自己的孩子们的天资感到骄傲。
盖斯凯尔夫人（Elizabeth Gaskell）在她所写的《夏洛特·布朗特传记》（Life of Charlotte Bronte）中把布朗特先生写得不尽人情，说他对自己的孩子一点也不宽容和善待。平常只给孩子们吃蔬菜，而且无论天气如何恶劣，他都要将儿女们赶到室外去活动，从来不计后果。可是后来发表的一些信件表明，这种说法完全是没有根据的。事实上这个老教徒对自己的儿女花费了很多心血。他在夫人去世一年以后，曾经给自己过去爱过的一位女士写过信，央求她能来帮助他共同抚养这6个失去母亲的孩子。但女方没有理会这个请求。以后，他又给亡妻的姐姐伊丽莎白·勃兰威尔小姐写了一封信，请她能过来和他们一起生活。这位近50岁的老处女终于同意过来与孩子们一起生活。她是一个爱穿宽边绸礼服的人，随身还带来了自己的金制鼻烟匣子。勃兰威尔小姐对这个位于英格兰北部的约克郡的一切，都表现出直言不讳的反感。无论是气候、当地的人还是其他任何事情。她认为这里的一切都无法与自己的家乡相比。勃兰威尔小姐的到来对孩子们没有多大的影响，她总是习惯把饭拿到自己房间里吃，而不与孩子们共同就餐。但她教会了孩子们如何运用自己的手指在绸缎上绣出美丽的图案。
这段日子里，在这个用石头建成的房子中，惟一使勃朗特先生内心深处感到几丝温暖的是一位本地的女佣黛比。她忠厚老实，用真心善待老布朗特的儿女们，并与他们患难与共。在她的厨房里，孩子们能体验到受宠和被责骂的乐趣。只要听她的话，他们总能吃到好东西。她的名字，她那山区妇女的身材和本地口音，都被夏洛蒂写入了自己的小说中。1823年，也就是勃兰威尔小姐来后的那一年，他们的一位牧师邻居投资开办了一所专门收穷困牧师女儿的寄宿学校。这是一所最便宜的学校，食宿加学费总共一年才交14英磅。1824年6月，勃朗特也把自己的两个女儿玛丽亚和伊丽莎白送到该校学习，感觉效果不错之后，又于9月将夏洛蒂和艾米丽送了进去。人们可以从夏洛蒂的第一部小说《简·爱》中找到这所学校，它的名字叫洛伍德（Lowood）。与狄更斯小说中所具有的那种欢快情趣不同的是，她在写这所学校时表现出一种抑郁的风格。这种风格，使读者联想起陀斯耶夫斯基的《死屋手记》（Memories of the House of Death）。
1825年，布朗特女儿们所在的学校闹过一次传染病，虽然他的孩子们当时并没有被传染，但玛丽亚因为体弱而得了肺炎。校方通知布朗特用马车将孩子接回家中，几天之后她就死去了。刚刚埋葬了玛丽亚，伊丽莎白也出现同样的症状，由于身体缺乏抵抗力，不到一个月小姑娘也被埋藏在了母亲和姐姐的墓旁。
那段时间，父亲把夏洛蒂她们接回家里住了几个星期，直到过了圣诞节以后，一切生活才恢复了原样。
所幸的是活下来的姐妹俩都是天才的艺术家。如果我们翻阅一下艾米丽·勃朗特24岁时写的小说《呼啸山庄》，我们可以得出这样一个结论，她的写作天赋的确不凡。同样，我们也可以从夏洛蒂30岁时所写的传记著作中得知，少年的她具有与众不同的观察力。这小姑娘眼睛的后边，好像有一盏明亮的灯，使她的双眼透出一种琢磨不透的光芒，既深邃而安详。
作为父亲，勃朗特同时也是一个诗人，他没有给孩子们带来任何值得炫耀的财产，但他对文学的热爱就是最珍贵的财富。他自己出版了许多著作，而且几乎每天都在写诗。孩子们生活在他身边，耳闻目染养成了对文学的酷爱。在这个家庭中，年幼的孩子们不仅有当作家的意识，而且还乐此不疲为之做出了各种努力。不知是出于经济原因，还是有意如此，老布朗特从来不让那些所谓的儿童文学书籍进入他的家庭。尽管当时图画书和儿童故事书在英国很流行，但他只允许自己的孩子阅读经典著作，而不让那些流行的书籍破坏孩子们健康的读书兴趣。在他的指导下，孩子们平时读的是《圣经》、《天路历程》（班扬）、艾迪生（Addison）和18世纪的诗人如司各特，还有莎士比亚和古今一些历史著作。此外，他们还按父亲的要求，读几本父亲曾经读过的宗教方面的书籍。从夏洛蒂的笔记中我们可以得知，他们也曾阅读过流传到教区的几种杂志，如《黑森林杂志》（Black wood）。布朗特的孩子们因为家穷买不起杂志，只能从邻居一个医生家租阅。布朗特曾经跟别人说过，他在玛丽亚10岁时就开始和她讨论政治方面的问题了。1829年，夏洛蒂在日记中写道，她自己也曾因过于迷恋政治而一度中止了小说创作。那时她年仅13岁。如果说这些小天才们过于书生气，那可不是他们的过错，这完全是老布朗特过分嗜书如命而造成的。在他心目中，雷夫·亨特（Leigh Hunt）有着崇高的地位，而且像约翰·布尔（John Bull）这样的人物对他来讲同样不可缺少。在这种生活环境下，他的孩子们也培养起了对于文学的爱好。
老布朗特不会知道，很多时候，他的孩子们在一层楼那狭小的房子里，正在排演着自己瞎编的喜剧，她们乐此不疲，可以一直闹到深夜。
