哈维以研究为由，始终不让大脑离开自己的身边，因此他的声誉受到极大影响，以致他不得不放弃在普林斯顿大学的职务。80年代中期，哈维重新开始对爱因斯坦大脑进行研究。他把许多切片分送给德国、委内瑞拉、中国、日本、阿根廷等国的科学家；别的科学家通过各种途径与他联系，希望跟他一起研究，他也豪爽地提供给他们，只是申明仅仅是出借，而不是出售。
爱因斯坦在病中曾亲口对哈维说起，想作一次横贯美国的东西之行，但这个愿望未能实现。1997年，84岁高龄的哈维决定带着爱因斯坦的大脑，实现他这一遗愿；另外，他还要爱因斯坦的孙女伊芙琳看一看这些脑切片，他还要将大脑送回伟人从1933年起就在那里工作直至去世的普林斯顿大学，交由普林斯顿医院保管。哈维此时所在的新泽西州紧靠大西洋，加利福尼亚州则濒临太平洋，两地一东一西相距4000多公里。
自从哈维教授获得爱因斯坦的大脑那天起，苏联克格勃组织对它就有非分之想，只是未能得逞。使美国联邦调查局吃惊的是，这次教授竟然要将自己保管了40多年的稀世之宝从实验室取出，并带着离家出走，于是派特工秘密跟踪他们4000公里，目的是绝不让这位科学泰斗的大脑离开美国国土。
爱因斯坦大脑特异之处大脑送回后，威特尔森教授领导的研究小组测定爱因斯坦大脑左右半球的顶下叶区域，比平常人的这部分要大15％，而且一种为神经元提高营养的细胞的浓度很高，能对人的数学思维、想象力及视觉空间的认识发挥重要作用，因此他思维独特、才智超人。这个小组还发现，爱因斯坦的大脑的另一个特异之处是，大脑从两侧到下部的沟回，比一般的人多得多。这一特点可能为神经元提供更多的空间，因此，他们得出结论，爱因斯坦的天才是先天生成，而非全靠后天的努力。（湖南人民出版社余凤高著《天才就是疯子》）
