在此期间,美国联邦调查局为防止爱因斯坦的大脑在旅途中出现意外,秘密派特工全程跟踪保护。哈维从东到西走了4000公里,联邦调查局特工竟跟踪了他4000公里。

　　当得知自己被跟踪后,哈维惊出了一身冷汗,他感到从未有过的疲惫。经思索再三,他决定放弃爱因斯坦大脑“保管员”的角色,他在1998年85岁时,将爱因斯坦大脑转交给了普林斯顿大学医院保管。那一刻,哈维如释重负地说:“我终于卸下扛了整整43年的重负,它(爱因斯坦大脑)已经和我没有任何关系了。不管外界对我怎样评价,现在我已经不在乎了,我坚信我当初的决定是正确的。虽然如此,我还是要说,虽然我曾拥有了世界上最伟大科学家的大脑,但它的巨大责任感让我浑身疲惫。现在好了,这一切终于结束了。”

　　维特森博士这样评价哈维:“他是一位睿智的学者,是一个非常称职的‘保管员’,而且总是在为它(爱因斯坦大脑)寻找最好、最知名的研究人员。仅凭这一点,哈维博士就是值得称道的。”