為了讓阿倫的親生父親與自己的兒子見上壹面,安妮帶著他回到了哈特福德居住,可是在阿倫三歲的時候,父親布朗頓永遠從阿倫的人生中消失了.安妮對於這種變故是這麽說的:"無論我們過什麽樣的生活,我都從來沒有責備過他(布朗頓),我也告訴阿倫不要怪他.不過我還是覺得布朗頓很可憐,他後來再也沒打過電話來問壹問阿倫的生活.對於現在的阿倫來說,他的親生父親只是馬路上的壹個陌生人."盡管如此,艾弗森並非沒有父親撫養.安妮17歲時祖母去世了,她開始和男友邁克爾．福裏曼(Michael Freemen)壹起生活,那時艾弗森就把這個人當作了自己的父親.
後來安妮和福裏曼又生了布蘭迪和伊莎兩個女兒,他們全家也搬到了斯圖爾公園公寓居住.那時他們的生活相當艱難,為了賺取孩子們的養育金,從秘書到鏟車司機,到當地造船廠的溶接工,安妮從事過各種各樣的工作.無論什麽樣的工作,只要能做她都做過.那時福裏曼在紐波特紐斯的造船廠工作,但1988年1月他因壹起交通事故丟掉了工作,為了養家他幹起了倒賣毒品的買賣.1991年福裏曼事發被捕,他最終以販賣和攜帶毒品的罪名被判處22個月的監禁,後又因違反假釋規定被判處了23個月的監禁.艾弗森小時候不願意叫這個人為父親,可是長大以後,他對福裏曼的態度改變了."他養育了這這個家,他從來沒有偷別人的東西,他從監獄出來以後,看帶家中的困苦生活十分痛苦."
在斯圖爾特公園公寓,暴力,毒品,賣淫成為每天生活的壹部分.艾弗森壹家的生活過得相當艱苦,由於總是不能夠支付各種各樣的費用,家中經常被停水停電.另外,阿倫家的底下有壹條下水管道,每當它破裂,臟水便會流入家中,弄得壹屋子汙濁不堪.回首那段日子,艾弗森苦不堪言:"有時回到家發現沒有電也沒有食物,有時甚至連水都沒有.每當下水管破裂時,我們床下就都是水,我和妹妹就要在水裏待壹天."除了艱難度日之外,艾弗森的外部生存環境也很艱苦.斯圖爾特公園公寓壹帶是犯罪高發區,他周圍的朋友和鄰居中既有販賣毒品的,也有犯罪的,還有加入暴力集團的,阿倫經常會感覺自己在和死亡做鄰居,但他自己並沒有陷入販賣毒品賺錢的買賣中.有壹個夏天,艾弗森的8個朋友死了,其中還有他的親友托尼．庫拉克.2001年10月,兩個月前剛舉行了結婚典禮的艾弗森的朋友拉加恩．蘭格弗特在紐波特紐斯被槍殺,在婚禮當天,蘭格弗特還為艾弗森當了伴郎.
希望和家庭壹起從貧困中擺脫出來,成為艾弗森的希望."我必須成功,我要擺脫被下水管困擾的生活."15歲那年艾弗森成為了家中的頂梁柱,母親安妮還記得兒子13歲時曾跟她說過的壹句話:"媽媽,我無法忍耐貧困,無法忍耐貧困."於是安妮對他說:"那麽妳就應該不斷提高自己,否則所有的壹切都將維持現狀."可是,母子倆都知道這是壹個很大的夢. 他即將為夢而奮鬥..................