回到家鄉後，吳康之覺得東鄉離縣城很遠，窮孩子無條件到縣城接受教育，農村孩子流浪過度。作為壹名學者，他深感憂慮，萌生了建校的想法。不幸的是，吳康之還沒來得及實現自己的辦學理想，就病逝了。吳康之有壹兒壹女，兒子早逝。在她去世之前，她告訴她的妻子和女兒吳誌英捐出所有的土地和房地產來開辦壹所學校，以啟迪民智，教育他們的鄰居。
母親去世後，遠嫁無錫的吳誌英遵照父親的遺願，回到家鄉捐出遺產辦學。吳康之主要有兩個行業。壹個是唐前莊的聚銀山莊及別墅用地，莊園約10105畝，壹個是岱莊用地，莊園約83132畝，總價值約22000銀。由於吳康的死，吳家無良子弟覬覦他的財產，並阻止吳誌英辦學。
辦學必須得到當地官員的批準。光緒三十壹年(1905)，吳誌英向兩江總督周玉帥遞交了辦學申請書。周玉帥當即批示“瀏覽讀書，不如讀書”，支持智英的義舉，使學校得以創辦。聚音小學的歷史要從今年算起。按照程序，吳誌英應該先向當地官方申請辦學，然後由當地官方上報。然而，之前向郡裏報告時，吳氏家族覬覦吳康之的遺產以疏通郡政府，這是壹個阻礙。吳誌英兩次舉報，縣政府都以“已婚女兒無權捐贈父親的財產”為由拒絕了在這種情況下，吳誌英決定向兩江總督署遞交壹封信。吳誌英自上而下的方式引起了當地官員的不滿。當周毓帥的批復到達安徽巡撫衙門時，巡撫恩明強烈不滿，不再將《兩江巡撫同意吳誌英辦學的呈文》發往本縣。此時，不贊成辦學的吳氏家族人士也向巡撫衙門上書。這樣，恩明扣壓吳誌英的意見書就有了更多的借口，吳誌英的建校計劃也就擱淺了。第二年，申訴，當時的兩江總督馮出面調解，終於得到當地官員的同意。光緒三十二年，聚音小學堂的實質性創建才真正開始。
叔叔吳汝綸是曾國藩的弟子，晚清桐城派作家。老公是無錫名人廉泉。