楊載福從那次王衙坪回來，曾國藩又派人王世全接桑園街住了一。王世全彭玉麟的情況詳詳細細告訴曾國藩。當，王世全不知彭玉麟至今單身的真正原因，曾國藩卻更佩服玉麟「匈奴未滅，無為」的志氣，認為是當今少有的奇男子。他對世全說：「一旦彭玉麟了你，你就派人告訴我，我親貴府拜訪他。」
恰巧這時月派往江西了解軍情的郭嵩燾，從江西帶著江忠源的信，來了衡州桑園街。江忠源鑒於太平軍水師的強，力勸曾國藩在衡州訓練水師，並答應向朝廷奏。郭嵩燾在前線所的太平軍炮船，在江往來飛的威風告訴曾國藩。曾國藩愈早一點見彭玉麟。
彭玉麟來王衙坪的二午，曾國藩就來了。玉麟見曾國藩親來他，十分感動，有點侷促不安說：「曾人，玉麟渣江街一落魄書生已，豈敢勞人屈尊降貴前來，這實在是萬萬擔當不的。」
曾國藩雙手拉著玉麟的手，仔細端詳著這位早幾年才進學的秀才，果長身玉立，英邁嫻雅，在清秀的眉目間透露一股卓爾不群的勇武氣概來。他突在腦子裏浮現由秀才封王的鄭功的形象，中喜不已，笑：「聽世全先生介紹，雪琴兄是時罕見的奇男子，國藩儀已久，今日有幸結識，實為三生緣分。」
一股相見恨晚的誠意深深感動了彭玉麟。他激動說：「人言重了。人朝中卿貳貴，在衡州訓練虎旅雄師，為衡州壯聲威。人文武兼資，一身擔重任，人您才是真正的奇男子。」
曾國藩哈哈一笑：「衡州是國藩的老，況且今日還談不壯聲威，即使壯了聲威，是應該的。」
「雪琴知人辦水師，極願為人效力。」王世全說。
曾國藩對彭玉麟說：「早就知足深通周瑜水師戰法，是國棟樑材。國藩請足先籌建水師一營，待足將此營建後，擬此營為榜樣，再建九營，共建十營水師。」
「玉麟其實是一個書生，雖讀過周公瑾的水師法，但畢竟是紙談兵。人將這副重擔給我，玉麟臨深履薄，深恐日後折足覆餗。」
「足不必謙遜。國藩深知兄台機警勇敢，光末年，親擒反賊李沅發，實儒林中少見英雄。」
「後來衡州協為雪琴請功，總督裕泰公為擒李沅發者必為武人，於是拔雪琴為臨武營外委，賞藍翎。雪琴一笑置，竟不受賞，辭歸渣江。」世全笑。
「此真載儒林趣談。年足在耒陽當機立斷，發主人質庫數百萬錢募勇製旗守城。這種魄力，國藩深佩不已。」
玉麟淡一笑：「這是倉促間，無奈何。那時縣令請餉，竟無一應，此應急，顧不主人肯不肯了。」
「將在外，君命有所不受。就憑這一件，足雪琴兄的將材。」
笑來。曾國藩說：「軍殷急，不容閒暇。請雪琴兄明日就搬桑園街，立即著手籌建水營。不過，有一我勸足一句。」
「請人賜教。」
「聽說足至今尚單身一人，等功名就後再，志氣雖佳，但竊為不必此固執。古人說，不孝有三，無後為。不娶妻生子，怎慰老母？且今後從軍打仗，兵兇戰危，生死難逆料，更不沒有子嗣。望足聽某一言，在軍離開衡州前，一定。」國藩叫親兵抬來一盒銀子，指著盒子說，「軍中餉銀匱缺，又乏珍稀，這八百兩銀子不是聘足禮，是為足的安費。待足後，水師訓練了，再浮江北，為朝廷分憂。」
彭玉麟既不拂逆曾國藩的這番，不不接受這份厚贈，恭敬從命。
彭玉麟二就搬進桑園街趙祠堂。曾國藩楊載福在洞庭湖的精采表演，覺楊載福實在是個難的水師軍官，便向彭玉麟介紹了楊載福。二人相見，甚是歡洽。前些日子，曾國藩從長沙請來永泰金號老闆黃冕衡州。黃冕曾在江蘇一帶任過年知府，見過許炮船，視察過江蘇水營，對辦水師有經驗；又調來在廣西管帶過水營的候補同知褚汝航。楊、黃、褚三人彭玉麟一商討水師的籌建，先定在石鼓嘴的青草橋邊建一造船廠，廣招各方木匠，努力造船。為互相辨認壯聲勢，彭玉麟還為新籌建的水師一營設計了各色旗幟。
常言，插招軍旗，有吃糧人。衡州、衡山、祁陽一帶歷來船民。這些船民，並不打魚，是靠長途運貨為生。從太平軍這一兩年在湘江、洞庭湖一帶點燃戰火來，長途販運的船民的生計受很影響，許人改行另謀生路，但部分既無田，又沒有別的手藝，生活很困難。知曾國藩在衡州招水勇，連個櫓工的餉銀養活一個四口，於是這一帶失業的船民接踵來。短短十，前來投軍的便有二三千，超過一個營的編制。曾國藩決定從中挑一千五百人，同時建三個營。任命彭玉麟為一營哨官，楊載福為二營哨官，褚汝航為三營哨官。