曾紀澤之所以要帶李鴻章去安徽合肥招兵買馬，是因為安徽合肥是李鴻章的老家，他的親朋好友都在那里，李鴻章在曾國藩府上待了幾年之後，為人更加成熟，名聲自然在外，很多人都知道有李鴻章這號人物。加上曾國藩收復安慶，安徽團練對曾家軍無不刮目相看，听說曾國藩的兒子曾紀澤親自來招人，沒有費多大心力便卓有成效。安徽當地那些兵勇也是一呼百應，紛紛聚集到曾紀澤的手下。
曾紀澤的幕僚，除了李鴻章，還有王 運。王 運勸說肅順干掉慈禧失敗後，就對他失望了，在曾紀澤北上勤王那段時間，他對曾紀澤的野心刮目相看，投在他的門下。
曾紀澤還帶王 運到安慶去見曾國藩，勸說曾國藩自立，但也失敗了，便繼續輔佐曾紀澤。
在王 運和李鴻章的幫助下，曾紀澤將合肥西鄉里的一些比較有名的團練都聚集在一起，這些比較有名的民辦團練負責人有周公山下的張樹聲、張樹珊兄弟，大潛山北的劉銘傳，大潛山西南的唐氏兄弟，紫蓬山的周氏兄弟等。除此之外，還有解先亮、葉志超等人領導的官辦團練。而在這些團練中，最善于打仗的是張氏兄弟、劉銘傳和周氏兄弟的三支。曾紀澤對這些人很滿意，尤其是豪氣干雲的劉銘傳、張樹聲，覺得和他們意氣相投。
張樹聲也是曾國藩讓曾紀澤重點關注的人才。張樹聲听說李鴻章輔佐曾國藩，曾寫信給曾國藩表達過自己的豪情壯志，說他有意和周氏兄弟、劉銘傳一起做出點驚天動地的大事，請曾國藩加以指導。
曾國藩看了張樹聲寫的信後，對曾紀澤說“張樹聲此人，觀其言，察其行，就好比渡江北伐匈奴的東晉名將祖逖。”
由于張樹生的年齡在這三支團練的領導人中最長，因此他是其他兩人的大哥。所以張樹生對曾國藩表示了投效之意後，大家也都紛紛表示贊成。
曾國藩通過寫信或派人聯絡等辦法，征召廬州一帶舊有的團練，給曾紀澤打下來良好的基礎。
曾紀澤在安慶召集的團練中，最早編練的就是張樹生統率的樹字營和劉銘傳統率的銘字營。不久之後，周氏兄弟的盛字營和李鶴章招募的人也紛紛聚集在曾紀澤的手下。至于李鴻章的學生潘鼎新、吳長慶，他們的隊伍則分別被編為鼎字營、慶字營。
由于多方的配合，在短短的兩個月之內，曾紀澤就成軍數營，曾紀澤給他們配上了洋槍和開花炮，加上之前先練的洋槍隊和洋炮隊，二十三歲的曾紀澤獨當一面指揮的隊伍，成了湘軍當中的精銳。
不久，曾紀澤和李鴻章所募淮勇陸陸續續抵達安慶，其中有張樹聲的樹字營，劉銘傳的銘字營，潘鼎新的鼎字營，吳長慶的慶字營等。其中，除了樹、銘、鼎、慶等四營外，還有張遇春統領的春字營，它屬于李鴻章在皖北辦理團練的舊部，現在重新歸李鴻章指揮。
樹、銘、鼎、慶等各支隊伍在安慶聚集之後，曾國藩按例提出要接見這些團練的頭目。一來給曾紀澤的隊伍打打氣，二來觀察一下這些淮勇將領，他善于看面相。
曾紀澤很高興，率領部屬駐扎在安慶北門城外，親自帶劉銘傳和張樹聲等人進城里見曾國藩道賀。
當張樹聲和劉銘傳等十幾個主要團練負責人來到曾國藩的大廳之後，曾國藩躲在屏風後面一直不出來，卻暗中觀察各人的反應。
張樹生反應最平淡，面無不悅之色，低頭喝茶。
“這個曾國藩，是不是官做大了，給我們擺起譜來了。”而劉銘傳則早已喪失耐心，道。要不是看在曾紀澤的面子上，依照自己的倔脾氣，劉銘傳早就破口大罵了。
經過一番觀察，曾國藩認為張樹聲和劉銘傳都是不可多得的將才，因此出來與他們見面後，說“諸君皆人杰也，今日之會，天其有意致中興乎？”
于是，曾國藩讓曾紀澤特別留意張樹聲和劉銘傳，還留他們一起就餐，在餐桌上暢談用兵的方法以及怎樣鎮壓太平軍的計劃。
曾紀澤招來的人馬大部分是新勇，缺乏實際的作戰經驗，而且人數相對李秀成的三四十萬大軍來說也不多，保護上海是備顯艱難。
李鴻章不想去上海送死，因此他向老師曾國藩訴說了這些困難，並且懇請曾國藩調撥數營湘勇，以增強戰斗力。
曾國藩考慮一段時間之後，答應了李鴻章的請求，陸續給曾紀澤和李鴻章調撥了湘勇八營。這八營湘勇，包括曾國藩的兩營親兵，由曾紀澤親自統領，充當曾紀澤的親兵還有借自曾國荃的兩營湘勇，歸程學啟統帶由滕嗣林、滕嗣武統帶的林字兩營，原為江甦巡撫薛煥在湖南招募，經曾國藩篩選千人，編入淮軍還有陳飛熊統帶的熊字營、馬先槐統帶的垣字營，這兩營湘勇原本是曾國藩在湖南召集而來，歸陳士杰統領，但是由于陳士杰不願前往上海，因此這兩營兵勇撥歸淮軍。就這樣，曾紀澤帶去上海的軍隊一共15個營，共有9500人。
從此以後，曾紀澤有了一支屬于自己領導的武裝，從此名正言順登上了歷史的舞台。
曾紀澤組建淮軍，雖然在曾國藩的支持下比較順利，但是也遇到了很多困難，比如軍心不穩糧餉不夠，但總的說來，淮軍的建立對于曾國藩來說是利大于弊，它不僅壯大了湘軍的力量，還讓曾紀澤擁有了兵權，並且對鎮壓太平軍、捻軍等都起到了很大的作用。
曾紀澤想過這支軍隊的名字，因為大部分是安徽人，還是按照習慣叫淮軍，叫什麼並不重要，重要的是為他所用。
而且淮由湘出，湘軍和淮軍有著基本的一致性，特別是營制餉章、編制訓練，它們是一脈相承的。並且湘軍和淮軍只听從曾國藩或者曾紀澤的指揮，完全成為了“曾家軍”，其他省區的將帥根本無法指揮調動，即使是清廷也不能直接調遣。
不過，曾紀澤帶軍，自然有他的特點，和曾國藩帶的湘軍有很多不一樣的地方。
湘軍初創之時，兵將都來自湖南，它的組建原則是“選士人，領山農”。曾國藩選將領，都是選那些懷著“修身、齊家、治國、平天下”的人，他們利欲燻心而政治地位又不高，但是他們“忠君”的思想極為濃厚，因此曾國藩就以忠君報國的思想為精神支柱來統率湘軍。而曾紀澤的軍隊成分則比較復雜，他選將領，重視人的才華和韜略，對于別人是否出身貧寒、是否不太關心，因此鹽販子出身的人和太平軍的降將他都敢于任用。
淮軍在15營的11位統領中，舉人、稟生只各一人。程學啟是太平軍的降將劉銘傳是販賣私鹽的頭子。這些都說明淮軍將領的知識結構要比湘軍將領差得多。至于兵勇方面，湘軍士兵大多是山村樸實無華的農人，比較單一而淮軍則既有太平軍的降將，也有飛揚跋扈的團勇，成員冗雜，還有洋槍隊和洋炮隊。
在曾紀澤的治軍思想影響下，淮軍不講究什麼門第、出身、師生紐帶等關系，只要你擁有一腔熱血，足夠忠誠，都能得到重用。這樣一來，不僅曾國藩對淮軍刮目相看，而實際上淮軍也已經成功地“金蟬脫殼”，走上了與湘軍完全不同的道路。
除此之外，曾紀澤還開始建立自己的幕府，並且很快就召集了一批具有各種各樣才能的實用人才。這些人里面有精通數學、天文的科學家，有懂得會計的經濟學人才，也有懂得兵法的軍事家等等。曾紀澤用人，從實際出發，盡力做到人盡其才，其中包括曾經去安慶求助的錢鼎銘也被收歸旗下，為淮軍辦理營務。
淮軍已經成立，如何從安慶進軍上海又成了一個棘手的問題。因為安慶與上海不僅相距甚遠，並且又要經過太平軍控制的地區，其艱難程度可想而知。
曾國藩本來計劃由水、陸兩種方式進軍上海，但是陸路的困難又讓他放棄了這個想法。後來曾國藩寫信給上海的吳煦，經過一番波折之後，終由上海的紳商出資白銀18萬兩，才雇得7艘輪船開到安慶，加上曾紀澤帶回的軍艦護航，從而解決了淮軍到上海的難題！
在離開安慶之前，曾國藩告誡曾紀澤要擺正“練兵學戰”與“吏治洋務”的位置，並且要曾紀澤將軍事放在首位。
不久，曾紀澤所統領的淮軍15營士兵分為三批由安慶順江而東，最終到達上海。
曾紀澤初到上海，就對這里的浮華之風和官僚作風有了一定的了解，因為當時甦滬紳商急忙趕往安慶求援，而上海當地的官員根本就沒有商量如何出兵攻打太平軍的計劃。
曾紀澤思考許久，終于明白曾國荃為什麼不來上海的原因，因為江甦巡撫薛煥也想把淮軍置于他的管轄之下。正因為這樣，李鴻章決定靜觀其變，等了解了上海的具體情況之後，再作打算。
曾紀澤知道，上海乃是中國重要的城市，只要控制了上海，就可以控制餉源，並且淮軍是上海商人請來的，今後自己將上海當基地，配合南洋的大漢國，發展航海貿易，實力將會如日中天，而且，有了上海，大漢國就有了中國市場和全球市場。並且，上海人思想開放，修鐵路，開辦大學等都可以，曾紀澤為自己確定了一個長期的戰略目標，逐步實現他既定的關于軍事、學戰、吏治、籌餉和洋務等的戰略方針。曾紀澤下定決心要沖破一切艱難險阻，闖出屬于自己的新局面，而這一切的前提，就是先解決李秀成的部隊。
而曾國藩極力讓曾紀澤到上海援助，也有著他自己的計劃。除了最基本的軍事和政治目的外，曾國藩需要上海的稅收能夠為湘軍帶來充足的軍餉。自從五口通商之後，上海的海關稅收雖然有一定的收入，但是依然入不敷出。曾紀澤面臨這個棘手的問題，采取了海關厘稅分收分用的政策。湘軍、淮軍等費用都來自稅收和厘金，並且當時上海的厘金收取率是全國最高的。在曾紀澤的安排下，已經基本上解決了淮軍的軍餉問題，並且還以金錢和物資的方式支援了湘軍在西線戰場。
為了減輕曾紀澤在上海的軍事壓力，曾國藩下令曾國荃率領的湘軍陸師與彭玉麟率領的湘軍水師推進至江寧城外。
城內的天王洪秀全得知這一消息，立馬就慌了神。自江南大營被攻破後，江寧外圍已經很久沒有敵軍圍城。現在突然殺來這麼多湘軍，領兵的還是曾國藩的弟弟曾國荃以及曾國藩的重要嫡系將領彭玉麟，洪秀全怎能不心慌！
當時，李秀成正帶兵攻打上海，由于遇到淮軍以及洋人常勝軍的抵御，進展一直很緩慢。洪秀全親自連續頒布幾道天王詔書，言辭犀利，命令李秀成立即率兵回援天京。
李秀成不得已，只好放棄上海，返回甦州，召集眾將領商討下一步行動。
李秀成認為，湘軍的氣勢正盛，如果在這個時候選擇與湘軍決戰，必然吃虧。只有等到湘軍疲憊之時，與之決戰才能有比較大的勝算。李秀成將自己的想法上報洪秀全，結果遭到洪秀全嚴厲譴責擁兵自重，膽大妄為！
洪秀全認為李秀成是在搞獨立，為了擴充地盤不顧天京守備，並且明令他趕緊親自帶兵回援天京，否則以謀逆處置。
李秀成不敢違令，只好率領六十萬大軍前來天京解圍，同時命護王陳坤書率水營攻打金柱關，切斷吉字營的糧道。
洪秀全要李秀成趕緊和吉字營決戰，趕走曾國荃。這一戰，李秀成本來是不願意打的，迫于天王的壓力才不得不打。。