Vuonna 1723, Shermanin ollessa 2-vuotias, hänen perheensä muutti synnyinkaupungistaan Newtonista Dorchesteriin (nykyinen Stoughton). Poikana häntä kannusti halu oppia ja hän luki paljon vapaa-aikanaan täydentääkseen vähimmäiskoulutustaan yhteiskoulussa. Suurimman osan valveillaoloajastaan hän vietti kuitenkin auttamalla isäänsä maanviljelystöissä ja oppimalla häneltä suutarin ammatin. Vuonna 1743, kaksi vuotta isänsä kuoleman jälkeen, Sherman liittyi vanhempaan veljeensä, joka oli asettunut asumaan New Milfordiin, CT:hen.
Sherman osti kaupan, hänestä tuli piirikunnan maanmittari ja hän voitti useita kaupungin virkoja. Vuonna 1749 hän meni naimisiin Elizabeth Hartwellin kanssa, jonka kanssa hän sai seitsemän lasta. Ilman muodollista lainopillista koulutusta hänet hyväksyttiin asianajajaksi vuonna 1754 ja hän aloitti merkittävän oikeudellisen ja poliittisen uran. Vuosina 1755-61 hän toimi lyhyttä taukoa lukuun ottamatta edustajana siirtomaiden lainsäätäjissä ja hoiti rauhantuomarin ja piirituomarin tehtäviä. Jotenkin hän ehti myös julkaista rahateoriaa käsittelevän esseen ja sarjan almanakkeja, jotka sisälsivät hänen omia tähtitieteellisiä havaintojaan ja käännöksiään.
Vuonna 1761 Sherman luopui lakiasiainharjoittamisesta ja muutti New Haveniin, CT:hen. Siellä hän johti kahta kauppaa, yhtä, joka palveli Yalen opiskelijoita, ja toista läheisessä Wallingfordissa. Hänestä tuli myös Yale Collegen ystävä ja tukija, ja hän toimi useita vuosia sen rahastonhoitajana. Vuonna 1763, eli kolme vuotta ensimmäisen vaimonsa kuoleman jälkeen, hän meni naimisiin Rebecca Prescottin kanssa, joka synnytti kahdeksan lasta.
Sillä välin Shermanin poliittinen ura oli kukoistanut. Hän nousi rauhantuomarista ja piirikunnan tuomarista Connecticutin korkeimman oikeuden apulaistuomariksi ja edustajaksi siirtokuntakokouksen molempiin taloihin. Vaikka hän vastusti ääriliikkeitä, hän liittyi nopeasti taisteluun Britanniaa vastaan. Hän kannatti ei-tuontitoimenpiteitä ja johti New Havenin kirjeenvaihtokomiteaa.
Sherman oli pitkäaikainen ja vaikutusvaltainen Manner-Euroopan kongressin jäsen (1774-81 ja 1783-84). Hän voitti jäsenyyden komiteoissa, jotka laativat itsenäisyysjulistuksen ja liittovaltion perussäännöt, sekä komiteoissa, jotka käsittelivät intiaaniasioita, valtiontaloutta ja sotilasasioita. Taloudellisten ongelmien ratkaisemiseksi sekä kansallisella että osavaltiotasolla hän kannatti korkeita veroja ennemmin kuin liiallista lainanottoa tai paperivaluutan liikkeeseenlaskua.
Kongressissa ollessaan Sherman pysyi aktiivisena osavaltio- ja paikallispolitiikassa ja toimi edelleen Connecticutin ylimmän oikeuden tuomarina sekä turvallisuusneuvoston jäsenenä (1777-79). Vuonna 1783 hän auttoi kodifioimaan Connecticutin lakisääteiset lait. Seuraavana vuonna hänet valittiin NewHavenin pormestariksi (1784-86).
Vaikka Sherman oli maksukyvyttömyyden partaalla lähinnä sota-ajan tappioiden vuoksi, hän ei voinut vastustaa kansallisen palvelun houkutusta. Vuonna1787 hän edusti osavaltiotaan perustuslakikokouksessa,ja osallistui käytännössä jokaiseen istuntoon. Hän istui lykättyjä asioita käsittelevässä komiteassa, mutta hän luultavasti myös auttoi New Jerseyn suunnitelman laatimisessa ja oli tärkeimpänä aloitteentekijänä Connecticutin eli suuren kompromissin takana, joka ratkaisi suurten ja pienten osavaltioiden välisen edustusta koskevan umpikujan. Lisäksi hän vaikutti merkittävästi siihen, että Connecticut ratifioi perustuslain.
Sherman päätti uransa toimimalla Yhdysvaltain edustajainhuoneessa (1789-91) ja senaatissa (1791-93), jossa hän ajoi federalistien asiaa. Hän kuoli New Havenissa vuonna 1793 72-vuotiaana, ja hänet on haudattu Grove Streetin hautausmaalle.
Herman kuoli New Havenissa vuonna 1793 72-vuotiaana.