1723-ban, amikor Sherman 2 éves volt, a családja a MA-beli Newtonból Dorchesterbe (a mai Stoughton) költözött. Kisfiúként a tanulás vágya sarkallta, és szabadidejében sokat olvasott, hogy kiegészítse a közös iskolában kapott minimális műveltségét. Ébren töltött óráinak nagy részét azonban azzal töltötte, hogy segített apjának a mezőgazdasági munkákban és megtanulta tőle a susztermesterséget. 1743-ban, két évvel apja halála után Sherman csatlakozott idősebb testvéréhez, aki a CT-beli New Milfordban telepedett le.
Megvásárolt egy boltot, megyei földmérő lett, és számos városi tisztséget nyert el, Sherman jól boldogult és vezető szerepet vállalt a közösségben. 1749-ben feleségül vette Elizabeth Hartwellt, akitől hét gyermeke született. Hivatalos jogi végzettség nélkül 1754-ben felvételt nyert az ügyvédi kamarába, és kitüntetett bírói és politikai karrierbe kezdett. Az 1755-61 közötti időszakban, egy rövid szünetet leszámítva, képviselőként szolgált a gyarmati törvényhozásban, valamint békebírói és megyei bírói tisztséget töltött be. Valahogyan időt szakított egy pénzelméleti esszé, valamint egy saját csillagászati megfigyeléseit és verseit tartalmazó almanach-sorozat kiadására is.
1761-ben Sherman felhagyott a jogi praxisával, és New Havenbe, CT-be költözött.
1761-ben Sherman felhagyott a jogi praxisával, és New Havenbe, CT-be költözött. Ott két boltot vezetett, egyet, amely a Yale diákjait szolgálta ki, és egy másikat a közeli Wallingfordban. A Yale College barátja és támogatója lett, és sok éven át a Yale College pénztárnoka volt. 1763-ban, vagyis 3 évvel első felesége halála után feleségül vette Rebecca Prescottot, akitől nyolc gyermeke született.
Közben Sherman politikai karrierje virágzott. Békebíróból és megyei bíróból a connecticuti felsőbíróság társbírájává és a gyarmati gyűlés mindkét házának képviselőjévé vált. Bár ellenezte a szélsőségeket, azonnal csatlakozott a Nagy-Britannia elleni harchoz. Támogatta az importellenes intézkedéseket és a New Haven-i levelezőbizottságot vezette.
Sherman hosszú ideig és befolyásos tagja volt a kontinentális kongresszusnak (1774-81 és 1783-84). Tagságot szerzett a Függetlenségi Nyilatkozatot és a Szövetségi Cikkelyt megfogalmazó bizottságokban, valamint az indiánügyekkel, a nemzeti pénzügyekkel és a katonai ügyekkel foglalkozó bizottságokban. A gazdasági problémák megoldására mind nemzeti, mind állami szinten magas adókat szorgalmazott a túlzott hitelfelvétel vagy a papírpénz kibocsátása helyett.
A kongresszusban töltött ideje alatt Sherman aktív maradt az állami és helyi politikában, továbbra is betöltötte a connecticuti felsőbíróság bírói tisztségét, valamint tagja volt a biztonsági tanácsnak (1777-79). 1783-ban segített kodifikálni Connecticut törvényi szabályozását. A következő évben NewHaven polgármesterévé választották (1784-86).
Bár a fizetésképtelenség szélén állt, főként a háborús veszteségek miatt, Sherman nem tudott ellenállni a nemzeti szolgálat csábításának. 1787-ben képviselte államát az alkotmányozó gyűlésen,és gyakorlatilag minden ülésen részt vett. Nemcsak az elhalasztott ügyekkel foglalkozó bizottságban ült, hanem valószínűleg segített a New Jersey-i terv kidolgozásában is, és ő volt az egyik fő mozgatórugója a connecticuti vagy Nagy Kiegyezésnek, amely feloldotta a nagy és a kis államok közötti holtpontot a képviselet tekintetében. Ezen túlmenően jelentős szerepet játszott abban, hogy Connecticut ratifikálta az alkotmányt.
Sherman pályafutását az amerikai képviselőházban (1789-91) és szenátusban (1791-93) töltötte be, ahol a föderalisták ügyét képviselte. New Havenben halt meg 1793-ban, 72 éves korában, és a Grove Street-i temetőben van eltemetve.