V roce 1723, když byly Shermanovi dva roky, se jeho rodina přestěhovala z rodného Newtonu do Dorchesteru (dnešní Stoughton). Jako chlapec byl podněcován touhou po vzdělání a ve volném čase hojně četl, aby si doplnil své minimální vzdělání v obecné škole. Většinu bdělých hodin však trávil tím, že pomáhal otci při zemědělských pracích a učil se od něj ševcovskému řemeslu. V roce 1743, dva roky po otcově smrti, se Sherman připojil ke staršímu bratrovi, který se usadil v NewMilfordu v Kalifornii.
Zakoupil obchod, stal se okresním zeměměřičem a získal řadu městských úřadů, Shermanovi se dařilo a ujal se vedení komunity. V roce 1749 se oženil s Elizabeth Hartwellovou, s níž měl sedm dětí. Aniž by měl formální právnické vzdělání, byl v roce 1754 přijat do advokátní komory a zahájil vynikající soudní a politickou kariéru. V letech1755-61 působil s výjimkou krátké přestávky jako zástupce v koloniálním zákonodárném sboru a zastával funkce smírčího soudce a okresního soudce. Nějakým způsobem si také našel čas na vydání eseje o měnové teorii a série almanachů zahrnujících jeho vlastní astronomická pozorování averse.
V roce 1761 Sherman zanechal své právnické praxe a přestěhoval se do New Havenu v Kalifornii. Tam vedl dva obchody, jeden pro studenty Yaleovy univerzity a druhý v nedalekém Wallingfordu. Stal se také přítelem a příznivcem Yale College a po mnoho let působil jako její pokladník. V roce 1763, tedy tři roky po smrti své první ženy, se oženil s Rebeccou Prescottovou, která mu porodila osm dětí.
Mezitím Shermanova politická kariéra vzkvétala. Od smírčího soudce a okresního soudce se vypracoval na pomocného soudce Nejvyššího soudu v Connecticutu a na zástupce v obou komorách koloniálního shromáždění. Ačkoli byl odpůrcem extremismu, okamžitě se zapojil do boje proti Británii. Podporoval neimportační opatření a vedl newhavenský výbor pro korespondenci.
Sherman byl dlouholetým a vlivným členem Kontinentálního kongresu (1774-81 a 1783-84). Získal členství ve výborech, které vypracovaly Deklaraci nezávislosti aČlánky konfederace, a také ve výborech zabývajících se záležitostmi Indiánů, národními financemi a vojenskými záležitostmi. K řešení hospodářských problémů na celostátní i státní úrovni prosazoval spíše vysoké daně než nadměrné půjčky nebo vydávání papírové měny.
Při působení v Kongresu zůstal Sherman aktivní ve státní a místní politice, nadále zastával funkci soudce Nejvyššího soudu státu Connecticut a byl členem bezpečnostní rady (1777-79). V roce 1783 se podílel na kodifikaci connecticutských zákonů. Následujícího roku byl zvolen starostou města NewHaven (1784-86).
Ačkoli se Sherman ocitl na pokraji platební neschopnosti, především kvůli válečným ztrátám, neodolal vábení státní služby. V roce1787 zastupoval svůj stát na Ústavním konventu a zúčastnil se prakticky všech zasedání. Nejenže zasedal ve Výboru pro odložené záležitosti, ale pravděpodobně se také podílel na vypracování plánu New Jersey a byl hlavním iniciátorem Connecticutského neboli Velkého kompromisu, který prolomil patovou situaci mezi velkými a malými státy v otázce zastoupení. Kromě toho se zasloužil o ratifikaci Ústavy v Connecticutu.
Svou kariéru zakončil působením ve Sněmovně reprezentantů USA (1789-91) a v Senátu (1791-93), kde se zasazoval za federalisty. Zemřel v New Havenu v roce 1793 ve věku72 let a je pohřben na hřbitově na Grove Street.
.