In 1723, toen Sherman 2 jaar oud was, verhuisde zijn familie van zijn geboorteplaats Newton, MA, naar Dorchester (het huidige Stoughton). Als jongen was hij leergierig en las hij veel in zijn vrije tijd om zijn minimale opleiding op een gewone school aan te vullen. Maar de meeste tijd in zijn vrije tijd besteedde hij aan het helpen van zijn vader bij het boerenwerk en het leren van het vak van schoenmaker. In 1743, 2 jaar na de dood van zijn vader, voegde Sherman zich bij een oudere broer die zich in NewMilford, CT. had gevestigd.
Kocht een winkel, werd landmeter en kreeg verschillende stadsfuncties. In 1749 trouwde hij met Elizabeth Hartwell, bij wie hij zeven kinderen kreeg. Zonder een formele juridische opleiding te hebben genoten, werd hij in 1754 toegelaten tot de balie en begon aan een uitstekende gerechtelijke en politieke carrière. In de periode 1755-61 was hij, op een korte onderbreking na, vertegenwoordiger in de koloniale wetgevende macht en bekleedde hij de ambten van vrederechter en kantonrechter. Op de een of andere manier wist hij ook nog tijd vrij te maken voor de publicatie van een essay over monetaire theorie en een serie almanakken waarin hij zijn eigen astronomische observaties en omgekeerde gegevens verwerkte.
In 1761 gaf Sherman zijn advocatenpraktijk op en verhuisde naar New Haven, CT. Daar beheerde hij twee winkels, een voor Yale-studenten en een andere in het nabijgelegen Wallingford. Hij werd ook een vriend en weldoener van het Yale College en was vele jaren de penningmeester ervan. In 1763, of 3 jaar na de dood van zijn eerste vrouw, trouwde hij met Rebecca Prescott, die acht kinderen baarde.
Intussen was Shermans politieke carrière tot bloei gekomen. Hij klom op van vrederechter en kantonrechter tot rechter in het Hooggerechtshof van Connecticut en tot vertegenwoordiger in beide kamers van de koloniale vergadering. Hoewel hij tegen extremisme was, sloot hij zich onmiddellijk aan bij de strijd tegen Groot-Brittannië. Hij steunde niet-importmaatregelen en stond aan het hoofd van het correspondentiecomité van New Haven.
Sherman was een langdurig en invloedrijk lid van het Continentaal Congres (1774-81 en 1783-84). Hij werd lid van de commissies die de Onafhankelijkheidsverklaring en de Artikelen van de Confederatie opstelden, en van de commissies die zich bezighielden met Indiaanse zaken, nationale financiën en militaire zaken. Om economische problemen op te lossen, zowel op nationaal als staatsniveau, pleitte hij voor hoge belastingen in plaats van buitensporige leningen of de uitgifte van papiergeld.
Terwijl hij in het Congres zat, bleef Sherman actief in de staats- en lokale politiek en bekleedde hij nog steeds het ambt van rechter van het Superior Court van Connecticut, evenals het lidmaatschap van de Raad van Veiligheid (1777-79). In 1783 hielp hij bij de codificatie van de wetten van Connecticut. Het jaar daarop werd hij gekozen tot burgemeester van NewHaven (1784-86).
Hoewel hij op de rand van de afgrond stond, voornamelijk vanwege de verliezen in de oorlogstijd, kon Sherman de verleiding van de nationale dienst niet weerstaan. In 1787 vertegenwoordigde hij zijn staat op de constitutionele conventie, en woonde praktisch elke zitting bij. Niet alleen zat hij in het Comité voor Uitgestelde Zaken, maar hij heeft waarschijnlijk ook geholpen bij het opstellen van het New Jersey Plan en was een van de drijvende krachten achter het Compromis van Connecticut, dat de impasse tussen de grote en kleine staten over de vertegenwoordiging doorbrak. Bovendien speelde hij een belangrijke rol bij de ratificatie van de grondwet door Connecticut.
Sherman sloot zijn loopbaan af met een functie in het Amerikaanse Huis van Afgevaardigden (1789-91) en de Senaat (1791-93), waar hij de Federalistische zaak omhelsde. Hij stierf in 1793 in New Haven op de leeftijd van 72 jaar en ligt begraven op het Grove Street Cemetery.