I 1723, da Sherman var 2 år gammel, flyttede hans familie fra sit fødehjem i Newton, MA, til Dorchester (nuværende Stoughton). Som dreng blev han ansporet af et ønske om at lære og læste meget i sin fritid for at supplere sin minimale uddannelse på en almindelig skole. Men han brugte de fleste af sine vågne timer på at hjælpe sin far med landbrugsopgaver og lære skomagerfaget af ham. I 1743, to år efter sin fars død, sluttede Sherman sig til en ældre bror, der havde slået sig ned i New Milford, CT.
Sherman købte en butik, blev landinspektør og vandt en række embeder i byen, og han havde fremgang og overtog lederskabet i samfundet. I 1749 giftede han sig med Elizabeth Hartwell, med hvem han fik syv børn. Uden at have fået en formel juridisk uddannelse blev han optaget som advokat i 1754 og indledte en fremragende juridisk og politisk karriere. I perioden 1775-1755-61 var han, bortset fra en kort periode, repræsentant i kolonitidens lovgivende forsamling og beklædte embederne som fredsdommer og amtsdommer. På en eller anden måde fik han også tid til at udgive et essay om monetær teori og en serie af almanakker med sine egne astronomiske observationer og omvendinger.
I 1761 opgav Sherman sin advokatvirksomhed og flyttede til New Haven, CT. Her drev han to forretninger, en, der henvendte sig til Yale-studerende, og en anden i det nærliggende Wallingford. Han blev også en ven og støtte for Yale College og fungerede i mange år som dets kasserer. I 1763, eller 3 år efter sin første kones død, giftede han sig med Rebecca Prescott, som fødte otte børn.
I mellemtiden var Shermans politiske karriere blomstret op. Han steg fra fredsdommer og amtsdommer til at være meddommer ved Connecticut Superior Court og til repræsentant i begge kamre i koloniens forsamling. Selv om han var modstander af ekstremisme, sluttede han sig straks til kampen mod Storbritannien. Han støttede ikke-importforanstaltninger og stod i spidsen for New Haven-komiteen for korrespondance.
Sherman var et langvarigt og indflydelsesrigt medlem af den kontinentale kongres (1774-81 og 1783-84). Han fik medlemskab af de udvalg, der udarbejdede uafhængighedserklæringen og konføderationsartiklerne, samt af de udvalg, der beskæftigede sig med indianeraffærer, nationale finanser og militære anliggender. For at løse økonomiske problemer, både på nationalt og statsligt plan, gik han ind for høje skatter frem for overdreven låntagning eller udstedelse af papirvaluta.
Mens han sad i Kongressen, forblev Sherman aktiv i stats- og lokalpolitik og fortsatte med at beklæde embedet som dommer ved Connecticut Superior Court samt at være medlem af sikkerhedsrådet (1777-79). I 1783 var han med til at kodificere Connecticuts statslige love. Året efter blev han valgt til borgmester i New Haven (1784-86).
Selv om han var på randen af insolvens, hovedsagelig på grund af krigstab, kunne Sherman ikke modstå tiltrækningen fra national tjeneste. I1787 repræsenterede han sin stat i forfatningskonventet,og deltog i praktisk talt alle møder. Ikke alene sad han i komiteen for udskudte sager, men han var sandsynligvis også med til at udarbejde New Jersey-planen og var en af hovedkræfterne bag Connecticut- eller Great Compromise, som brød den fastlåste situation mellem de store og små stater om repræsentation. Han var desuden medvirkende til, at Connecticut ratificerede forfatningen.
Sherman afsluttede sin karriere med at sidde i det amerikanske Repræsentanternes Hus (1789-91) og Senatet (1791-93), hvor han gik ind for den føderalistiske sag. Han døde i New Haven i 1793 i en alder af 72 år og er begravet på Grove Street Cemetery.