I 1723, när Sherman var två år gammal, flyttade hans familj från sin födelseort Newton, MA, till Dorchester (nuvarande Stoughton). Som pojke var han sporrad av en önskan att lära sig och läste mycket på sin fritid för att komplettera sin minimala utbildning i en vanlig skola. Men han tillbringade de flesta av sina vakna timmar med att hjälpa sin far med jordbruksarbete och att lära sig skruvmejeriyrket av honom. År 1743, två år efter faderns död, anslöt Sherman sig till en äldre bror som hade bosatt sig i New Milford, CT.
Sherman köpte en affär, blev lantmätare i länet och fick en rad olika stadskanslier, och han hade framgång och tog på sig ledarskapet i samhället. År 1749 gifte han sig med Elizabeth Hartwell, med vilken han fick sju barn. Utan att ha fått någon formell juridisk utbildning blev han 1754 advokat och inledde en framstående juridisk och politisk karriär. Under perioden 1755-61, med undantag för ett kort uppehåll, tjänstgjorde han som vår representant i den koloniala lagstiftande församlingen och innehade ämbetena som fredsdomare och länsdomare. På något sätt fick han också tid att publicera en uppsats om monetär teori och en serie almanackor som innehöll hans egna astronomiska observationer och omvänt.
1761 övergav Sherman sin advokatverksamhet och flyttade till New Haven, CT. Där drev han två butiker, en som vände sig till Yale-studenter och en annan i närliggande Wallingford. Han blev också en vän till och en viktig aktör för Yale College och tjänstgjorde under många år som dess kassör. År 1763, eller tre år efter sin första hustrus död, gifte han sig med Rebecca Prescott, som födde åtta barn.
Under tiden hade Shermans politiska karriär blommat upp. Han steg från fredsdomare och länsdomare till biträdande domare i Connecticut Superior Court och till representant i båda kamrarna i den koloniala församlingen. Även om han var motståndare till extremism gick han genast med i kampen mot Storbritannien. Han stödde åtgärder mot import och ledde New Haven-kommittén för korrespondens.
Sherman var en långvarig och inflytelserik medlem av den kontinentala kongressen (1774-81 och 1783-84). Han vann medlemskap i de kommittéer som utarbetade självständighetsförklaringen och konfederationsartiklarna, liksom i de kommittéer som sysslade med indianaffärer, nationella finanser och militära frågor. För att lösa ekonomiska problem, både på nationell och delstatlig nivå, förespråkade han höga skatter snarare än överdriven upplåning eller utgivning av pappersvaluta.
Under tiden i kongressen förblev Sherman aktiv i delstatlig och lokal politik och fortsatte att inneha ämbetet som domare i Connecticuts överdomstol, liksom medlemskap i säkerhetsrådet (1777-79). År 1783 hjälpte han till att kodifiera Connecticuts lagstadgade lagar. Året därpå valdes han till borgmästare i New Haven (1784-86).
Och även om Sherman var på gränsen till insolvens, främst på grund av krigsförlusterna, kunde han inte motstå lockelsen av nationell tjänstgöring. År1787 representerade han sin delstat i det konstitutionella konventet,och deltog i praktiskt taget varje sammanträde. Han satt inte bara med i kommittén för uppskjutna frågor, utan han hjälpte troligen också till att utarbeta New Jersey-planen och var en av initiativtagarna till Connecticut- eller Great Compromise, som bröt dödläget mellan de stora och små delstaterna när det gällde representation. Han bidrog dessutom till att Connecticut ratificerade konstitutionen.
Sherman avslutade sin karriär med att tjänstgöra i USA:s representanthus (1789-91) och senat (1791-93), där han stödde den federalistiska saken. Han dog i New Haven 1793 vid 72 års ålder och ligger begravd på Grove Street Cemetery.