Nel 1723, quando Sherman aveva 2 anni, la sua famiglia si trasferì dalla sua città natale di Newton, MA, a Dorchester (attuale Stoughton). Da ragazzo, era spronato dal desiderio di imparare e leggeva molto nel suo tempo libero per integrare la sua istruzione minima in una scuola comune. Ma passava la maggior parte delle sue ore di veglia ad aiutare il padre nei lavori agricoli e ad imparare da lui il mestiere di calzolaio. Nel 1743, 2 anni dopo la morte del padre, Sherman raggiunse un fratello maggiore che si era stabilito a NewMilford, CT.
Acquistando un negozio, diventando geometra della contea e vincendo una serie di cariche cittadine, Sherman prosperò e assunse la leadership nella comunità. Nel 1749 sposò Elizabeth Hartwell, dalla quale ebbe sette figli. Senza il beneficio di una formale formazione giuridica, fu ammesso all’ordine degli avvocati nel 1754 e si imbarcò in un’ottima carriera giudiziaria e politica. Nel periodo 1755-61, tranne che per un breve intervallo, servì come rappresentante nella legislatura coloniale e tenne gli uffici di giudice di pace e giudice di contea. In qualche modo trovò anche il tempo di pubblicare un saggio sulla teoria monetaria e una serie di almanacchi che incorporava le sue osservazioni astronomiche e il suo rovescio.
Nel 1761, Sherman abbandonò la pratica legale e si trasferì a New Haven, CT. Lì, gestì due negozi, uno che si rivolgeva agli studenti di Yale e un altro nella vicina Wallingford. Divenne anche un amico e un sostenitore dello Yale College, e servì per molti anni come tesoriere. Nel 1763, ovvero 3 anni dopo la morte della sua prima moglie, sposò Rebecca Prescott, dalla quale ebbe otto figli.
Nel frattempo, la carriera politica di Sherman era fiorita. Da giudice di pace e giudice di contea divenne un giudice associato della Corte Superiore del Connecticut e un rappresentante in entrambe le camere dell’assemblea coloniale. Sebbene si opponesse all’estremismo, si unì prontamente alla lotta contro la Gran Bretagna. Sostenne le misure di non importazione e guidò il comitato di corrispondenza di New Haven.
Sherman fu un membro di lunga data e influente del Congresso Continentale (1774-81 e 1783-84). Ha vinto l’appartenenza ai comitati che hanno redatto la Dichiarazione d’Indipendenza e gli Articoli della Confederazione, così come quelli che si occupano di affari indiani, finanze nazionali e questioni militari. Per risolvere i problemi economici, sia a livello nazionale che statale, il capo invocò tasse elevate piuttosto che prestiti eccessivi o l’emissione di carta moneta.
Mentre era al Congresso, Sherman rimase attivo nella politica statale e locale, continuando a ricoprire la carica di giudice della Corte Superiore del Connecticut, nonché di membro del consiglio di sicurezza (1777-79). Nel 1783 aiutò a codificare le leggi statutarie del Connecticut. L’anno successivo fu eletto sindaco di NewHaven (1784-86).
Anche se sull’orlo dell’insolvenza, soprattutto a causa delle perdite di guerra, Sherman non poté resistere al richiamo del servizio nazionale. Nel 1787 rappresentò il suo stato alla Convenzione Costituzionale, e partecipò praticamente ad ogni sessione. Non solo fece parte del Comitato per le questioni rimandate, ma probabilmente aiutò anche a redigere il piano del New Jersey e fu uno dei principali artefici del Connecticut, o Grande Compromesso, che ruppe l’impasse tra gli stati grandi e piccoli sulla rappresentanza. Fu, inoltre, determinante nella ratifica della Costituzione da parte del Connecticut.
Sherman concluse la sua carriera servendo nella Camera dei Rappresentanti degli Stati Uniti (1789-91) e nel Senato (1791-93), dove sposò la causa federalista. Morì a New Haven nel 1793 all’età di 72 anni ed è sepolto nel cimitero di Grove Street.