În 1723, când Sherman avea 2 ani, familia sa s-a mutat de la locul său de naștere, Newton, MA, la Dorchester (actualul Stoughton). În copilărie, a fost stimulat de dorința de a învăța și citea mult în timpul liber pentru a-și completa educația minimă de la o școală comună. Dar și-a petrecut majoritatea orelor de veghe ajutându-și tatăl la treburile agricole și învățând de la acesta meseria de cojocar. În 1743, la 2 ani după moartea tatălui său, Sherman s-a alăturat unui frate mai mare care se stabilise în NewMilford, CT.
Achiziționând un magazin, devenind topograf al comitatului și câștigând o serie de funcții în oraș, Sherman a prosperat și și-a asumat conducerea comunității. În 1749 s-a căsătorit cu Elizabeth Hartwell, cu care a avut șapte copii. Fără a beneficia de o educație juridică formală, a fost admis în barou în 1754 și a început o carieră judiciară și politică remarcabilă. În perioada 1755-61, cu excepția unui scurt interval de timp, a fost reprezentant în legislativul colonial și a deținut funcțiile de judecător de pace și judecător de comitat. Cumva și-a făcut timp și pentru a publica un eseu despre teoria monetară și o serie dealmanahuri care încorporează propriile sale observații astronomice șiverse.
În 1761, Sherman a renunțat la avocatură și s-a mutat la New Haven,CT. Acolo, el a administrat două magazine, unul care se adresa studenților de la Yale, șiun altul în apropiere, în Wallingford. A devenit, de asemenea, un prieten și un binefăcător al Colegiului Yale și a fost timp de mulți ani trezorierul acestuia. În 1763, sau la 3 ani după moartea primei sale soții,s-a căsătorit cu Rebecca Prescott, care a născut opt copii.
Între timp, cariera politică a lui Sherman a înflorit. A urcat de la judecător de pace și judecător de comitat la judecător asociat al Curții Superioare din Connecticut și la reprezentant în ambele camere ale adunării coloniale. Deși se opunea extremismului,s-a alăturat cu promptitudine luptei împotriva Marii Britanii. A susținut măsurile de neimportare și a condus comitetul de corespondență din New Haven.
Sherman a fost un membru îndelungat și influent al Congresului Continental (1774-81 și 1783-84). A obținut calitatea de membru în comisiile care au redactat Declarația de Independență și Articolele Confederației, precum și în cele care s-au ocupat de afacerile cu indienii, finanțele naționale și problemele militare. Pentru a rezolva problemele economice, atât la nivel național, cât și la nivel de stat, șeful avocat impozite mari mai degrabă decât împrumuturi excesive sau emiterea de monedă de hârtie.
În timp ce se afla în Congres, Sherman a rămas activ în politica statală și locală, continuând să dețină funcția de judecător al Curții Superioare dinConnecticut, precum și calitatea de membru al consiliului de siguranță (1777-79). În 1783 a contribuit la codificarea legilor statutare din Connecticut. În anul următor, a fost ales primar al orașului NewHaven (1784-86).
Deși se afla în pragul insolvenței, în principal din cauza pierderilor din timpul războiului, Sherman nu a putut rezista atracției serviciului național. În1787, el și-a reprezentat statul la Convenția Constituțională,și a participat practic la fiecare sesiune. Nu numai că a făcut parte din Comitetul pentru probleme amânate, dar probabil că a ajutat la elaborarea Planului din New Jersey și a fost unul dintre principalii promotori ai Marelui Compromis din Connecticut, sau Marele Compromis, care a ieșit din impasul dintre statele mari și cele mici cu privire la reprezentare. În plus, a avut un rol esențial în ratificarea Constituției de către Connecticut.
Sherman și-a încheiat cariera servind în Camera Reprezentanților din SUA (1789-91) și în Senat (1791-93), unde a îmbrățișat cauza federalistă. A murit la New Haven în 1793 la vârsta de 72 de ani și este înmormântat în cimitirul Grove Street.
.