W 1723 roku, kiedy Sherman miał 2 lata, jego rodzina przeniosła się z miejsca urodzenia w Newton, MA, do Dorchester (dzisiejsze Stoughton). Jako chłopiec był pobudzany przez pragnienie nauki i w wolnym czasie dużo czytał, aby uzupełnić swoje minimalne wykształcenie w szkole powszechnej. Większość czasu spędzał jednak na pomaganiu ojcu w pracach na roli i uczeniu się od niego zawodu szewca. W 1743 roku, 2 lata po śmierci ojca, Sherman dołączył do starszego brata, który osiedlił się w NewMilford, CT.
Kupując sklep, zostając geodetą hrabstwa i zdobywając wiele urzędów miejskich, Sherman prosperował i objął przywództwo w społeczności. W 1749 roku ożenił się z Elizabeth Hartwell, z którą miał siedmioro dzieci. Bez formalnego wykształcenia prawniczego został dopuszczony do adwokatury w 1754 roku i rozpoczął błyskotliwą karierę sądową i polityczną. W latach 1755-61, z wyjątkiem krótkiej przerwy, służył jako przedstawiciel w legislaturze kolonialnej i sprawował urzędy sędziego pokoju i sędziego hrabstwa. Jakimś cudem wygospodarował też czas na opublikowanie eseju o teorii monetarnej i serii almanachów zawierających jego własne obserwacje astronomiczne iverse.
W 1761 roku Sherman porzucił praktykę prawniczą i przeniósł się do New Haven, CT. Tam zarządzał dwoma sklepami, jednym, który był przeznaczony dla studentów Yale, i drugim w pobliskim Wallingford. Stał się również przyjacielem i dobroczyńcą Yale College i przez wiele lat pełnił funkcję jego skarbnika. W 1763 roku, czyli 3 lata po śmierci swojej pierwszej żony, poślubił Rebekę Prescott, która urodziła mu ośmioro dzieci.
W międzyczasie kariera polityczna Shermana rozkwitła. Przeszedł drogę od sędziego pokoju i sędziego hrabstwa do sędziego Sądu Najwyższego Connecticut i do przedstawiciela w obu izbach zgromadzenia kolonialnego. Chociaż był przeciwnikiem ekstremizmu, natychmiast przyłączył się do walki przeciwko Wielkiej Brytanii. Popierał środkinon-importation i stał na czele New Haven committee ofcorrespondence.
Sherman był długoletnim i wpływowym członkiem ContinentalCongress (1774-81 i 1783-84). Zdobył członkostwo w komisjach, które przygotowały Deklarację Niepodległości i Artykuły Konfederacji, a także w tych, które zajmowały się sprawami Indian, finansami narodowymi i sprawami wojskowymi. Do rozwiązywania problemów gospodarczych, zarówno na szczeblu krajowym, jak i stanowym, szef opowiadał się raczej za wysokimi podatkami niż za nadmiernymi pożyczkami lub emisją papierowej waluty.
Podczas pracy w Kongresie Sherman pozostawał aktywny w polityce stanowej i lokalnej, nadal piastując urząd sędziego Sądu Najwyższego Connecticut, a także członkostwo w Radzie Bezpieczeństwa (1777-79). W 1783 roku pomógł skodyfikować prawa statutowe Connecticut. W następnym roku został wybrany na burmistrza NewHaven (1784-86).
Pomimo że znajdował się na skraju niewypłacalności, głównie z powodu strat wojennych, Sherman nie mógł oprzeć się pokusie służby narodowej. W 1787 roku reprezentował swój stan na Konwencji Konstytucyjnej i uczestniczył praktycznie w każdej sesji. Nie tylko zasiadał w Komisji do Spraw Odroczonych, lecz także prawdopodobnie pomógł w opracowaniu Planu New Jersey i był głównym inicjatorem Wielkiego Kompromisu z Connecticut, który przełamał impas między dużymi i małymi stanami w kwestii reprezentacji. W dodatku walnie przyczynił się do ratyfikacji konstytucji przez Connecticut.
Sherman zakończył karierę, zasiadając w Izbie Reprezentantów Stanów Zjednoczonych (1789-91) i Senacie (1791-93), gdzie popierał sprawę federalistów. Zmarł w New Haven w 1793 roku w wieku 72 lat i został pochowany na cmentarzu przy Grove Street.