Im Jahr 1723, als Sherman 2 Jahre alt war, zog seine Familie von seinem Geburtsort Newton, MA, nach Dorchester (dem heutigen Stoughton) um. Als Junge wurde er von dem Wunsch angetrieben, zu lernen und in seiner Freizeit viel zu lesen, um seine minimale Ausbildung an einer gewöhnlichen Schule zu ergänzen. Die meisten seiner wachen Stunden verbrachte er jedoch damit, seinem Vater bei der landwirtschaftlichen Arbeit zu helfen und von ihm das Schusterhandwerk zu erlernen. 1743, zwei Jahre nach dem Tod seines Vaters, schloss sich Sherman einem älteren Bruder an, der sich in New Milford, CT, niedergelassen hatte.
Durch den Kauf eines Ladens, die Ernennung zum Landvermesser und die Übernahme einer Reihe von städtischen Ämtern kam Sherman zu Wohlstand und übernahm die Führung in der Gemeinde. Im Jahr 1749 heiratete er Elizabeth Hartwell, mit der er sieben Kinder hatte. Ohne eine formale juristische Ausbildung genossen zu haben, wurde er 1754 als Anwalt zugelassen und schlug eine glänzende juristische und politische Karriere ein. In den Jahren 1755-61 war er mit Ausnahme einer kurzen Unterbrechung als Abgeordneter in der kolonialen Legislative tätig und bekleidete die Ämter des Friedensrichters und des Bezirksrichters. Irgendwie fand er auch die Zeit, einen Aufsatz über Geldtheorie und eine Reihe von Almanachen zu veröffentlichen, die seine eigenen astronomischen Beobachtungen und Umkehrungen enthielten.
1761 gab Sherman seine Anwaltspraxis auf und zog nach New Haven,CT. Dort leitete er zwei Läden, einen für Yale-Studenten und einen weiteren im nahe gelegenen Wallingford. Er wurde auch ein Freund und Förderer des Yale College und diente viele Jahre lang als dessen Schatzmeister. 1763, also drei Jahre nach dem Tod seiner ersten Frau, heiratete er Rebecca Prescott, die ihm acht Kinder gebar.
In der Zwischenzeit war Shermans politische Karriere aufgeblüht. Er stieg vom Friedensrichter und Bezirksrichter zum beigeordneten Richter am Connecticut Superior Court und zum Abgeordneten in beiden Häusern der Kolonialversammlung auf. Obwohl er sich dem Extremismus widersetzte, schloss er sich sofort dem Kampf gegen Großbritannien an. Er unterstützte Nicht-Importmaßnahmen und leitete das New Haven Committee of Correspondence.
Sherman war ein langjähriges und einflussreiches Mitglied des Kontinentalkongresses (1774-81 und 1783-84). Er wurde Mitglied in den Ausschüssen, die die Unabhängigkeitserklärung und die Konföderationsartikel entwarfen, sowie in den Ausschüssen, die sich mit Indianerangelegenheiten, Staatsfinanzen und militärischen Angelegenheiten befassten. Zur Lösung wirtschaftlicher Probleme sowohl auf nationaler als auch auf bundesstaatlicher Ebene plädierte er für hohe Steuern statt für eine übermäßige Kreditaufnahme oder die Ausgabe von Papiergeld.
Auch während seiner Zeit im Kongress blieb Sherman in der Landes- und Kommunalpolitik aktiv und bekleidete weiterhin das Amt des Richters am Obersten Gerichtshof von Connecticut sowie die Mitgliedschaft im Sicherheitsrat (1777-79). Im Jahr 1783 half er bei der Kodifizierung der Gesetze von Connecticut. Im darauffolgenden Jahr wurde er zum Bürgermeister von New Haven gewählt (1784-86).
Obwohl er am Rande der Zahlungsunfähigkeit stand, vor allem wegen der Kriegsverluste, konnte Sherman der Verlockung des Nationaldienstes nicht widerstehen. Im Jahr 1787 vertrat er seinen Staat auf dem Verfassungskonvent und nahm praktisch an jeder Sitzung teil. Er gehörte nicht nur dem Ausschuss für aufgeschobene Angelegenheiten an, sondern war wahrscheinlich auch an der Ausarbeitung des New-Jersey-Plans beteiligt und war eine der treibenden Kräfte hinter dem Connecticut-Kompromiss (Great Compromise), der die festgefahrene Situation zwischen den großen und den kleinen Staaten in Bezug auf die Repräsentation löste. Darüber hinaus war er maßgeblich an der Ratifizierung der Verfassung durch Connecticut beteiligt.
Sherman beendete seine Karriere als Abgeordneter im US-Repräsentantenhaus (1789-91) und im Senat (1791-93), wo er sich für die Sache der Föderalisten einsetzte. Er starb 1793 im Alter von 72 Jahren in New Haven und ist auf dem Grove Street Cemetery begraben.