En 1723, cuando Sherman tenía 2 años de edad, su familia se trasladó de su lugar de nacimiento en Newton, MA, a Dorchester (actual Stoughton). De niño, le animaba el deseo de aprender y leía mucho en su tiempo libre para complementar su mínima educación en una escuela común. Pero pasaba la mayor parte de sus horas de vigilia ayudando a su padre en las tareas agrícolas y aprendiendo de él el oficio de carbonero. En 1743, dos años después de la muerte de su padre, Sherman se unió a un hermano mayor que se había establecido en NewMilford, CT.
Comprando una tienda, convirtiéndose en topógrafo del condado, y ganando una variedad de cargos en la ciudad, Sherman prosperó y asumió el liderazgo en la comunidad. En 1749 se casó con Elizabeth Hartwell, con quien tuvo siete hijos. Sin haber recibido una educación jurídica formal, fue admitido en el colegio de abogados en 1754 y se embarcó en una distinguida carrera judicial y política. En el periodo 175-61, salvo un breve intervalo, fue representante en la legislatura colonial y ocupó los cargos de juez de paz y juez de condado. De algún modo, también sacó tiempo para publicar un ensayo sobre la teoría monetaria y una serie de almanaques en los que incorporaba sus propias observaciones astronómicas y sus anversos.
En 1761, Sherman abandonó el ejercicio de la abogacía y se trasladó a New Haven,CT. Allí dirigió dos tiendas, una que atendía a los estudiantes de Yale y otra en la cercana Wallingford. También se convirtió en amigo y benefactor del Yale College, del que fue tesorero durante muchos años. En 1763, tres años después de la muerte de su primera esposa, se casó con Rebecca Prescott, con la que tuvo ocho hijos.
Mientras tanto, la carrera política de Sherman había florecido. Pasó de juez de paz y de condado a juez asociado del Tribunal Superior de Connecticut y a representante en ambas cámaras de la asamblea colonial. Aunque se oponía al extremismo, no tardó en unirse a la lucha contra Gran Bretaña. Apoyó las medidas de no importación y dirigió el comité de correspondencia de New Haven.
Sherman fue durante mucho tiempo un miembro influyente del Congreso Continental (1774-81 y 1783-84). Fue miembro de los comités que redactaron la Declaración de Independencia y los Artículos de la Confederación, así como de los que se ocupaban de los asuntos indios, las finanzas nacionales y los asuntos militares. Para resolver los problemas económicos, tanto a nivel nacional como estatal, abogó por los impuestos elevados en lugar de los préstamos excesivos o la emisión de papel moneda.
Mientras estaba en el Congreso, Sherman se mantuvo activo en la política estatal y local, continuando con el cargo de juez de la Corte Superior de Connecticut, así como miembro del consejo de seguridad (1777-79). En 1783 ayudó a codificar las leyes estatutarias de Connecticut. Al año siguiente, fue elegido alcalde de NewHaven (1784-86).
Aunque al borde de la insolvencia, principalmente por las pérdidas de la época de la guerra, Sherman no pudo resistir el atractivo del servicio nacional. En 1787 representó a su estado en la Convención Constitucional, y asistió prácticamente a todas las sesiones. No sólo formó parte del Comité de Asuntos Postergados, sino que probablemente también ayudó a redactar el Plan de Nueva Jersey y fue uno de los principales impulsores del Compromiso de Connecticut, o Gran Compromiso, que rompió el estancamiento entre los estados grandes y pequeños sobre la representación. Además, contribuyó a la ratificación de la Constitución por parte de Connecticut.
Sherman concluyó su carrera sirviendo en la Cámara de Representantes de Estados Unidos (1789-91) y en el Senado (1791-93), donde defendió la causa federalista. Murió en New Haven en 1793 a la edad de 72 años y está enterrado en el cementerio de Grove Street.