En 1723, alors que Sherman avait 2 ans, sa famille déménagea de son lieu de naissance Newton, MA, à Dorchester (actuelStoughton). Enfant, il était animé par le désir d’apprendre et lisait beaucoup pendant son temps libre pour compléter l’éducation minimale qu’il recevait dans une école ordinaire. Mais il passait la plupart de ses heures d’éveil à aider son père dans ses tâches agricoles et à apprendre de lui le métier de cordonnier. En 1743, deux ans après la mort de son père, Sherman rejoint un frère aîné qui s’est installé à NewMilford, CT.
En achetant un magasin, en devenant arpenteur du comté et en obtenant une variété de postes dans la ville, Sherman prospère et assume le leadership dans la communauté. En 1749, il épouse Elizabeth Hartwell, avec qui il aura sept enfants. Sans avoir bénéficié d’une formation juridique formelle, il est admis au barreau en 1754 et entame une carrière judiciaire et politique remarquable. De 1755 à 1961, à l’exception d’un bref intervalle, il a été représentant de l’Angleterre à la législature coloniale et a occupé les fonctions de juge de paix et de juge de comté. D’une manière ou d’une autre, il a également trouvé le temps de publier un essai sur la théorie monétaire et une série d’almanachs incorporant ses propres observations astronomiques etverse.
En 1761, Sherman a abandonné sa pratique du droit et s’est installé à New Haven, CT. Il y gère deux magasins, l’un destiné aux étudiants de Yale et l’autre à Wallingford. Il devient également un ami et un bienfaiteur du Yale College, dont il est le trésorier pendant de nombreuses années. En 1763, soit 3 ans après la mort de sa première femme, il épouse Rebecca Prescott, qui lui donnera huit enfants.
En attendant, la carrière politique de Sherman s’est épanouie. Il passe de juge de paix et de juge de comté à juge associé de la Cour supérieure du Connecticut et à représentant dans les deux chambres de l’assemblée coloniale. Bien qu’opposé à l’extrémisme, il s’engage rapidement dans la lutte contre la Grande-Bretagne. Il soutient les mesures de non-importation et dirige le comité de correspondance de New Haven.
Sherman est un membre influent et de longue date du Congrès continental (1774-81 et 1783-84). Il a obtenu de faire partie des comités qui ont rédigé la Déclaration d’indépendance et les articles de la Confédération, ainsi que de ceux qui s’occupaient des affaires indiennes, des finances nationales et des questions militaires. Pour résoudre les problèmes économiques, tant au niveau national qu’au niveau des États, le chef préconise des impôts élevés plutôt que des emprunts excessifs ou l’émission de papier-monnaie.
Tandis qu’il était au Congrès, Sherman est resté actif dans la politique des États et des localités, continuant à occuper le poste de juge de la Cour supérieure du Connecticut, ainsi que de membre du conseil de sécurité (1777-79). En 1783, il participe à la codification des lois statutaires du Connecticut. L’année suivante, il est élu maire de NewHaven (1784-86).
Bien qu’au bord de l’insolvabilité, principalement à cause des pertes de la guerre, Sherman ne peut résister à l’attrait du service national. En1787, il représente son État à la Convention constitutionnelle,et assiste à pratiquement toutes les sessions. Non seulement il siège au Committee on Postponed Matters, mais il a probablement contribué à la rédaction du plan du New Jersey et a été l’un des principaux instigateurs du Connecticut, ou Grand Compromis, qui a permis de sortir de l’impasse entre les grands et les petits États en matière de représentation. Il a également contribué à la ratification de la Constitution par le Connecticut.
Sherman a terminé sa carrière en siégeant à la Chambre des représentants (1789-91) et au Sénat (1791-93) des États-Unis, où il a épousé la cause fédéraliste. Il meurt à New Haven en 1793 à l’âge de 72 ans et est enterré dans le cimetière de Grove Street.