Em 1723, quando Sherman tinha 2 anos de idade, a sua família mudou-se de Newton, MA, local de nascimento para Dorchester (actual Stoughton). Quando criança, ele foi estimulado por um desejo de aprender e ler amplamente em seu tempo livre para complementar a sua minimalucação em uma escola comum. Mas ele passou a maior parte do seu tempo de vigília ajudando seu pai nas tarefas agrícolas e aprendendo com ele o ofício de thecobbler. Em 1743, 2 anos após a morte do seu pai, Sherman juntou-se a um irmão mais velho que se tinha estabelecido em NewMilford, CT.
Comprando uma loja, tornando-se um pesquisador do condado, e ganhando a avareza dos escritórios da cidade, Sherman prosperou e assumiu a liderança na comunidade. Em 1749 ele se casou com Elizabeth Hartwell, por quem teve sete filhos. Sem o benefício de uma educação legal formal, foi admitido na Ordem dos Advogados em 1754 e embarcou na carreira política e judicial adistinguida. No período1755-61, exceto por um breve intervalo, serviu como representante na legislatura colonial e exerceu os cargos de juiz de paz e de juiz do condado. De alguma forma, ele também dedicou tempo para publicar um ensaio sobre teoria monetária e uma série dealmanacs incorporando as suas próprias observações astronômicas everso.
Em 1761, Sherman abandonou a sua prática da advocacia, e mudou-se para New Haven,CT. Lá, ele administrava duas lojas, uma que atendia estudantes de Yale, e outra na vizinha Wallingford. Ele também se tornou um amigo e benfeitor do Colégio Yale, e serviu por muitos anos como tesoureiro. Em 1763, ou 3 anos após a morte de sua primeira esposa, ele se casou com Rebecca Prescott, que teve oito filhos.
Meanwhile, a carreira política de Sherman tinha florescido. Ele subiu da justiça de paz e juiz do condado para um juiz associado do Tribunal Superior de Connecticut e para representante em ambas as casas da assembléia colonial. Apesar de se opor ao extremismo, ele prontamente se juntou à luta contra a Grã-Bretanha. Ele apoiou as medidas de não importação e dirigiu o comitê de correspondência de New Haven.
Sherman foi um membro influente e de longa data do Congresso Continental (1774-81 e 1783-84). Ele foi membro dos comitês que redigiram a Declaração de Independência e os Artigos da Confederação, assim como dos que se ocupam de Indianaffairs, finanças nacionais e assuntos militares. Para resolver problemas econômicos, tanto em nível nacional como estadual, ele se tornou chefe dos altos impostos em vez de empréstimos excessivos ou a emissão de papel moeda.
Enquanto esteve no Congresso, Sherman continuou ativo na política estadual e local, continuando a exercer o cargo de juiz do Tribunal Superior Conectado, bem como a ser membro do conselho de segurança (1777-79). Em 1783, ele ajudou a codificar as leis estatutárias de Connecticut. No ano seguinte, ele foi eleito prefeito de NewHaven (1784-86).
Embora à beira da insolvência, principalmente por causa de perdas de guerra, Sherman não conseguiu resistir à atração do serviço nacional. Em 1787 ele representou seu Estado na Convenção Constitucional, e participou de praticamente todas as sessões. Ele não só participou do Comitê sobre Assuntos Adiados, mas provavelmente também ajudou a elaborar o Plano de Nova Jersey e foi o principal impulsionador por trás do Connecticut, ou Grande Compromisso, que quebrou o impasse entre os estados grandes e pequenos em relação à representação. Ele foi, além disso, fundamental na ratificação da Constituição de Connecticut.
Sherman concluiu sua carreira servindo na Câmara dos Representantes dos EUA (1789-91) e no Senado (1791-93), onde ele abraçou a causa federalista. Ele morreu em New Haven em 1793 com a idade de 72 anos e está enterrado no Cemitério de Grove Street.