James Weldon Johnson, compositor, diplomático, crítico social y activista de los derechos civiles, nació de padres inmigrantes bahameños en Jacksonville, Florida, el 17 de junio de 1871. Su padre James, camarero, y su madre Helen, maestra, le inculcaron el valor de la educación, y Johnson destacó en la Stanton School de Jacksonville. En 1889, ingresó en la Universidad de Atlanta, en Georgia, y se graduó en 1894.
En 1896, Johnson comenzó a estudiar derecho en el bufete de Thomas Ledwith en Jacksonville, Florida. En 1898, Ledwith consideró que Johnson estaba listo para tomar el examen de abogacía de Florida. Tras un agotador examen de dos horas, Johnson aprobó y fue admitido en el colegio de abogados. Uno de los examinadores expresó su angustia saliendo de la sala y declarando: «No puedo olvidar que es un negro; y que me aspen si me quedo aquí para verlo admitido». En 1898, Johnson se convirtió en uno de los pocos abogados negros del estado.
Johnson, sin embargo, no ejerció la abogacía. En su lugar, se convirtió en director de la Escuela Stanton en Jacksonville, donde mejoró el plan de estudios y también añadió los grados noveno y décimo. Johnson también fundó el primer periódico negro, el Daily American, en Jacksonville. Junto con su hermano Rosamond, que se había formado en el Conservatorio de Música de Nueva Inglaterra en Massachusetts, los intereses de Johnson se orientaron hacia la composición de canciones para Broadway.
Rosamond y James emigraron a Nueva York en 1902 y pronto ganaron más de doce mil dólares al año vendiendo sus canciones a los artistas de Broadway. En un viaje de vuelta a Florida en 1900, les pidieron que escribieran una canción de celebración en honor al cumpleaños de Abraham Lincoln. El producto, un poema musicalizado, se convirtió en «Lift Every Voice and Sing», que ahora se conoce como el Himno Nacional Negro.
En 1906, Johnson se convirtió en cónsul de Estados Unidos en Puerto Cabello, Venezuela. Mientras estaba en el servicio exterior, conoció a su futura esposa, Grace Nail, hija del influyente especulador inmobiliario negro de Nueva York, John E. Nail. El primer año de la pareja lo pasaron en Corinto, Nicaragua, el puesto diplomático de Johnson.
Mientras estaba en el servicio diplomático, Johnson había empezado a escribir su obra literaria más famosa, The Autobiography of An Ex-Colored Man. Esta novela, publicada en 1912, se convirtió en una obra destacada durante el Renacimiento de Harlem de la década de 1920. En 1914, Johnson se convirtió en editor del New York Age. Pronto adquirió notoriedad cuando W.E.B. DuBois publicó la crítica de Johnson a El nacimiento de una nación, de D.W. Griffith, en la publicación The Crisis, de la National Association for the Advancement of Colored People (NAACP). Johnson fue miembro de la fraternidad Sigma Pi Phi y de la fraternidad Phi Beta Sigma.
En 1916, Johnson se convirtió en secretario de campo de la NAACP y aumentó drásticamente el número de miembros de la NAACP y el número de sucursales. En 1917, organizó la famosa «Marcha silenciosa» por la Quinta Avenida para protestar contra la violencia racial y los linchamientos. La marcha, que contó con unos diez mil participantes, fue la mayor protesta organizada por los afroamericanos hasta ese momento. La participación de Johnson en la campaña contra los linchamientos continuó durante las dos décadas siguientes.
Aunque era un líder de los derechos civiles reconocido a nivel nacional, Johnson siguió escribiendo y criticando poesía en una columna para el New York Age. Su columna «Poetry Corner», publicada en 1922 como The Book of American Negro Poetry, se convirtió en una importante contribución al emergente Renacimiento de Harlem, especialmente por su inclusión de «If We Must Die» de Claude McKay. Otras contribuciones de Johnson al Renacimiento de Harlem fueron The Book of American Negro Spirituals (1925), God’s Trombones (1927) y Seven Negro Sermons in Verse (1927).
En 1930, Johnson publicó Black Manhattan, a Social History of Black New York, y tres años más tarde (en 1933) apareció su autobiografía, Along This Way.
Johnson dimitió de la NAACP en 1930 y aceptó un puesto de profesor de escritura creativa y literatura en la Universidad de Fisk. Mantuvo una vida activa en la enseñanza y la oratoria hasta que murió en un accidente automovilístico el 26 de junio de 1938, mientras estaba de vacaciones en Wiscasset, Maine . Tenía 67 años en el momento de su muerte.