Su segundo disco publicado en 1970, Sweet baby James se convirtió en un álbum antológico, destacándose el tema "Fire and rain", en el que reflejaba sus experiencias en distintas instituciones psiquiátricas.En el disco colaboran los que le acompañarían en la mayor parte de sus giras de principios de los setenta: sus amigos y músicos Danny Korcthmar (guitarras),Russ Kunkel (batería), Lee Sklar (bajo) y la propia Carole King (piano). Su tercer álbum "Mud Slide Slim" también tuvo un gran éxito. En él colaboraban los ya mencionados y como vocalista de coros su amiga y también cantante y compositora,Joni Mitchell. Casi al mismo tiempo se grabaron este disco y el "Tapestry" de Carole King. Aparte de los greammys que consiguió Carole King, la canción "You've Got A Friend" supuso un número uno y un grammy para James Taylor. Carole King aparecerá en los discos de James Taylor y James aparecerá en varios discos de Carole King durante la primera mitad de los años setenta.

Taylor se tomó un largo tiempo, más de un año y medio, para grabar su siguiente álbum, One Man Dog, lanzado en noviembre de 1972. El 3 de noviembre de ese año, durante una actuación en el Radio City Music Hall en Nueva York, James anunció al público que se había casado con la cantante/compositora Carly Simon ese mismo día. Simon ya era conocida por sus hits "That´s The Way I´ve Always Heard It Should Be" y "Anticipation", y pronto llegaría al tope de los rankings con "You´re So Vain". One Man Dog no vendió muy bien, pero fue disco de oro, llegó al Top 5 y produjo el hit "Don´t Let Me Be Lonely Tonight". Durante muchos años, James participó en los álbunes de Carly Simon y Carly en los de James. En enero de 1974 el matrimonio cantó a dúo la canción "Mockingbird", un cover del hit de Inez y Charlie Foxx de 1963, para el álbum Hot Cakes de Carly Simon. Lanzado como simple, el tema llegó al Top 5 y fue simple de oro. Esta interesante unión musical y sentimental se rompió en 1983 con el divorcio de la pareja, aunque esporádicamente siguieron presentándose juntos en público.

En 1974, James Taylor hizo una gran gira en anticipación de su álbum, Walking man, que fue lanzado en junio. Aunque logró ingresar al Top 20, el álbum fue un fracaso comercial, sin producir ningún hit. Pero Taylor volvió al año siguiente con Gorilla. Nuevamente, tuvo éxito reviviendo un viejo éxito, y esta vez le tocó el turno al "How Sweet It Is (To Be Loved By You)", un hit de Marvin Gaye en 1964.In The Pocket, el séptimo album de Taylor, fue su siguiente disco, que fue lanzado en junio del ´76. Esta vez el single "Shower The People" fue escrito por él mismo, el cual ingresó al Top 40. Cerca del final de su contrato con Warner Bros., Taylor volvió a grabar algunas canciones para su LP Greatest Hits, lanzado en noviembre. Este álbum se convirtió en un vendedor permanente. Y debido a esto firmó contrato con Columbia Records. Su debut para este sello, JT, fue lanzado en junio de 1977. Una vez más, un hit del pasado le ayudó a vender, esta vez con una versíón del tema "Handy Man" . Con este estímulo, JT llegó al Top 5 y vendió más de dos millones de copias. El 23 de febrero de 1978 Taylor consiguió un segundo premio Grammy por Mejor Actuación Pop Masculina por "Handy Man".

Junto a Paul Simon, Taylor cantó con Art Garfunkel un cover de "What A Wonderful World", un hit de Sam Cooke y Herman´s Hermits, que ingresó al Top 20 en marzo de 1978. Mientras tanto, su dúo con Carly Simon del tema "Devoted To You", de los Everly Brothers, llegó hasta el Top 40 en septiembre.Su siguiente disco después de dos años de descanso ,Flag, , fue lanzado en abril de 1979, y el hit de este tema fue una nueva versión del tema "Up On The Roof", de Carole King y Gerry Goffin llevado al éxito en los sesenta por los Drifters. El LP llegó al Top 10 y fue disco de platino. En septiembre de ese año Taylor tocó en el Madison Square Garden en los conciertos No Nukes (No a las bombas atómicas), siendo más tarde incluido en el LP triple No Nukes, y también en la película del concierto.

Taylor se embarcó en una gira nacional en el verano de 1980. De aquí en adelante, las giras se convirtieron en algo constante en su carrera, y contribuyeron a perpetuarlo como artista. En 1981 lanzó el álbum Dad Loves His Work en febrero. Este álbum logró ingresar al Top 10 y fue disco de oro, gracias al éxito del tema a dúo con John David souther,"Her Town Too", escrita por Taylor, Waddy Watchell y el propio J.D. Souther. En 1985 tocó en el concierto Rock In Rio en Brasil, donde lanzó Live In Rio. Su siguiente álbum de estudio, después de más de cuatro años, fue That´s Why I´m Here, lanzado en octubre de 1985. Como primer single, sacó "Everyday" de Buddy Holly, que no trepó mucho por los rankings. Sin embargo, la larga carrera y las giras constantes de Taylor le permitieron conseguir un público fiel.Al final el disco fue disco de platino. En diciembre de 1985 se casó por segunda vez con Kathryn Walker; un mes después ya estaba de gira en Australia.

Las giras siguieron siendo la ocupación principal de Taylor a mediados de los ´80, pero tuvo tiempo suficiente para terminar otro álbum, Never Die Young, dos años después del disco anterior, que fue lanzado en enero de 1988. La canción que da título al álbum, lanzada como sencillo, apenas pudo ingresar a los rankings, pero este álbum también vendió millones de copias. Durante fines de los´80 y principios de los ´90 Taylor realizó más giras. New Moon Shine, fue lanzado en octubre de 1991.El disco permaneció en los rankings casi un año y vendió un millón de copias.

A pesar de estar siempre de gira, Taylor nunca había lanzado un álbum en vivo en los Estados Unidos hasta agosto de 1993 con la aparición de Live, un disco doble que fue platino en pocos meses y donde repasaba toda su carrera. Taylor se divorció de su segunda esposa en 1996. Su siguiente álbum, Hourglass , lanzado en mayo de 1997, demostró que todavía tenía seguidores al ingresar al Top 10. Además este álbum ganó el Grammy por Mejor Album Pop.Unos años más tarde regresó también con gran éxito con October Road. Colaboró con Michael Brecker en una versión de su propio tema "Don't Let Me Be Lonely Tonight" consiguiendo un grammy.Salieron varios recopilatorios estos últimos años y grabó también un disco de canciones navideñas.Todos los años sale de gira y en ocasiones se filman sus conciertos y salen al mercado.Recientemente se ha casado de nuevo y ha tenido gemelos.Tras algunas recopilaciones con sus éxitos y un disco de temas navideños, James Taylor recibe premios importantes en los que amigos como Sting, Carole King o Bruce Springsteen le rinden homenaje.En este tiempo ficha por el sello Hear Music y se embarca en una gira acústica con su One Man Band en el que hace repaso de sus temas más emblemáticos. Uno de estos conciertos es grabado para un dvd por el gran director Sidney Pollack, que fallecería poco después. Tampoco deja de colaborar con otros músicos como con Yo Yo Ma con la estupenda versión de "Here Comes The Sun" de los Beatles. En el 2007 se reúne con Carole King y los músicos Danny Kortchmar, Lee Sklar y Russ Kunkel y dan una serie de conciertos para conmemorar el 50 aniversario de la sala "Troubadour" en Los Ángeles. En 2008 y 2009 James Taylor lanza Covers y Other Covers en los cuales graba temas que ya había tocado en sus conciertos anteriormente pero que no estaban en ninguno de sus discos.En el 2010 se embarca en una gira por varios países junto a Carole King y miembros de la banda original con la gira "TheTroubadour Reunion World Tour", cosechando numerosos éxitos de críticas y público.Coincidiendo con la gira sale el disco Live At The Troubadour que alcanza los puestos más altos en las listas americanas.