James pochodzi z wierzącej rodziny. Na rok przed jego urodzeniem jego matka przeżyła poronienie. James mówi: „Tego dnia, w smutku i bólu, modliła się do Boga i złożyła mu przyrzeczenie: Panie, jeżeli dasz mi jeszcze jednego syna, poświęcę go Twojej służbie. Urodziłem się dokładnie rok później, co do dnia (…)”.

James zamierzał zostać pracownikiem NASA jako biolog w dziale nauki i rozwoju, jednak w czasie studiów jego plany zmieniły się. Zainspirowany przesłaniem Billy Grahama usłyszanym na jednym ze spotkań Ludzi Jezusa prowadzonych przez Billa Brighta, postanowił oddać się pełnoetatowej służbie chrześcijańskiej.