Si-a inceput cariera artistica in Japonia si a devenit cunoscut dupa ce a aparut in filmul negru „The Crimson Kimono” din 1959. În anul urmator, el a castigat un premiu Globul de Aur pentru cel mai promitator actor debutant, alaturi de George Hamilton, Troy Donahue si Barry Coe.
A devenit unul dintre cei mai cunoscuti actori asiatico-americani in anii 1960, datorita rolurilor interpretate in pelicule precum „Walk Like a Dragon”, „Lacrimi de bucurie/ Cry for Happy”, „Bridge to the Sun” si „Paradisul din Hawaii/ Paradise, Hawaiian Style”, in care a jucat alaturi de Elvis Presley.
Un alt rol memorabil interpretat de acesta a fost cel din 1961, in musicalul „Flower Drum Song”, pus in scena pe Broadway.
Mai tarziu in cariera sa, James Shigeta a aparut in filme precum „Ultimul orizont/ Lost Horizon”, „Batalia de la Midway/ Midway”, „Cage”, „Disney’s Mulan” si „Greu de ucis/ Die Hard” (1988).