Geboren te Richmond, Virginia. Was een Amerikaans sciencefiction en fantasyschrijver. zoon van Robert Gamble Cabell II en Anne Harris Branch, en bracht zijn schooltijd door aan het William en Mary College. Tijdens zijn afstuderen gaf hij daar ook zelf les in Frans en Grieks. In 1901 werkte hij kort als reporter bij de Richmond News en in de volgende jaren hield hij zich ook bezig met genealogisch onderzoek. Hij schreef vele korte verhalen en artikelen, waarvan sommige werden gepubliceerd in nationale tijdschriften zoals Harper's Monthly Magazine en Saturday Evening Post. In 1913 keerde hij terug in Richmond en trouwde daar met Rebecca Priscilla Bradley Shepherd, een weduwe met 5 kinderen uit een eerder huwelijk. Ze kregen nog een zoon, Ballard Hartwell Cabell. Toen in 1919 Cabells boek 'Jurgen' uitkwam, stond heel Amerika op zijn kop vanwege het volgens velen pornografische karakter van het verhaal. Nadat hij in 1935 een ernstig vorm van longontsteking opliep, trok James zich samen met zijn vrouw langzaam terug uit het openbare leven. In 1949 overleed Rebecca na een hartverlamming. James hertrouwde nog met Margaret Waller Freeman, die hij al een aantal jaren kende. Overleden aan de gevolgen van een hersenbloeding in zijn huis te Richmond, Virginia.