Џими Скот страдал од ретко генетско нарушување, наречен Калманов синдром, кој го прекинал неговиот раст во пубертетот, и му оставил висок, неразвиен глас, кого го нарекуваат и „андрогин алт".
Почнал да работи со џез бендови, но постојано доживувал неправди и компликации - или не му го пишувале името на албумите на кои соработувал, или го пишувале под женско име. Во 1963 потпишува за етикетата на Реј Чарлс, Танџерин Рекордс, и прави албум кој се смета за еден од најдобрите на сите времиња, Falling in Love is Wonderful. Но повторно беља. Заради обврски произлезени од претходен договор, овој албум е повлечен од полиците во тек на неколку денови, а станал достапен за јавноста дури по 40 години.
Можеби заради сите овие малери, тој се повлекува од музиката и се враќа во родниот град да работи како болничар и портир на лифт. Но во 1991 пее на погреб на неговиот колега и пријател Док Помус, по што некои од присутните го убедуваат повторно да се активира. Лу Рид го ангажира за придружни вокали на неговиот албум Magic and Loss, а Дејвид Линч го става во финалето на култната „Твин Пикс". Продолжува со издавање албуми (за еден од нив добива и номинација за Греми), меѓу кои и Holding Back the Years, кој вклучува обработки на познати песни на Џон Ленон, Брајан Фери и Елтон Џон.
Џими почина на 12. јуни, на 88 години. Во текот на животот пет пати се женел. Единствено што му било жал е што славата не ја дочекал малку порано, за да ги ужива пензионерските денови во мир.
Сцената од Твин Пикс
Џими и Лу во живо
Целиот албум Holding Back the Years (1998)