Джеймс Смит родился в Лондоне, переехал в Австралию в 19 лет, работал барменом и помощником в бильярдном зале, мечтал стать профессиональным боксером.
В 1916 году женился, стал управляющим бильярдного зала, в 1925 году стал владельцем бильярдного салона, занимался нелегальным букмекерским бизнесом.
В 1925 году продал свою долю в бильярдном салоне и ушел в строительный бизнес, создал мошенническую схему, в которой подрядчики инвестировали деньги, а после завершения строительства объявляли о банкротстве и оставляли их ни с чем.
