Rubinstein urodził się w rodzinie żydowskiej, najprawdopodobniej w kamienicy przy ulicy Południowej 28, dzisiejszej Rewolucji 1905 roku. Później mieszkał na Piotrkowskiej. Znany był jako odtwórca muzyki Chopina, Brahmsa, Schuberta, Schumana, Dworzaka i Szymanowskiego.

Występował z wieloma uznanymi orkiestrami i dyrygentami, między innymi z Pablem Casalsem, Jacquesem Thibaudem i Romanem Totenbergiem. Był propagatorem muzyki polskiej.

Od 1906 roku przebywał za granicą – w Stanach Zjednoczonych i Francji. Jest autorem wspomnień Moje młode lata i „Moje długie życie”. Zmarł 20 grudnia 1982 roku.