Anton Grigorovitch Rubinstein voit le jour en 1829, dans le village de Vikhvatinets, dans la région de Transnistria, de Moldavie. Son lieu de naissance est un village portuaire, situé sur la rivière Dniester, à l’ouest de l’Ukraine. Au 19e siècle, cette localité faisait partie du gouvernement Podolian de l’Empire russe. La famille de Rubinstein était de tradition juive, avant de se convertir au christianisme orthodoxe russe, alors qu’Anton était âgé de quatre ans. Son père, Grigory Romanovich Rubinstein, était commerçant. Ce dernier achète une compagnie de crayons à Moscou et déménage avec sa famille alors qu’Anton n’a que cinq ans.
Rendu à Moscou, Anton commence à étudier le piano et la musique avec sa mère, qui était une excellente pianiste, admirée de nombreux musiciens. Au même moment, il entame des études dans une école de langue allemande. En 1837, il commence des études de musique et de piano avec Alexandre Ivanovitch Villoing, pianiste et compositeur d’ascendance française, né à Saint-Pétersbourg. Villoing était alors un de meilleurs professeurs de piano et de composition de Moscou. Il devient le tuteur et d’Anton Rubinstein et éprouve une certaine admiration pour son élève, qui excelle dans ses études musicales et linguistiques. En 1840 Alexandre Villoing est commandité par les parents d’Anton pour l’accompagner à Paris, en le présentant dans différents centres culturels, dans lesquels Anton se produit et triomphe de son audience. Alexandre essaie d’inscrire Anton au Conservatoire de Paris, mais ce dernier est refusé, car l’admission était réservée aux étudiants français. En 1843, après plusieurs représentations, au cours desquelles il rencontre Frédéric Chopin et Franz Liszt, le tuteur et l’élève retournent à Moscou.
En 1843, Anton Rubinstein part en tournée en Russie, accompagné par son frère Nikolai Grigorievitch Rubinstein, qui devient pianiste, lui aussi sous l’enseignement de sa mère. Les deux frères complètent leurs tournées en 1844 et déménagent à Berlin, accompagnés par leur mère et par leur sœur. C’est à Berlin que les frères pianistes commencent leurs études en composition, sous la tutelle de Siegfried Deh.
En 1846, le père Rubinstein tombe malade. Nikolai, sa mère et sa sœur retournent à Moscou, tandis qu’Anton reste à Berlin pour continuer ses études. À cette période, il rencontre Ralph Mendelssohn, qui est un des plus importants compositeurs du Romantisme. Mendelssohn guide Anton Rubinstein dans les théories de composition propres au romantisme. Quelques mois plus tard, Anton part à Vienne, où il va rester une année, étant entré en contact avec l’orchestre philharmonique de Vienne, qui possède des partitions des compositeurs contemporains qui l’inspireront dans ses futures compositions.