2003年12月，伊万诺维奇加盟了当时的塞尔维亚和黑山一级联赛球队ofk贝尔格莱德。在俱乐部总经理兹韦兹丹·特尔齐奇的引进下，这位19岁的后卫最初表现挣扎，但很快凭借出色的身体素质占据了球队的右后卫位置。在贝尔格莱德效力期间，他的球队表现超出预期，甚至在2004年欧洲足联国际杯中打入半决赛。
2006年1月，伊万诺维奇被俄超联赛的莫斯科火车头队签下。在同胞斯拉沃留布·穆斯林的指导下，22岁的伊万诺维奇立即产生了影响，稳固了自己在首发阵容中的位置。他出场28次联赛，打进两球。
在火车头队的第二个也是最后一个赛季，伊万诺维奇已成为球队的关键成员，在新任主教练阿纳托利·比绍维茨的带领下，他出场26次联赛，打进三球。火车头队再次未能在联赛中夺冠，但赢得了俄罗斯杯。
2008年1月15日，英超球队切尔西确认，俱乐部已与莫斯科火车头就伊万诺维奇的转会达成协议，前提是个人条款的协商和体检的通过，切尔西击败了包括米兰、阿贾克斯、尤文图斯和国际米兰在内的竞争对手。尽管转会费未公开，但据推测在900万英镑左右。火车头后来宣布转会费为1300万欧元，并称这是俄罗斯足球历史上最大的一笔转会。
伊万诺维奇与切尔西签订了一份为期三年半的合同，并获得了此前格伦·约翰逊所穿的2号球衣。尽管身价不菲，伊万诺维奇在2007-08赛季的英超联赛中并未为切尔西一线队出场。俱乐部给出的理由是由于俄超联赛赛季结束数月前，他缺乏比赛状态。赛季结束时，伊万诺维奇为切尔西预备队出场两次。
回顾他在切尔西的最初六个月，伊万诺维奇表示那是他职业生涯中最困难的时期。在2008-09赛季开始前，伊万诺维奇与离开斯坦福桥的转会传闻有关，尤其是与意甲俱乐部米兰和尤文图斯。他后来承认非常接近离