Az egykori kiváló játékos halálát szívinfarktus okozta. Remek teljesítményével Ivanov nagyban hozzájárult, hogy a bolgár csapat elődöntős volt és végül a negyedik helyen végzett az 1994-es világbajnokságon, az Egyesült Államokban. Hosszú haja, sűrű szakálla és szigorú tekintete félelmetes kinézetet kölcsönzött neki, ezért pályafutása alatt a Bulgária Farkasa becenévvel illették.
A bolgár válogatott történetének egyik legjobb középhátvédje csapatkapitány is volt a - többek között - Hriszto Sztoicskov, Emil Kosztadinov és Luboszlav Penev által fémjelzett keretben. Hazája bajnokságát háromszor nyerte meg a CSZKA Szófia színeiben. Később a spanyol Real Betis, a svájci Neuchatel Xamax, illetve az osztrák Rapid Wien és Austria Wien együtteseiben is futballozott. A Rapid védőjeként bajnoki aranyérmet nyert, és második lett a Kupagyőztesek Európa Kupájában.
A bolgár válogatottban pályára lépett az 1996-os angliai Európa-bajnokságon is, összesen 76 mérkőzésen szerepelt. Hazájában 1996-ban az év legjobb labdarúgójának választották.