อิวาโนวิชเซ็นสัญญาร่วมทีมเชลซีในเดือนมกราคมปี 2008 แปดเดือนต่อมาได้ลงเล่นครั้งแรกในเกมเยือนพอร์ตสมัธในศึกคาร์ลิ่งคัพซึ่งเป็นช่วงที่ริคาร์โด้ คาร์วัลโญ่และอเล็กซ์มีปัญหาอาการบาดเจ็บ

อิวาโนวิชเริ่มแสดงความสามารถที่แท้จริงออกมาให้เห็นด้วยการทำสองประตูที่แอนฟิลด์ระหว่างเกมแชมเปียนส์ลีกกับลิเวอร์พูลในเดือนเมษายนปี 2009 หลังจากนั้นเขาก็ได้รับโอกาสลงสนามอย่างต่อเนื่อง ช่วยสกัดและเคลียร์บอลได้หลายต่อหลายครั้ง

อิวาโนวิชพัฒนาฝีเท้าขึ้นเรื่อยๆในการเล่นเต็มฤดูกาลครั้งแรกโดยลงสนามมั้งหมด 26 นัด ส่วนในฤดูกาลต่อมาเขากลายเป็นผู้เล่นคนสำคัญของสโมสร อิวาโนวิชเริ่มต้นฤดูกาล 2009/10 ด้วยการเป็นตัวสำรองของโจเซ่ โบซิงวาในตำแหน่งแบ็คขวา ก่อนที่จะได้เป็นตัวจริงในเดือนตุลาคมเมื่อโบซิงวาได้รับบาดเจ็บที่หัวเข่าต้องพักทั้งฤดูกาล อิวาโนวิชทำผลงานได้ดีทั้งในเกมรุกและเกมรับ การลงสนามให้เชลซีถึง 41 นัดทำให้อิวาโนวิชเป็นหนึ่งในตัวเต็งที่อาจได้รับการโหวตให้เป็นผู้เล่นยอดเยี่ยมประจำฤดูกาลของสโมสรแต่สุดท้ายเป็นดีดิเย่ร์ ดร็อกบาที่ได้ไป โดยปีนั้นทั้งคู่มีชื่อติดอยุ่ในทีมยอดเยี่ยมประจำฤดูกาลของพรีเมียร์ลีก

อิวาโนวิชเริ่มชีวิตค้าแข้งกับสโมสรบ้านเกิดในเซอร์เบียอย่างซเรมสกามิโทรวิกาก่อนที่จะย้ายไปร่วมทีมโอเอฟเคเบลเกรดและโลโคโมทิฟมอสโกกลางปี 2006 อิวาโนวิชเล่นให้สโมสรในรัสเซีย 62 นัดก่อนที่จะย้ายมาเชลซีในเดือนมกราคมปี 2008

อิวาโนวิชเป็นดาวเด่นของเซอร์เบียชุดอายุไม่เกิน 21 ปีในศึกชิงแชมป์ยุโรปปี 2006 และ 2007 เขาเป็นกัปตันทีมชุดนั้นก่อนที่จะก้าวขึ้นมาติดทีมชุดใหญ่ในเดือนมิถุนายนปี 2006 และเป็นตัวหลักในทีมชาติก่อนที่จะมาเป็นตัวหลักของเชลซี