1966 yılında Giresun’un Piraziz ilçesinde doğan Ayyıldız, 1987 yılında Ankara Üniversitesi Siyasal Bilgiler Fakültesinden mezun oldu. 1989 yılında Ordu Valiliğinde Kaymakam Adayı olarak göreve başlayan Ayyıldız, evli, 2 kız ve 1 erkek çocuk babasıdır.
Ayyıldız sırasıyla şu görevlerde bulundu:
1992 – 1993 Ordu – Ulubey Kaymakamı
1993 – 1995 Kahramanmaraş – Ekinözü Kaymakamı
1995 – 1998 Nevşehir – Kozaklı Kaymakamı
2000 – 2003 Bitlis Vali Yardımcısı
2003 – 2006 Rize Çayeli Kaymakamı
2006 – 2010 Mahalli İdareler Daire Başkanı
2010 – 2011 Mahalli İdareler Genel Müdür Yardımcısı
2011 – 2013 Zonguldak Valisi
2013 – 2016 Aydın Valisi
2016 – 2020 İzmir Valisi
2020- 2023 Eskişehir Valisi
Erol Ayyıldız, 2023 yılı Haziran ayında Emniyet Genel Müdürü olarak atandı.