وقتی معاویه بمرد عربهای شام که تعصب و حمیتشان مایه نیروی دولت بود بهیجان آمدند و اختلاف در آنها افتاد.قبیله کلب به بنی امیه متمایل بودند و قبیله قیس برقابت آن طرفدار عبد الله بن زبیر شدند، کلبیان نیز متحد نبودند، گروهی از آنها به خالد بن یزید که کوچک بود اما فصیح و دانشمند، مایل بودند و گروهی دیگر به مروان بن حکم که مردی پیر و کارآزموده بود رغبت داشتند، میان عربهای شام بسبب رقابت امویان بر سر خلافت، اختلاف افتاد و این اختلاف و نزاع ادامه داشت تا ذیقعده سال 64 هجری که در جابیه انجمن کردند و با مروان بن حکم بعنوان خلافت بیعت کردند، بدین شرط که پس از وی خالد بن یزید خلیفه باشد و پس از او عمرو بن سعید بن عاص.بدینسان کسانی که طمع خلافت داشتند راضی شدند و کلبیان همدل و همسخن شدند.قبیله قیس به پیشوائی ضحاک بن قیس فهری در مرج راهط گرد آمدند و با عبد الله بن زبیر بیعت کردند بنابر این دعوی خلافت میان او و مروان بن حکم منحصر شد.مروان با سپاهی برای جنگ ضحاک بن قیس حرکت کرد و در جنگی که در محرم سال 65 هجری در مرج راهط رخ داد وی را شکست داد و قوم یمنی بر قوم مضری غلبه یافت.ولی در نتیجه این جنگ آتش تعصب از نو نه فقط در شام بلکه در همه ولایات اسلام و مخصوصا در خراسان افروخته شد و کشاکش عربهای یمنی و مضری بالا گرفت و دامنه آن تا دورترین ولایات اسلامی کشیده شد و میان دو گروه جنگهای خونین رخ داد.
پس از جنگ مرج راهط مروان بن حکم سپاهی بسوی مصر فرستاد تا عبد الرحمن بن جحدم فرماندار عبد الله بن زبیر را از آنجا بیرون کنند و نیز فرزند خود عبد العزیز را با سپاهی بسوی ایله فرستاد.ابن جحدم برای مقابله با سپاه مروان خندقی بکند و در اینکار سخت بکوشید .خندق به یکماه کنده شد اما خندق نتیجه نداد و سپاه ابن جحدم شکست خورد و مروان در جمادی الاول سال 65 هجری وارد فسطاط شد و همه مردم با او بیعت کردند مگر گروهی که بر بیعت ابن زبیر استوار ماندند و کشته شدند.شماره این گروه بهشتاد میرسید و نیز پیشوای طایفه لخم اکدر بن حمام کشته شد و در نتیجه سی هزار کس از آن طایفه بشوریدند و محل اقامت مروان را در میان گرفتند اما بوساطت بعضی لخمیان کار بصلح انجامید و شورشیان پراکنده شدند .تصادفا در همان روز که اکدر کشته شد و مردم لخم بشوریدند عبد الله بن عمرو بن عاص وفات یافت و چون برون بردن جنازه میسر نشد او را در خانه اش دفن کردند.
پس از آن مروان بشام برگشت و دو سپاه فراهم آورد یکی را بسوی حجاز فرستاد برای جنگ با عبد الله بن زبیر و دیگری را بسوی عراق فرستاد.سپاه اول شکست خورد و سپاه دوم تا مروان زنده بود کاری نساخت زیرا بسال 65 هجری مرگش در رسید.
مروان دو پسر خود عبد الملک و عبد العزیز را ولیعهد کرده بود که اول عبد الملک و سپس عبد العزیز عهده دار خلافت شوند.پیش از این گفتیم که طرفداران بنی امیه در جابیه انجمن ساختند و با مروان بیعت خلافت کردند بشرط آنکه پس از وی خالد بن یزید خلیفه شود و پس از او عمرو بن سعید بن عاص اما مروان این شرط را رعایت نکرد و برای دو فرزند خودعبد الملک و عبد العزیز بیعت گرفت.
