اشتدت الأمور اضطرابًا بعد رحيل يزيد بن معاوية وموت ولده معاوية بن يزيد، لكن كيف وصل مروان بن الحكم إلى الحكم. بويع له بالخلافة من قبل بنى أمية بعد موت معاوية بن يزيد.

على إثر اجتماع تاريخي لكبار بنى أمية وأعيانهم، عقد في الجابية في 3 من ذي القعدة 64 هـ، قرروا فيه البيعة لمروان بن الحكم، وكان شيخًا كبيرًا قد تجاوز الستين.

ووضع المجتمعون اتفاقًا تاريخيًا لتجنب أسباب الفتنة والشقاق، واشترطوا أن تكون ولاية الحكم لـ "خالد بن يزيد" من بعد "مروان"، ثم "عمرو بن سعيد بن العاص، وكان نفوذ الأمويين قد ضعف حيث بايعت أغلب الاقاليم الخليفة عبد الله بن الزبير، وحتى الشام، معقل نفوذ الأمويين كانت قد انقسمت بين مبايعين لمروان بن الحكم ومبايعين لعبد الله بن الزبير وعلى رأسهم الضحاك بن قيس الذي سيطر على دمشق. هاجم مروان جيش الضحاك في واقعة بمرج راهط وهزمه، وبعد السيطرة على الشام، خرج مروان بجيشه إلى مصر التي كانت قد بايعت عبد الله بن الزبير ودخلها وولى ابنه عبد العزيز بن مروان عليها، وبسقوط مصر التي كانت تمد عبد الله بن الزبير بالغلال في مكة أصبح وضعة ضعيفًا.

بعث مروان بجيشين إحداهم إلى الحجاز لمحاربة عبد الله بن الزبير والثاني لمحاربة مصعب بن الزبير شقيق عبد الله وواليه للقضاء على الشيعة في الكوفة ب العراق، هُزم الجيش الأول بينما لم يحقق الجيش الثاني أهدافه.

قرر مروان أن يجعل الخلافة لابنه "عبد الملك" من بعده بدلا من خالد بن يزيد، كما نصت اتفاقية "الجابية" التاريخية، فتزوج أم خالد (أرملة يزيد)، وأصبح دائم التحقير من شأن خالد، يكثر من سبه ويعيّره بأمه، فلما أخبر خالد أمه بذلك نقمت على مروان الذي أسفر عن حقيقة نواياه باغتصاب الخلافة من ابنها، فتحينت الفرصة للانتقام منه، وفى إحدى الليالي، بينما كان مروان مستغرقًا في نومه، وضعت أم خالد وسادة على وجهه، فلم ترفعها حتى مات.

كانت وفاة مروان في رمضان من سنة 65 ه عن عمر بلغ نحو خمسة وستين عامًا، وهو لم يكمل العام الأول من خلافته، وبرغم ذلك فقد استطاع أن يؤسس دولة قوية للأمويين في الشام، وتعد خلافته هي البداية الحقيقية للعهد الثاني من الحكم الأموي.