سفر هجرت از مکه به مدینه روز جمعه دوازدهم ربیع الاول سال سیزدهم بعثت (622 ق) به پایان رسید و رسول الله (ص) بعد از ظهر آن روز از «قبا» در حومه شهر وارد مدینه گردید مرکب او (ناقه قصوی) در محله بنی ظمالک بن النجار در زمینی متعلق به دو کودک یتیم به نام سهل و سهیل متوقف شد و زانو بر زمین زد. آن حضرت از شتر به زیر آمد و دستور داد مسجد مدینه را در آن محل بنا کنند. خود او در همان نزدیکی در خانه ابوایوب انصاری در حجره فوقانی منزل گرفت و مدت یازده ماه که کار ساختمان مسجد ادامه داشت در همان محل باقی ماند (سیره ابن هشام، 1/495 به بعد) . نقشه مجتمع مسجد و خانه های اطراف آن را پیغمبر شخصا طرح کرد. زمین مسجد را از قیم آن دو یتیم به مبلغ ده مثقال طلا خریداری کرد و به ابوبکر خزانه دار خود دستور پرداخت آن وجه را صادر نمود. مقرر شد پی دیوارها با سنگ و گل و دیوارها با خشت و گل ساخته شود. پس دیوارها به عمق سه گز (ذراع، ارش) و ارتفاع آنها پنج و به قولی هفت گز بود که به بلندی قامت انسان می رسید. به روایت ابن شهاب زهری. مسلمانان سنگ از سنگستانهای اطراف مدینه می آوردند و در زمین مسجد خشت می زدند . رسول الله (ص) مانند سایر صحابه سنگ می کشید و گل کاری می کرد. برای حفظ نمازگزاران از تابش آفتاب و ریزش باران ستونهایی از تنه نخل برافراشتند و محوطه مسجد را با شاخ و برگ خرما پوشاندند. تا رسول الله (ص) زنده بود اجازه نداد روی مسجد سقف خشت و گلی بگذارند. در انتهای شمالی مسجد خیمه بزرگی برافراشتند که قبله را به سمت صخره بیت المقدس نشان می داد. بعد از تغییر قبله به سمت کعبه آن خیمه محل سکونت مهاجران فقیر (اصحاب صفه) گردید (سیرة امیرالمؤمنین علی بن ابی طالب، 2/392، خطی از نویسنده این مقاله؛ مختصر سیرة الرسول، عبدالله نجدی، 177) . بنای مسجد و ضمائم آن از ربیع الاول تا صفر سال بعد، حدود یازده ماه به طول انجامید ولی مسلمانان نمازهای خود را پیوسته به جماعت در آن محل می گزاردند. مقصوره مسجد ده هزار گز مساحت داشت. سه دروازه (باب) برای آن ساخته شد که با تکه های سنگ ازاره بندی شده بود. یکی از آنها به رفت و آمد رسول الله (ص) و اهل بیت اختصاص داشت و آن را باب جبرئیل گفتند. محل و نام این دروازه تا امروز حفظ شده است. دیگری باب الرحمة و سومی بی نام بود و این دروازه سوم راهرو همگان از بنده و آزاد و مسلمان و کافر بود. در مسجد هیچ فرش و اثاثه نبود و کف آن را با سنگ ریزه فرش کرده بودند . منبر هم نداشت و رسول الله (ص) برای القای خطبه به یکی از ستونهای مسجد تکیه می داد . نخستین منبر برای مسجد مدینه در سال هفتم یا هشتم هجری شبیه منبر کلیساهای شام ساخته شد و سازنده آنها مردی به نام تمیم داری بود. برای رسول الله (ص) و علی (ع) و بعضی مهاجرین اطاقهای کوچکی با سقف کوتاه در کنار مسجد ساختند که در آنها به داخل مسجد گشوده می شد . سقف اطاقها آن قدر کوتاه بود که دست یک طفل نوبلوغ به آن می رسید، سبک معماری آنها هم مانند شبستان مسجد بود یعنی ستونهایی از تنه نخل برافراشته روی آنها را با شاخ و برگ خرما پوشانده بودند. اطاقها یک دری و بدون چفت و کوبه و یراق بود. حجره عایشه که رسول بعد از رحلت در آن مدفون گردید و حجره علی و فاطمه در سمت شرقی مسجد بود. برای هر همسر تازه که به خانه پیغمبر می آمد حجره تازه ای به همان اسلوب در ردیف حجره عایشه بنا می گردید. مسجد مدینه حیاط مستقل و
وضوخانه نداشت و اهالی مدینه برای قضاء حاجت به خارج شهر می رفتند. تمام مسجد هم سرپوشیده نبود (حواشی سیره ابن هشام، 1/498؛ اعیان الشیعة، 1/353) .
بعد از آن که ساختمان مسجد تمام شد پیغمبر از خانه ابوایوب به خانه خود منتقل گردید . علی بن ابی طالب (ع) و ابوبکر و عمر و نیز عباس و حمزه عموهای پیغمبر در خانه های خود مستقر گردیدند و از راه مسجد رفت و آمد می کردند. لیکن رسول الله (ص) می خواست با همسر بسیار جوان خود عایشه زفاف کند و ازدواج فاطمه دختر آن حضرت با علی (ع) نیز قریب الوقوع بود و رفت و آمد صحابه از داخل مسجد مانع از آن بود که اهل بیت بعد از نماز فراغتی داشته باشند. از این سبب دستور رسید که همه صحابه حتی عموها درهای خود را که به مسجد باز می شد ببندند و از راه دیگر رفت و آمد کنند و برای نماز از درهای مسجد وارد آن گردند. انحصارا به علی مرتضی که از کودکی در کنار رسول الله (ص) به سر می برد اجازه داده شد در خانه اش را به مسجد باز نگاه دارد و هر کار که در مسجد بر رسول الله (ص) حلال است بر وی نیز حلال باشد. این امتیاز به بعض صحابه از جمله عموهای پیغمبر گران آمد و کار به گله گزاری رسید ولی رسول الله (ص) قاطعانه ابلاغ فرمود که این دستور به موجب وحی الهی است و علی به حکم خدای این مزیت را حاصل کرده است. از این رو اصحاب ساکت شدند و سخن کوتاه گشت و درهائی که به داخل مسجد باز می شد مسدود گردید. در این باره احادیث بسیار از طریق شیعه و سنی روایت شده که به نام احادیث سد ابواب معروف است و بعض آنها ذیلا نقل می شود :
1) محمد عیسی ترمذی در جامع صحیح (2/301) حدیثی از عبدالله بن عباس به این شرح روایت کرده است: «ان رسول الله صلی الله علیه و سلم امر بسد الابواب الا باب علی» یعنی: رسول الله (ص) امر فرمود همه درها را که به مسجد باز می شد ببندند مگر در خانه علی را؛ 2) حاکم نیشابوری در المستدرک الصحیحین (3/125) به سند خود از ابوهریره و او از عمر بن الخطاب چنین روایت کرده است: «ثلاث خصال لان تکون لی خصلة منها احب الی من ان اعطی حمر النعم. قیل و ما هی یا امیرالمؤمنین؟ قال تزوجه فاطمة بنت رسول الله صلی الله علیه و سلم و سکناه المسجد مع رسول الله (ص) یحل له فیه ما یحل له و الرایة یوم خیبر» ، یعنی : عمر می گفت به علی بن ابی طالب سه فضیلت عطا شده که اگر یکی از آنها نصیب من می شد آن را از شتران سرخ موی (ثروت بسیار) دوستتر می داشتم. بدو گفتند: آن سه فضیلت کدام است ای امیرالمؤمنین. گفت: همسری او با فاطمه دختر رسول الله (ص) و سکونت او در مسجد با رسول الله که هر چه در آن جا به پیغمبر حلال بود بر علی نیز حلال بود و علمداری او در روز خیبر. حاکم نیشابوری نیز مانند ترمذی مانند این حدیث را صحیح دانسته است. همین حدیث را متقی هندی در کنزالعمال فی سنن الاقوال و الافعال (15/274، 297) به روایت ابن ابی شبیه از امیرالمؤمنین (ع) و ابن حجر هیثمی در الصواعق المحرقه به روایت از ابویعلی و محب طبری در الریاض النضرة (2/192) ثبت کرده اند؛ 3) احمد بن علی نسائی در خصائص امیرالمؤمنین علی بن ابی طالب (73) از بشار بن بندار بصری و او از محمد بن جعفر و او از عوف و عوف از میمون ابی عبدالله و او از زید بن ارقم چنین روایت کرده است: «کان لنفر من اصحاب رسول الله صلی الله علیه و سلم ابواب شارعة فی المسجد. فقال رسول الله صلی الله علیه و سلم یوما: سدوا هذه الابواب الا باب علی. فتکلم فی ذلک الناس. فقام رسول الله صلی الله علیه و سلم فحمد الله و اثنی علیه ثم قال: اما بعد فانی امرت بسد هذه الابواب غیر باب علی و قال فیه قائلکم و الله ما سددته و لا فتحته و لکنی امرت فاتبعته» یعنی: در خانه چند نفر از اصحاب رسول الله (ص) به مسجد باز می شد (و از آن رفت وآمد می کردند) روزی پیغمبر امر کرد و جز در خانه علی همه آن درها را مسدود کنند. پس مردم در این باره حرفها زدند. از این رو رسول الله (ص) برخاست و بعد از حمد و ثنای الهی فرمود: به من امر شده است همه این درها را غیر از در خانه علی ببندم. در این باره بعض شما حرفهایی زده اید. به خدا سوگند که من هیچ دری را مسدود نکردم و هیچ دری را نگشودم. لیکن به من امری شد و از آن پیروی کردم. همین حدیث را احمد بن محمد بن حنبل در مسند (4/396)، حافظ کنجی در کفایة الطالب (88) ابن حجر عسقلانی در فتح الباری (7/12) و همین مؤلف در عمدة القاری (7/592)، و امینی در الغدیر (3/202) نیز روایت کرده اند؛ 4) علی متقی هندی در کتاب کنزالعمال (15/436) حدیث ذیل را به روایت ابوبکر بزاز از امیر المؤمنین نقل کرده است: «اخذ رسول الله (ص) بیدی فقال: ان موسی سأل ربه ان یطهر مسجده بهارون و انی سألت ربی ان یطهر مسجدی بک و بذریتک. ثم ارسل الی ابی بکر ان سد بابک. فاسترجع ثم قال سمعا و طاعة فسد بابه. ثم ارسل الی عمر ثم ارسل الی العباس بمثل ذلک. ثم قال رسول الله ما انا سددت ابوابکم و فتحت باب علی و لکن الله فتح باب علی و سد ابوابکم» . یعنی: رسول خدا (ص) دست مرا گرفت و گفت: همانا موسی از خدای خود مسألت نمود که مسجدش را به وجود هارون پاک سازد. من نیز از خدای خود خواستم مسجدم را به وجود تو و ذریه تو پاک بدارد . پس به ابوبکر پیغام فرستاد که در خانه ات را (که به مسجد باز می شود) مسدود کن. او گفت: انا لله و انا الیه راجعون سپس گفت سمعا و طاعة و در خانه خود را مسدود نمود. بعد همین پیغام را برای عمر و عباس فرستاد. آن گاه فرمود: این من نیستم که در خانه های شما را بستم و در خانه علی را گشودم. این خداوند است
که در علی را بگشود. و درهای شما را مسدود ساخت. این حدیث را ابن حجر هیثمی در مجمع الزوائد (9/114) نیز به همان سند از بزاز روایت کرده است؛ 5) علامه امینی در الغدیر (3/202) بیست و سه صورت از حدیث سد ابواب را به طرق و اسناد مختلف از راویان موثق نقل نموده و دلائل صحت و اعتبار آن را شرح داده است. از جمله آنها حدیث ذیل است که حارث بن مالک از سعد بن ابی وقاص روایت کرده و امام نسائی در خصائص (74) نیز ثبت کرده است. متن حدیث چنین است: «... اتیت مکة فلقیت سعد بن ابی وقاص فقلت: هل سمت لعلی بن ابی طالب منقبة؟ قال: کنا مع رسول الله فنودی فینا لیلة: لیخرج من فی المسجد الا آل رسول الله. فلما اصبح اتاه عمه فقال: یا رسول الله : اخرجت اصحابک و اعمامک و اسکنت هذا الغلام؟ فقال رسول الله (ص): ما انا امرت بأخراجکم و لا باسکان هذا الغلام. ان الله امر به» ، یعنی: حارث بن مالک گفت: به مکه رفتم و در آنجا سعد بن ابی وقاص را ملاقات نمودم. او را گفتم: آیا منقبتی برای علی شنیده ای؟ گفت : ما با رسول الله (ص) بودیم. پس شبی به ما ابلاغ شد که هر کس در مسجد به سر می برد غیر از آل رسول الله (ص) باید که بیرون رود. چون صبح شد عباس عم پیغمبر نزد او آمد و گفت: ای رسول خدای همه اصحاب و اعمامت را بیرون کردی و این پسر را در مسجد جای دادی؟ رسول الله (ص) فرمود: من نیستم که امر به اخراج شما و اسکان این پسر داده ام. خدای این امر را صادر نموده است.
در عهد رسول الله (ص) و خلافت ابوبکر مسجد مدینه و خانه های اطراف آن به صورت اصلی باقی ماند. در عهد خلافت عمر به سال هفدهم هجری سه در دیگر برای آن ساخته شد و محوطه مسجد توسعه یافت. در عهد عثمان مسجد بازسازی شد و طول و عرض مقصوره آن به صد و پنجاه گز بالغ شد. دیوارها و ستونهای مسجد را با سنگ تراشیده ساختند و سقفی از چوب ساج بر آن بنا نمودند و طاق مسجد را گچ کاری کردند. این بازسازی از ربیع الاول 29 تا 30 ق به طول انجامید . در عهد ولید بن عبدالملک (48 96 ق) بار دیگر مسجد مدینه نوسازی شد و طولش را از جلو دویست گز و از عقب صد و هشتاد گز قرار دادند. در این نوسازی خانه های رسول الله (ص) و امیرالمؤمنین (ع) جزء مسجد گردید. خلفای عباسی و عثمانی هم در تزیین و عمران مسجد مدینه کوشیدند و قبه خضراء و مناره های با شکوه برای آن ساختند. آخرین و کاملترین توسعه و تعمیر در عهد دولت سعودی صورت گرفته و با مرمر کاری و کاشی کاریهای فاخر و حجاریها و موزائیک سازی های ممتاز این مسجد را بعد از مسجد الحرام به صورت مجلل ترین و وسیع ترین مسجد جهان در آورده اند.