این قلعه بالای کوه صخره‌ای مشرف بر امامزاده اسماعیل در حومه شهر فیروزکوه قرار گرفته است. برای ساخت این قلعه در قسمت دیوارهای خارجی و دفاعی و برج از لاشه سنگ همراه با ملات گچ و ساروج استفاده شده است.
از این قلعه فقط کمی از دیواره‌های ضلع غربی و ضلع جنوبی همراه یک برج باقی‌مانده است و در ضلع شرقی و کنار برج تعدادی اتاق مخروبه مشاهده می‌شود. برج که نسبتا سالم مانده دایره‌ای‌شکل است و حدود 5 متر هم از دیواره‌ها باقی‌مانده است. در وسط این برج یک پنجره کوچک مستطیل‌شکل دیده می‌شود.
کلاویخو، جهانگرد مشهور اروپایی که در دوره مغول به ایران سفر کرده بود در مورد این قلعه می‌نویسد: «گویند دژ فیروزکوه چنان نیرومند بود که هیچ‌کس نمی‌توانست آن را در صورتی که پادگان کافی در آن موجود می‌بود، به حمله بگیرد، چون حصار برنوک کوهی است مشرف بر دشتی که این کوه را از کوه‌های دیگر به کلی مجزا می‌کند.
در پای حصار در کنار دشت دیواری است که گرداگرد آبادی فیروزکوه راگرفته است و از آنجا دفاع می‌کنند. در داخل این دیوار آبادی فیروزکوه قرار گرفته و بالاتر از این دیوار، دیوار دیگری به موازات آن کشیده شده است و بالاتر هم دیواری است به موازات 2 دیوار اول که همانا دیوار دژ اصلی است. در میان 2 دیوار اخیر خانه‌های مردم آبادی واقع است. برفراز اینها سنگر‌ها و استحکامات دژ مرکزی قرار دارد با دیوار محکم و برج‌های استوار و بسیار. به این طریق با آن که فیروزکوه داخل یک دژ است، 3 حصار دارد که یکی برفراز دیگری است و نیز در دژ مزبور چشمه زلالی است که اهالی آنجا را کفایت می‌کند و حال آن که از پایین حصار هم رودخانه‌ای می‌گذرد که روی آن پل‌های متحرک وجود دارد که برای دست‌یافتن به حصار اول باید از آنها گذشت.»
قلعه فیروزکوه شامل سه بخش بوده که بخش اول شامل شهر قدیم فیروزکوه بخش دوم شامل تعدادی خانه با دیوارهای خشتی برج ، آب انبار و چاه آب بخش سوم که از پشت دروازه و دیوار عظیم بخش دوم آغاز و انتهای کوه امتداد می یافت بوده است و در بالاترین قسنت کوه ارگ حکومتی ساخته شده بود . مصالح بکار رفته شامل خشت و گل برای خانه ها و سنگ لاشه و ساروج برای برجها و استحکامات بوده است.
