قلعه باقر آباد به دستور عبدالرحیم خان فرزند محمد تقی خان بافقی ساخته شده این قلعه در سه مرحله بنا گردیده است ابتدا برج شمالی که محل زندگی عشکر می باشد. و قسمت برج جنوبی ده سال بعد ساخته شد و در سال 1298 هجری شمسی به علت هرج ومرج در کشور مروم روستا دور قلعه را حصار کشیدند این قلعه با مصالح خشتو گل ساخته شده است.
برج شمالی قلعه با ارتفاع 8 متر دارای دو طبقه 3 سنگ انداز و 10 جایگاه تیرانداز می باشد برج دو م قلعه که در قسمت جنوبی قلعه قرار دارد ب صورن هشت ضلعی با ارتفاع 11 متر در دو طبقه دارای 16 روزن تیرانداز و 4 سنک انداز می باشد قلعه دارای 45 اتاق با اندازه های متفاوتی می باشد سه راهور در دورن قلعه وجود دارد که راهروی اول برج جنوبی را به برج شمالی متصل می کند و دو راهرو ی دیگر در دوطرف راهروی اول قراردارد و دسترسی به اتاق های قلعه را برای ما مکان پذیر می سازد.
