قلعه رستم در جنوب شرقی شهر خوسف و در غرب روستای کوچکی به نام گنج برفراز تپهایر رفیع که بر جلگه خوسف و دشت ماژان مشرف است، قرار دارد.
چون قلعه در محلی واقع شده که دسترسی به آن آسان نبوده لذا آسیب کمتری متوجه برخی از فضاهای آن شده است. در داخل قلعه شش تالار وجود دارد که با طاقهای جناغی پوشش یافتهاند. ارگ چه ورودی این تالارها به دلیل انباشت خاک و آوار مسدود شده است، ولی تالارها نسبتاً سالم ماندهاند.
در مرکز قلعه چاهی وجود دارد که عمق آن حدود هفتمتر است و در جبهه جنوبی قلعه آب انباری قرار دارد که از سنگ و ملات ساروج ساخته شده است. در جبهه شمال شرقی قلعه پنج برج دیدهبانی وجود داشته که قابل تشخیص است. در محوطه این قلعه قطعات سفالهای لعابداری با رنگهایذ فیروزهای و ساده وجود دارند که به ادوار پیش و پس از اسلام مربوط میشوند. آثار بجا مانده در قلعه رستم به پیش از اسلام باز میگردد، ولی در دورههای بعد از اسلام بخصوص در زمانی که فرقه اسماعیلیه بر این منطقه سلطه داشتند آن را بازسازی کردهاند.
