در وسط هر ضلع طاق نماهایی با قوس های نیزه دار برپا گشته در بالای طاق نما و زیر سقف رس های قاب مانندی از خشت ساخته شده .
سقف این برج مخروطی بوده که بر اثر سوانح طبیعی ویران شده
به عقیده مردم سمنان برج چهل دختر یکی از بناهای شوهر یاب استان سمنان است بدین صورت که دختران دم بخت برای باز شدن بخت خود و پیدا کردن شوهر به داخل برج می روند و سه یا هفت سنگ از داخل به خارج پرتاب می کنند اگر همه سنگها به بیرون بیفتند بخت آنها باز می شود و همان سال ازدواج می کنند در غیر این صورت باید یک سال دیگر در منزل بمانند .
ارتفاع این برج 12 متر و ضخامت دیوارها 50 تا 60 سانتیمتر می باشد برج 8 ضلعی بوده و طول هر ضلع در خارج 5/4 متر می باشد و با توجه به اینکه برج در کنار دو محله کوشمغان (کوشک مغان) و زاوغان (زاویه مغان) قرار دارد می توان اطمینان داشت برج مذکور زمانی آتشکده و از اماکن متبرکه زرتشتیان بوده است.
محل قرار گرفتن برج در اواسط خیابان حکیم الهی و بر سر محلات ثلاث ( کوشمغان، زاوغان، کدیور) می باشد. عده ای از مردم سمنان معتقدند برج به وسیله چهل دختر که دست از تجملات و مادی گرایی کشیده و تارک دنیا شده بودند با خشت و گل ساخته شده و تاریخ برج مربوط به قبل از اسلام می باشد.
