قلعه پهلوان بادی در کنار آسیاب بادی و متروکه قرار گرفته است و مردم منطقه در محاوره های عمومی از این قلعه به نام پلوون یاد می کنند.این قلعه در مسیر آبشار دره گاهان که تنها آبشار استان یزد محسوب می شود، در مسیر دره ای به نام لاکانو و برفراز کوهی به همین نام قرار د ارد.
