روستای خشت سر جمعیتی بالغ بر 800 خانوار و 3500 نفر دارد .این روستا از شمال به دریای مازندران از جنوب به جنگلهای نه چندان انبوه شمال ، از سمت شرق به شهرستان محمودآباد و از طرف غرب به ایزد شهر منتهی می شود. براساس آمارهای موجود 65 درصداهالی کشت سر از راه کشاورزی امرار معاش می کنند و بقیه در مشاغل خدماتی و کارگری فعالیت دارند. آستانه امامزاده فضل درکنار جاده ی اصلی روستا با بنایی زیبا و پرجاذبه رهگذران را مجذوب خود می کند.این امامزاده از نوادگان امام موسی کاظم (ع) است ومکان آن 900 سال قدمت دارد.بنای جدیدامامزاده درسال 1360 شمسی مجددا با معماری زیبا و چشم نواز ساخته شده است. شغل اصلی مردمان روستای خشت سر صیادی است.
