کاروانسرای کلمرد قدیم و جدید در کنار هم قرار دارند. قدیمی بر اثر گذر زمان از بین رفته و تنها خرابه ای از آن بجای مانده ، اما کاروانسرای جدید کاملا سالم ، در کنار جاده ای که حالا کم تردد است شکوه و تنهایی خاصی دارد.یکی از ویژگیهای این بنا بلندای یکسان آن در دور تا دور بناست.و بجز بادگیر حتی سردر ورودی نیز با دیوارها در یک سطح است.
در دو سوی ورودی کاروانسرا در خارج بنا ایوانچه هایی وجود دارد که در هر طرف شش عدد است و در پای سکوی هر کدام افساربندی ایجاد شده که جای بستن دهانه اسب و شتر کاروانیان بوده است.همچنین اجاقها یا بخاریهای دیواری این بنا در برخی از ایوانچه های حیاط و هشتی ورودی در گوشه ها پیش بینی شده است.
پشت بام این کاروانسرا نیز به زیبایی آجر فرش شده که جلوه ای خاص به آن بخشیده است.کاروانسرای قدیمی که مخروبه شده دارای مساحت 855 متر مربع می باشد و لی مساحت کاروانسرای جدیدتر 3184 متر مربع است. این افزایش مساحت در طی 100 سال در این دو بنا که کاربری یکسانی داشته مبین این نکته است که این مسیر پر رفت و آمد شده بوده و احتیاج به وسعت و گنجایش بیشتر باعث افزایش سطح بنای جدید گردیده است.هم اکنون در داخل این مکان، یک مرد چوپان به همراه زن و فرزندانش زندگی می کنند.
شاید حضور همین خانواده دلیلی بر سالم ماندن و دور بودن از گزند انسانها به آن باشد.تا حدود 15 سال قبل که مسیر طبس به یزد و تهران از این محل بود، مسافرینی که مسیر جنوب کشور به شرق و شمال شرق و بالعکس را می پیمودند در این مکان به استراحت می پرداختند. اما اکنون کاروانسرای کلمرد تنها شاهد خانواده مردی چوپان و تعدادی دام است . تاریخ و گذشته و حضور کاروانیان را می توان در سکوت حاکم بر این کاروانسرا در ذهن مجسم نمود.
