کاروانسرای شاه عباسی در وسط شهر آوج قرار دارد و وسعت تقریبی آن 55×58 متر می‌باشد و دارای طرح دو ایوانی است. شالوده کاروانسرا از سنگ‌های لاشه و قلوه سنگ بنا شده و روی آن آجرچینی شده است. کاروانسرا از داخل دارای دو ایوان و 24 ایوانچه است و در پشت اکثر آن‌ها، حجره‌ها واقع شده‌اند که چهار عدد از آن‌ها به شترخان کاروانسرا راه دارند. شترخان به صورت راهرویی طویل با پوشش طاق و تَویزه است و زیر هر طاق نمای آن سکویی جهت باراندازی قرار دارد.
این کاروانسرا از جمله منزلگاه‌هایی است که در مسیرهای اصلی کشور و به دستور شاه عباس صفوی بنا شده و در سال 1040 هجری قمری در زمان پادشاهی شاه صفی به پایان رسیده است. متأسفانه این بنا در زلزله تیر ماه سال 1380 خورشیدی آسیب‌های جدی دید.
