بردباری و گذشت آن بزرگ،بی مانند و سرمشق دیگران بود.
لقب «کاظم »به دنباله ی نام آن گرامی،حاکی از همین خصلت وی و نشانه ی شهرت ایشان به کظم غیظ و گذشت و بردباری اوست.
در روزگاری که عباسیان،در سراسر بلاد اسلامی خفقان ایجاد کرده بودند و اموال مردم را به عنوان بیت المال می گرفتند و صرف عیش و نوش می کردند و بر اثر حیف و میل آنان،فقر عمومی بیداد می کرد،مردم اغلب بی فرهنگ و فقیر بودند و تبلیغات ضد علوی عباسیان نیز، اذهان ساده لوحان را می آلود،گهگاه،برخی از سر نادانی،بر امام بر می آشفتند،اما آن بزرگوار، با اخلاق عالی خویش،بر آشفته ها را تسکین می داد و با ادب و متانت خویش،آنها را تادیب می کرد.
مردی از اولاد خلیفه ی دوم در مدینه می زیست که امام را آزار می داد و گاهی که امام را می دید با دشنام،توهین می کرد.
برخی از یاران امام،پیشنهاد می کردند که او را از میان بردارند:امام شدیدا ایشان را از اینکار باز می داشت.
یکروز امام جای او را که در مزرعه ای بیرون مدینه بود،پرسیدند.
چارپایی سوار شدند و بدانجا رفتند و او را در مزرعه یافتندو همچنان سواره وارد مزرعه شدند.او فریاد زد که زراعت مرا پایمال نکن!حضرت اعتنایی به گفته ی او نکردند و همچنان سواره نزد او رفتند (43) و چون کنار او رسیدند،از چارپا پیاده شدند و با گشاده رویی و بزرگواری از او پرسیدند:
چقدر برای این مزرعه خرج کرده ای؟
گفت:صد دینار
فرمود:چقدر امید سود داری؟
گفت:غیب نمی دانم.
فرمود:گفتم چقدر امیدوار هستی؟
گفت:امید دویست دینار سود دارم.
حضرت سیصد دینار به او مرحمت فرمودند و فرمودند زراعت هم از آن خودت،خدا به تو آنچه به آن امید داری خواهد رسانید.آن شخص برخاست و سر آن گرامی را بوسید و از او خواست که از گناهان و جسارت های وی در گذرد.امام تبسمی فرمودند و باز گشتند...
روز بعد،آن مرد در مسجد نشسته بود که امام (ع) وارد شدند.
آنمرد تا نگاهش به امام افتاد گفت:
الله اعلم حیث یجعل رسالته
خدا بهتر می داند که رسالت خویش را به چه کسانی بدهد. (کنایه از آنکه امام موسی بن جعفر به راستی شایستگی امامت دارند)
دوستانش با شگفتی پرسیدند،داستان چیست،قبلا از او بد می گفتی؟
او دو باره امام را دعا کرد و دوستانش با او به ستیزه برخاستند...
امام با یارانی از خود که قصد قتل او را داشتند فرمود:کدام بهتر است،نیت شما یا اینکه من با رفتار خویش او را به راه آوردم؟ (44)
