ديلمى همراه با كاتب و دوست نزديك خود يعنى اسماعيل بن عباد وارد اصفهان شد. به سبب همين مصاحبت او را لقت صاحب دادند. وى نخستين وزيرى بود كه به او «صاحب» مى گفتند. به ديگر وزرا پيش از آن، خواجه مى گفتند. امام محمد غزالى در كتاب نصيحه الملوك آورده: «به كايت آمده است كه شاهنشاه را (منظور مؤيد الدوله و با برادرش فخر الدوله ديلمى است زيرا به هر دو شاهنشاه مى گفتند) دوازده وزير بوده است و از جمله ايشان يكى صاحب رى بود «اسماعيل بن عباد»، پس آن همه وزيران يكى شدند و بر وى تضريب ها كردند و زشت گفتندش نزد شاهنشاه، چون وزير آگاه شد ايشان جمله گرد كرد و گفت: شما را چه هنر است كه مرا نيست؟ تا بدان مرا پيش پادشاه بدى توانيد گفت و كمترين هنر من قلم تراشيدن است و كيست از شما كه قلم بتراشد و آن قلم يك بار بر دوات زند و از آن يك سطر تمام بنويسد؟ همه عاجز شدند، شاهنشاه گفت: تو بتراش، بتراشيد و بنوشت. پس همه به فضل وى مقر آمدند...» (4: 103 ـ 104). عضد الدوله (پادشاه دانشمند ديلمى) چون خود اهل كتاب و مطالعه بود، همواره براى صاحب احترام زيادى قائل مى شد. هنگامى كه صاحب در همدان بود هداياى بسيارى همراه با يك اسب با ساخت طلا به وى عطا نمود و دستور داد املاك وسيعى را در فارس به نام او به ثبت برسانند. درباره مقام علمى و ادبى صاحب بن عباد و كتاب هايى كه تأليف كرده، مطالب زيادى نوشته شده است. در مجلس درس او دانشمندان زيادى، با وجودى كه خود از نظر علمى مطرح بودند، حضور مى يافتند و از اطلاعات و دانش او استفاده مى كردند. ابن الجوزى مى گويد كه وى در بيشتر علوم صاحب نظر بود و از اين حيث هيچ وزيرى با او همپايه نبود. با علما و ادبا معاشرت داشت و به آنان مى گفت ما (يعنى من) در روز سلطان و در شب هم چون برادرانيم. چنين شخص فرهيخته و عالمى پايه گذار كتابخانه اى در شهر رى شد كه بعدها از معتبرترين كتابخانه هاى ايران و عالم اسلامى به شمار آمد.