يروي عديد من المؤرخين حكايات عن عصر الخديوي اسماعيل، نقرأ فيها عن بعض الشخصيات التي كانت على هامش الحياة، ثم رفعتها الأقدار، إلى وضع آخر سواء على المستوى الاجتماعي أو الاقتصادي، وكان على رأسهم خليل أغا، وكان الخادم الخاص للخديوي إسماعيل، ومقرباً من الوالدة باشا، او خوشيار هانم والدة الخديوي.
والأغا قديما لقب يطلق على الخادم الخاص وهي محرفة من كلمه تركية، وقد اشتراه الخديوي من سوق العبيد ولا يُعلم أصله ولا اسمه الأصلي، واهتم أن يكون خصيّاً ليدخل بحُريّة على أهل بيته دون خوف. واهتم الخديوي بتعليمه وتربيته، وعندما تم إلغاء الرق نهائيا عام 1869م، حصل خليل آغا على حريته وخيَّره الخديوي بين الإستمرار في خدمته أو المضي في سبيله، فاختار الأولى طبعا. ومن هنا زادت مكانته عند الخديوي، وصار يُغدق عليه، هو ووالدته، مزيد من الثروات والهدايا حتى أصبح أغا من كبار الأثرياء في مصر، وتبوأ مكانة اجتماعية كبيرة وبسرعة. حيث كان الجميع من وزراء وأعيان، يتقربون منه لقربه من الخديوي، فيطلبون منه نقل أيه رسالة او رجاء لأذن الخديوي مباشرة. وذلك طبعا حرصاً على البقاء في مناصبهم.
ومن تلك المكانة التي مُنحت لخليل اغا، انتشرت عديد من الآراء في هذه الفترة، تؤكد أنه هو الحاكم الفعلي لمصر، وهو من يتحكم في جميع الأمور، وليس الخديوي إسماعيل. وهذا طبعا من قبيل المبالغة! فهذا النوع من الناس قد اكتسب مكانته من طابور المتملقين والذين يرغبون في الدخول للمعية السنية فقط، ولكن حاشية الخديوي والمقربين منه بالفعل، كانوا لا يهتمون بخليل أغا هذا ويعاملونه بما هو أهل له. والدليل على ذلك هو خروجه تماما من دائرة الأضواء بعد زوال دولة الخديوي اسماعيل ونفيه خارج البلاد عام 1879م.