В декабре 2010 года политолог Евгений Минченко писал, что в случае если Медведев пойдет на второй президентский срок, то Коновалов, а также другой близкий к Медведеву чиновник Константин Чуйченко «могут войти и в Политбюро. Но рост их влияния тормозит неприятие антикоррупционной повестки дня бюрократией».
Коновалов посвятил много лет работе в следственных органах. В 1990-е годы он был следователем прокуратуры, а затем в течение трех лет — полномочным представителем президента РФ в Приволжском федеральном округе, сменив на этом посту Сергея Кириенко. Ранее занимал должность первого заместителя прокурора Санкт-Петербурга.
На этом посту Коновалов курировал следственные органы. 12 июня 2005 года во время празднования Дня России возникла скандальная ситуация с его участием. Глава Духовного управления мусульман Нижегородской области Умар Идрисов обвинил его в дискриминации мусульман в пользу православных. Идрисов указал Коновалову на то, что его не пригласили на празднование Дня России, тогда как в качестве гостя на мероприятии присутствовал местный православный иерарх Георгий. Публичного ответа Коновалова за этим обвинением не последовало, однако отмечается, что после инцидента он старался уделять больше внимания мусульманской общине. В частности, однажды он выступил на заседании форума «Россия — исламский мир», заявляя там о важности исламских традиций для человечества.
Именно Коновалову выпало проводить большую реформу российской пенитенциарной системы, которая заключалась в улучшении положения впервые осужденных. Их отделяли от матерых уголовников, чтобы новички меньше воздействовали с криминальной средой.
Коновалову также принадлежит и достаточно критическое высказывание о российской тюремной системе: по его словам, «наша тюремная система — это наследие отчасти ГУЛАГа».
Коновалову действительно удалось улучшить ситуацию в тюрьмах. При этом те, кто проводил реформу, впоследствии сами оказались в руках правосудия. В 2015 году в руках правоохранителей оказался генерал-полковник Александр Реймер, который занимал пост главы Федеральной службы исполнения наказаний. Ему были предъявлены обвинения в связи с мошенничеством при покупке электронных браслетов для арестантов. Реймер был осужден на восемь лет тюремного заключения.
Во время руководства Минюстом Коноваловым в 2009 году произошел трагический случай — в российском СИЗО погиб юрист Сергей Магнитский, подозреваемый по делу о налоговых манипуляциях.
Комиссия правозащитников, которая расследовала инцидент, выяснила, что Магнитский погиб из-за неоказания ему медицинской помощи. Деятельность комиссии осуществлялась по распоряжению президента Медведева. Наказание по этому делу получили лишь рядовые тюремные врачи.
Коновалов неоднократно выступал перед аудиторией на различных юридических конференциях высокого уровня. В 2013 году он заявил, что полученные в 2009 году рекомендации Совета ООН служат «дополнительной гарантией защиты прав человека в России».
С тех пор Москва предприняла «беспрецедентные меры» в области обеспечения открытости судов, облегчения деятельности НКО и политических партий, а также борьбы с коррупцией.
При этом, несмотря на современный стиль управления и достаточную открытость, министра нельзя назвать «либералом». Европейские органы неоднократно критиковали деятельность Минюста России, указывая на дискриминационные меры в отношении иностранных НКО, а также дискриминационные меры в отношении лиц нетрадиционной сексуальной ориентации.
Критике также подвергался и закон о митингах, ужесточающий наказания за незаконные массовые мероприятия. Стоит отметить, что после того как из мест заключения был освобожден осужденный по закону о митингах активист Ильдар Дадин, Коновалов заявил, что его ведомство не готовит никаких поправок в закон о митингах. «Каких-то планов по подготовке поправок сейчас нет. Но постановление Конституционного суда по делу Дадина и не предусматривало внесение поправок», — заявил министр.
О личной жизни министра известно мало, однако знающие его люди называют его очень религиозным человеком. Он несколько раз посещал различные святые места, а также имеет духовное образование. В 1992 году он принял крещение и заочно окончил Свято-Тихоновский богословский институт в Москве.