В январе 1880 года молодому юристу доверили самостоятельно производить следственные действия, чем он и стал заниматься уже в 7-м следственном участке Санкт-Петербурга, где, впрочем, задержался ненадолго. В течение последующих четырех лет Александр Макаров исправлял секретарские обязанности в канцелярии председателя окружного суда и в 1-м уголовном отделении. В конце октября 1882 года его направили в распоряжение председателя департамента Санкт-Петербургской судебной палаты, А. Ф. Кони, на время образования делопроизводства в Новгородском окружном суде. За две недели работы с выдающимся юристом А. А. Макаров успел многому научиться.
В 1884 году 27-летний Макаров получает свою первую самостоятельную должность — Городская дума избирает его «добавочным» мировым судьей по городу Санкт-Петербургу. В следующем году его назначают членом окружного суда. В 1887 году указом Правительствующего сената А. А. Макарова утверждают в должности санкт-петербургского почетного мирового судьи. В этом звании он прослужил два года, а в январе следующего был награжден орденом Св. Станислава 2-й степени.
После основательной ревизии Прибалтийского края только что назначенный министром юстиции и генерал-прокурором Н. А. Манассеин, с одобрения императора Александра II, начал проведение там судебной реформы. Для этого потребовались квалифицированные кадры прокурорских и судебных работников. Среди кандидатов на руководящие должности в Прибалтике был и А. А. Макаров. 32-летний юрист в октябре 1889 года стал первым прокурором Ревельского окружного суда. В этой должности он прослужил почти пять лет, зарекомендовав себя хорошим профессионалом, строгим, но внимательным руководителем. Здесь он достиг чина коллежского советника и получил очередной орден — Св. Анны 2-й степени.
В апреле 1894 года Александр Александрович возглавил прокуратуру Нижегородского окружного суда, где и выслужил чин статского советника. В начале 1897 года Макаров стал прокурором Московского окружного суда. Дел у московского прокурора было много: контроль за товарищами прокуроров и судебными следователями, участие во всевозможных комиссиях и заседаниях, прием посетителей и масса других. Прокуратура тогда вела наступательную борьбу с преступностью, много внимания уделяла разоблачению расхитителей и растратчиков.
В Москве А. А. Макаров оставался около двух лет. 24 мая 1899 года в чине действительного статского советника он был переведен в Киев на должность председателя окружного суда, прокурором которого был талантливый юрист С. Н. Цемш. На место Макарова в Москве заступил А. В. Степанов.
В новой должности А. А. Макаров служил до 14 марта 1901 года, удостоившись за свою деятельность ордена Св. Владимира 3-й степени, а затем вновь перешел в прокуратуру. Он стал прокурором Саратовской судебной палаты. Здесь ему пришлось работать вместе с губернатором Петром Аркадьевичем Столыпиным.
7 апреля 1906 года А. А. Макаров в качестве старшего председателя возглавил Харьковскую судебную палату, но пробыл на этой ответственной должности только полтора месяца. Назначенный в правительстве И. Л. Горемыкина министром внутренних дел П. А. Столыпин, успевший за время совместной работы в Саратове по достоинству оценить деловые качества Макарова, в мае 1906 года пригласил Александра Александровича к себе заместителем. В восхождении А. А. Макарова по ступеням служебной иерархии начался следующий, более ответственный период.
Назначение Макарова товарищем министра внутренних дел совпало, с одной стороны, с усилением террористической деятельности социалистов-революционеров, а с другой — с введением военно-полевых судов и наступлением царизма на революционное движение. Ему достался самый боевой участок. Как заместитель министра он курировал департаменты полиции и духовных дел иностранных исповеданий, а также состоящий при министерстве техническо-строительный комитет.
С. Ю. Витте считал серьезной ошибкой назначение на эти посты П. А. Столыпина и А. А. Макарова. Он писал, что со времени вступления Столыпина на пост министра «последовала полная дезорганизация полиции». В это время работа полиции строилась в основном на провокациях. «Вся полиция в такое трудное время очутилась в руках лиц, совершенно незнакомых с тем делом, которым они должны были заниматься», — писал Витте.
А. А. Макарову как бывшему прокурору было довольно сложно срабатываться со своими подчиненными. На многие вопросы он смотрел с точки зрения законности, а это не всем нравилось. Обладая неплохими ораторскими способностями, Макаров часто поднимался на думскую трибуну, чтобы отстоять тот или иной законопроект, разработанный министерством внутренних дел, ответить на запросы депутатов, дать справку по расследуемым уголовным делам или разъяснения по сложным вопросам внутренней жизни империи. По словам В. Н. Коковцова, сменившего на посту председателя Совета Министров Столыпина, выступления Макарова в Государственной думе, причем по делам «крайне щекотливого свойства, отличались всегда большим тактом, эрудицией и определенностью и снискали ему то уважение, без которого участие в работе законодательных учреждений для представителя правительственной власти просто невозможно».
Товарищем министра внутренних дел А. А. Макаров служил до января 1909 года, получив чин тайного советника и одновременно став Сенатором. 1 января 1909 года он был назначен Государственным секретарем, что для него было «весьма неприятно». 17 января 1909 года А. А. Макаров, без освобождения от своих основных обязанностей, был утвержден членом Алекссеевского главного комитета по призрению детей лиц, погибших в войне с Японией. За служебное рвение он был удостоен новых наград: ордена Св. Владимира 2-й степени, золотого нагрудного знака в память столетнего юбилея Государственной канцелярии и, как жест особой милости, — ему был пожалован фотографический снимок Их Императорских Величеств вместе с наследником.
В сентябре 1911 года от руки террориста погиб председатель Совета министров и министр внутренних дел П. А. Столыпин. Император Николай II перед своим отъездом из Киева предложил пост председателя Совета Министров Владимиру Николаевичу Коковцову. Министром внутренних дел стал А. А. Макаров. С января 1912 года он одновременно являлся и членом Государственного совета.
В первых числах апреля произошло трагическое событие на приисках Ленского золотопромышленного товарищества — колонна рабочих организованно направилась к администрации, чтобы вручить прошение прокурору, но была расстреляна. Ленская трагедия всколыхнула всю страну. В Петербурге началась стачка протеста, которая затем перекинулась и на другие губернии.
