Не без затруднений наладилось это дело. Во-первых, на выписанных станках оказалось невыгодным работать те цветные товары, которые работали на руках и для которых, собственно, и был выбран тип станков; пришлось заправлять новые сорта, суровые, а это потребовало переделки большинства станков, число которых было более 300. Переделка их и заправка новых суровых тканей были произведены мастером Федором Сергеевичем Тарасовым, выучеником фабрики «Т-ва Викулы Морозова», поступившим на службу к Никифору Михайловичу в 1882 году. Но перестройка эта, хотя и была необходима, сильно удорожила стоимость фабрики, и без того значительную для тогдашних средств Никифора Михайловича. Притом же вырабатываемые суровые сорта приходилось отдавать в крашение и набивку московским отдельщикам, а они были неважны: в товаре выходило много брака, который, конечно, приходилось сбывать с убытком. Ко всему этому и общие торговые обстоятельства опять ухудшились. Это было самое тяжелое время, которое когда-либо Никифору Михайловичу пришлось пережить в его деле. Выручили его крепкое здоровье, сильный характер, упорный труд и особенно добрые отношения главных кредиторов — братьев Хлудовых и Ю. С. Нечаева-Мальцева. Высоко ценя деятельность Никифора Михайловича, они без колебаний увеличивали ему свои кредиты до всей той полноты, которая только требовалась обстоятельствами. Для сбыта же товаров, которые не успевали проходить на прежних рынках, начаты были чрез Ирбитскую ярмарку дела с Сибирью; заведование этою отраслью было поручено Николаю Андреевичу Ерофееву, служившему у Никифора Михайловича с 1872 года. Благодаря всему этому, Никифор Михайлович благополучно справился со всеми невзгодами и уже в 1882 году построил свою товарную красильню, чтобы выпускать готовый товар вполне доброкачественный.
Здесь-то всецело проявилась особенная его система совершенствовать производство. Он все свое внимание обратил на достижение возможно лучших результатов от крашения. Необходимо было добиться, чтобы окраска одежных тканей в черный цвет не линяла от дождя и не выгорала от солнца. И вот Никифор Михайлович, совершенно не зная не только химии, но даже и простых ходячих рецептов, начинает доходить сам до всех деталей работ, в постоянных разговорах со своим красильным мастером Николаем Васильевичем Смирновым подробно выясняет все причины, почему что должно делаться, и постепенно наводит того на различные новые комбинации, все более и более усовершенствовавшие дело. Результат оказался блестящий. Совместными, после длинного ряда опытов, усилиями был наконец выработан такой способ окраски, благодаря которому товар выходил безусловно прочным.
Выработка и применение этого способа было крупным событием в деле Никифора Михайловича, которое затем и развилось главным образом благодаря этому обстоятельству. Замечательное качество товара сразу создало ему большую известность, а с тем вместе и большой, постоянно увеличивавшийся сбыт.
В 1883 году в дело вступил сын Никифора Михайловича, Михаил Никифорович, который под энергичным руководством отца начал входить во все стороны фабричного производства и торговли. В 1885 году они уже имели свое печатное отделение, а в 1889 году построили специальную красильню для пунцового товара и пунцовой пряжи в Городце, на которую заведующим был назначен Николай Герасимович Петрашев.
С возрастанием спроса на бардыгинские товары росли и размеры красильного и печатного их производства; перерабатывалось уже не только суровье своей ткацкой фабрики, но и покупное с посторонних фабрик. Это повело к постройке в 1894 году новой большой красильной, печатной и отделочной фабрик, на отдельном месте, куда и были вынесены со старой все красильные, печатные и отделочные отделения. Заведующим этой фабрикой был приглашен в 1896 году Владимир Александрович Назаров. Наконец самоткацкая фабрика была в 1897 году расширена до 1 000 станков.
Никифор Михайлович был первый из фабрикантов, стремившийся к тому, чтобы продавать товары не скупщикам и посредникам, а по возможности непосредственно розничным торговцам. Это повело к необходимости постепенно открывать собственные торговые отделы, кроме Москвы, в Харькове, Ромнах, Ростове-на-Дону, Томске и Петропавловске, а также посылать товары на 12 ярмарок: Нижегородскую, Каменскую, Урюпинскую-Покровскую, Мензелинскую, Урюпинскую-Крещенскую, Симбирскую, Ирбитскую, Криворожскую, Тюменскую, Атбассарскую, Куяндинскую и Крестовскую. Впоследствии пример Н. М. Бардыгина вызвал подражание, и уже теперь очень многие крупные мануфактуры имеют свои постоянные склады в наиболее значительных городах Российской империи. В связи с системой местных коммивояжеров эта форма торговли, по-видимому, надолго будет доминирующей, по крайней мере у фабрикантов-мануфактуристов.
Так и развивалось дело, и слагалась личная жизнь Никифора Михайловича. Из мелкого булочника он сумел сделаться крупным фабрикантом, ни на минуту не сходя с безукоризненного честного пути. Можно сказать, не он искал богатства, а богатство шло к нему, давая ему возможность проявить свои основные душевные свойства, укрепленные доброй семейной атмосферой.
Главными семейными традициями в доме были церковность и широкая благотворительность. Мать Никифора Михайловича, Гликерия Александровна, говаривала, что в молитве за детей она просила у Бога для них только одного: чтобы они были благочестивы. Часто видели, как в темные вечера она, заперев свою лавочку, выносила оттуда целый мешок всяких припасов, взваливала его на спину и относила куда-нибудь в закоулок к бедной семье. Отец Никифора Михайловича, Михаил Федорович, неукоснительно вставал совершать полунощницы. К нему всегда приходили погорельцы из разных деревень, и он помогал им, чем мог, даже когда сам жил в бедности, едва перебиваясь хлебной и бакалейной лавкой. Все это, входя в ежедневный обиход семьи, неизгладимо ложилось на молодую душу и воспитывало ее в евангельских заветах любви к ближнему и честного труда. Только из такой школы и мог выйти тот прочный и прямой характер, который затем пошел в жизни безошибочно верным путем и снискал всеобщее уважение и доверие. Это доверие было настолько велико, что, несмотря на скромные еще тогда обороты Никифора Михайловича, со введением в действие нового городового положения в 1872 году, его выбрали первым городским головою города Егорьевска. Было не мало богатых купеческих семейств, среди которых можно было найти подходящих кандидатов в городские головы. Эта купеческая аристократия продолжала смотреть на Никифора Михайловича все с тем же недоброжелательством, с которым когда-то старались затормозить его молодое промышленное дело. Выбрали же Никифора Михайловича большинство жителей среднего и малого достатка, которые видели в нем настоящего мирского человека, справедливого, независимого и внимательного к нуждам бедных людей. Говорили про него: «Он сам нужду видел и сам в люди вышел». Во мнении горожан эти качества служили порукой за то, что Никифор Михайлович поведет и дела города так же хорошо, как свои собственные. И это доверие, оказанное ему горожанами именно в это время, Никифор Михайлович всегда особенно глубоко ценил.
С этих пор Никифор Михайлович выступает на поприще общественной деятельности, сначала в должности городского головы, а затем и в других должностях по общественному избранию: в церкви, городе и земстве.
Было уже сказано, что Никифор Михайлович принял городское хозяйство совершенно расстроенным. Прилегающие к городу выгонные земли, лесные дачи и пр. расхищал каждый, кто хотел, и город не получал с них почти никакого дохода; не имелось даже точных планов этих владений. Городские доходы почти целиком состояли из налогов (всегда более или менее обременительных), далеко не покрывавших расходов даже на самые существенные нужды; недоимки и дефицита переходили из года в год, и ни о каких серьезных общеполезных начинаниях не могло быть и речи.
Никифор Михайлович обратил внимание прежде всего на земельные имущества, как могущие создать крупный источник дохода. Кроме пустошей под лесом и лугами в окрестностях, много было городской земли и на краю самого города, захваченной даром или не приносившей дохода. С этих-то мест и начал Никифор Михайлович. Тут, когда он выступил на защиту городского населения, ему сразу же пришлось повести борьбу с разными учреждениями и лицами, а особенно с его личными главнейшими кредиторами.
Между прочим, крупное тянувшееся около 10 лет, дело возникло с обществом Московско-Рязанской железной дороги, которое незаконно захватило городскую землю для проведения ветки на фабрику братьев Хлудовых и под постройку станции Егорьевск.
Выяснив через землемеров количество этой земли, дума 15 февраля 1873 года постановила пригласить для ведения дела поверенного К. И. Порозова, с которым условия заключены были довольно внушительные: он должен был вести все дело на свой счет с тем, чтобы после его выигрыша взысканная сумма была разделена пополам; в случае же проигрыша он не получал ничего. Через несколько лет разных проволочек выяснилось, что дело клонится в пользу города и железнодорожные сооружения придется снести. Тогда правление фабрики братьев Хлудовых обратилось к городу с предложением продать товариществу как арендуемую у города землю под их фабриками, так равно и занятую веткой железной дороги с тем, чтобы город затем от претензий к обществу железной дороги отказался. Дума согласилась, и по ее постановлению от 17 февраля было решено продать землю братьям Хлудовым в количестве 23 десятин за 50 000 рублей, на чем и закончилось это дело, одно время сильно обострившее отношения между Никифором Михайловичем и братьями Хлудовыми.
