Рекомендательные письма, которые привез с собой Шифф, пригодились не сразу, но вскоре он поступил клерком в посредническую контору «Фрэнк и Ганс». Хотя в то время Шиффу было всего 19 лет, Адольф Ганс сразу заметил его финансовые способности. Якоб (Джейкоб) действовал энергично и активно; он заключил целый ряд сделок с государственными облигациями США.
Ближе к концу 1866 г. Шифф заключил партнерское соглашение с Генри Баджем из Гамбурга, тогда жившим в Нью-Йорке, а затем ставшим членом фирмы «Халлгартен и Кº», и с Лео Леманном, который тогда находился в Европе, но по настоятельному совету Уильяма Бонна вернулся в Америку и поступил в новую фирму. 1 января 1867 г., когда Джейкобу не исполнилось и двадцати лет, открылась посредническая контора «Бадж, Шифф и Кº». По словам Баджа, Шифф демонстрировал здравомыслие и энергию. Он добивался успеха с самого первого дня и сам вел значительную часть дел. В 1872 г., когда Бадж находился в Европе, умер его отец, и он, по просьбе матери, решил остаться в Европе, сообщив своим партнерам, Шиффу и Леманну, о решении оставить фирму, которую после ухода Баджа в конце того же года пришлось ликвидировать.
Шифф собирался обосноваться в Америке и с этой целью получил американское гражданство. Его натурализация прошла в Суде общегражданских исков в городе и округе Нью-Йорк 8 сентября 1870 г. В 1872 г. Шифф вступил в Торговую палату штата Нью-Йорк. После ликвидации фирмы «Бадж, Шифф и Кº» Шифф поехал в Европу, хотя ненадолго приезжал оттуда в Америку, чтобы помочь в ликвидации фирмы «Бадж, Шифф и Кº». В то время Мориц Варбург из гамбургской фирмы «М.М. Варбург и Кº» искал представителя для «Лондонско-ганзейского банка» (теперь Лондонский коммерческий банк). В число основателей Лондонского банка входили Гамбургский коммерческий и дисконтный банк и другие партнеры; несколько его директоров были родом из Гамбурга. Они в основном занимались акцептованием векселей для гамбургских фирм. Поскольку желательно было, чтобы банк представлял один человек, Варбург еще в 1873 г. воспользовался случаем и предложил Шиффу должность управляющего, который уполномочен был отчитываться перед банковским комитетом в Гамбурге. Назначение Шиффа зафиксировано в циркулярном письме банка от 1 мая 1873 г. Однако в Гамбурге он оставался недолго. После смерти отца Джейкоб переехал из Гамбурга во Франкфурт, чтобы быть с матерью. Его отставка зафиксирована в протоколе заседания совета директоров от 4 сентября 1873 г.
Во Франкфурте Шифф пробыл около года, а затем Абрахам Кун, старший партнер фирмы «Кун, Лёб и Кº», который тогда приезжал в гости во Франкфурт, предложил ему переехать в Нью-Йорк и вступить в фирму. Шифф согласился не сразу, так как не хотел покидать овдовевшую мать. Но она понимала настроения сына и бескорыстно посоветовала ему вернуться в Соединенные Штаты, сказав: «Ты создан для Америки». Поэтому он вернулся в Нью-Йорк и с 1 января 1875 г. приступил к работе в фирме «Кун, Лёб и Кº».
За два года до этого, во время тогдашнего пребывания в Нью-Йорке, Шифф познакомился с Терезой, старшей дочерью Соломона Лёба, хотя в то время видел ее всего один раз. После того как он вступил в фирму ее отца, молодые люди познакомились ближе и 6 мая 1875 г. поженились. Их союз можно назвать по-настоящему счастливым. Иногда Шифф бывал занят работой или поглощен собственными мыслями; но стоило жене войти в комнату, как менялись его поведение и настроение. Семья играла в его жизни главную роль. Всеми доступными ему способами он заботился об удобстве близких и старался по мере сил оградить их от трудностей и тягот жизни.
Он очень любил своих детей, старшую дочь Фриду, впоследствии миссис Феликс М. Варбург, и сына Мортимера. Неустанно заботился о здоровье, счастье и образовании дочери; внимательно следил за ее развитием, находя в ее характере и внешности сходство с собой. Случалось, днем девочка высказывала мнения, которые совпадали с мнением отца, когда он вечером возвращался домой.
Мортимер занимал в мыслях и душе Джейкоба то место, какое в любой семье отводится единственному сыну, и все же отец относился к нему довольно придирчиво. Однажды на рыбалке в Адирондакских горах тринадцатилетний Мортимер поймал лосося весом в двадцать три фунта. Шифф тут же написал о важном событии своему другу Касселю в Лондон. Предметы, которые мальчик изучал в колледже, иностранные языки, подготовка к будущей карьере в бизнесе – все становилось предметом обсуждения с друзьями и знакомыми Шиффа. Один из них, Джеймс Дж. Хилл, взял Мортимера в свою контору, где тот имел возможность увидеть, как управляется крупная железная дорога. Позже его послали в Англию и на время поручили заботам Касселя; у Мортимера появилась возможность поработать под руководством этого выдающегося финансиста. Всем своим старшим друзьям Шифф в письмах с гордостью сообщал о деловой сметке сына; он выражал надежду, что Мортимер «встанет в один ряд с добрыми и серьезными людьми своего поколения».
Далее станет понятно, что Шифф обладал широким спектром интересов. Первая глава книги посвящена карьере Шиффа в банковской сфере, однако не стоит думать, что события данной биографии располагаются в хронологическом порядке. Будучи еще молодым человеком, погруженным в трудные дела, а также воспитание детей, Шифф продемонстрировал интерес к разнообразным общественным занятиям, которые стали для него не менее важными, чем карьера в бизнесе. Помогая людям, он не ждал того времени, пока скопит большое состояние или достигнет среднего возраста.
Вскоре после вступления в фирму «Кун, Лёб и Кº» Шифф занялся благотворительностью. Возможно, он приступил к этому еще раньше, когда трудился в фирме «Кун, Лёб и Кº», однако письменные свидетельства о том времени до нас не дошли. В 1878 г. он стал казначеем Американского комитета, который собирал средства для помощи евреям Османской империи во время Русско-турецкой войны. В 1882 г. тридцатипятилетний Шифф, человек уже достаточно известный в Нью-Йорке, с готовностью согласился пожертвовать своим временем и стал уполномоченным Министерства просвещения. Его первые сохранившиеся письма относятся к концу 80-х гг. XIX в.; они дают некоторое представление о его повседневном распорядке. В то время Шифф принимает самое активное участие в целом ряде предприятий: больниц, библиотек, колледжей, музеев, политических и общественных реформ.
В 1875 г., в двадцативосьмилетнем возрасте, после семи лет проживания в Америке, обладавший острым умом и европейской подготовкой, полный энергии, Шифф энергично занялся делами банка «Кун, Лёб и Кº».
Основатели фирмы – Абрахам Кун и Соломон Лёб. Они образовали товарищество в Лафайетте (штат Индиана) около 1850 г., а позже переехали в Цинциннати, где много лет успешно торговали товарами смешанного ассортимента, а также предоставляли широкие торговые кредиты. Они удалились от дел в 1865 г. и переехали в Нью-Йорк. Когда стремление возобновить дела стало непреодолимым, их мысли, естественно, обратились к коммерческому банковскому делу, в котором оба имели большой опыт, и 1 февраля 1867 г. в Нью-Йорке была образована банковская фирма. Однако вскоре партнеры решили уделить больше внимания ценным бумагам и постепенно создали рынок государственных и железнодорожных облигаций. К тому времени, как в фирму вступил Шифф, партнеры значительно расширили сферу деятельности, хотя их по-прежнему затмевали некоторые более старые банкирские дома Нью-Йорка.