Поэтому Кокс немедленно заставил Адамса тщательно проверить текст нового пожалования, полученного ими от Хидэтада, дабы убедиться, что оно идентично, как они до сих пор полагали, прежней дарственной на привилегии от Иэясу. Ранее англичанам разрешалось вести торговлю в любых районах империи, где бы они ни пожелали. К ужасу обоих, оказалось, что новое пожалование Хидэтада ограничивало район торговли англичан одним Хирадо. Дурные известия от Викхема полностью подтвердились.
Кокс тотчас же решил вернуться ко двору в Эдо и попытаться добиться от Хидэтада восстановления прежних привилегий. Поэтому, проведя еще одну ночь в Хэми, он вместе с Адамсом и Итоном вновь отправился в Эдо. Перед отъездом Кокс спросил госпожу Адамс, сколько он должен ей за оказанное гостеприимство. Услышав, конечно, в ответ, что ничего, он выразил желание все-таки отблагодарить ее. Кокс вручил жене Адамса, хозяину, а также двум их детям подарки, не забыв при этом и слуг — он передал им через Адамса деньги и просил Адамса поблагодарить от его имени за оказанные ему услуги.
2 октября Кокс, Адамс и Итон прибыли в Эдо. Адамс немедленно встретился с некоторыми высшими чиновниками и уведомил их, что новая дарственная на привилегии содержит ряд ограничений, которых не было в предыдущей. В ответ на просьбу пересмотреть условия дарственной он получил категорический отказ. Даже когда Кокс, вмешавшись, добавил, что если англичанам будет разрешено торговать только в Хирадо, то им ничего больше не остается, как упаковать вещи и покинуть Японию, японские чиновники были непреклонны в своем нежелании пересмотреть условия торгового соглашения. В надежде, что все же удастся добиться желаемых результатов, Адамс и Кокс провели при дворе еще несколько дней, но их упорство не принесло плодов, и 15 октября Хидэтада объявил, что его решение ограничить впредь английскую торговлю портом Хирадо является окончательным.
Однако в знак своего особого расположения к англичанам сёгун предоставил торговцам право через их японских посредников распродать те товары, которые к тому времени хранились в других местах, помимо Хирадо. Однако после распродажи всех этих товаров новых поступлений туда не допускалось, и в будущем англичане могли заключать торговые сделки лишь в Хирадо.
Таким образом, несмотря на все усилия Адамса и Кокса, им удалось получить от сёгуна право на сохранение лишь одной маленькой концессии. В Хирадо они возвращались с чувством тревоги за судьбу торговых предприятий английской фактории в Японии. В довершении всех неприятностей 21 октября, когда они ехали по проселочной дороге, из кустов выпорхнула какая-то птица, и лошадь Адамса так резко шарахнулась, что он упал и вывихнул правое плечо. Страдающего от сильной боли Адамса перенесли в ближайший дом и послали за японским костоправом. Адамс был не в состоянии продолжать путешествие и остался на несколько дней до выздоровления в этом доме, а Кокс и Итон отправились дальше. 2 ноября Адамс присоединился к ним в Киото. Ему стало значительно лучше, хотя плечо продолжало болеть, и 4 декабря 1616 года трое усталых и опечаленных путешественников наконец прибыли в Хирадо.
Вскоре после этого Адамс решил прекратить деловые отношения с Ост-Индской компанией. По условиям подписанного 24 декабря 1613 года контракта он обязывался служить компании в течение двух лет, но когда формально срок договора истек, Адамс продолжал свою деятельность в интересах компании, хотя никакого официального продления контракта не было. Однако условия службы устраивали его все меньше и меньше, и в феврале 1616 года он уже просил Кокса уведомить правление компании, что считает свое жалованье недостаточным и если размер вознаграждения не повысят, то он не станет более работать. Наступил октябрь 1616 года, а Адамс все еще не получил от Кокса никакого ответа, и тогда он решил впредь считать себя свободным от обязательств. Поэтому 14 октября 1616 года он написал письмо Якову Спексу, главному торговцу голландской фактории в Хирадо, предлагая голландцам свои услуги. Тогда же он сообщил Коксу, что прекращает службу в английской Ост-Индской компании. Это известие огорчило Кокса, но он сознавал, что не может предложить Адамсу более высокий оклад. Таким образом, 24 декабря 1616 года, через три года и один месяц после поступления на службу в Ост-Индскую компанию, Адамс получил от нее окончательный расчет и снова стал вольным коммерсантом.
На часть денег, полученных от Кокса, Адамс купил у него судно, которое тот согласился уступить за половину первоначальной стоимости, уплаченной Компанией. Несколько последующих дней Адамс провел, занимаясь подготовкой судна к плаванию в Кохинхину, и 1 января 1617 года отправился в Нагасаки для закупки канатов, парусов и прочего оборудования. Когда об этом стало известно Таканобу, новому молодому правителю Хирадо, он направил Адамсу резкое письмо, упрекая, что тот не купил необходимые товары на месте, в Хирадо. В качестве наказания он грозился запретить плотникам из Хирадо помогать Адамсу в ремонте судна.
Такая перемена в отношении правителя Хирадо к Адамсу самым очевидным образом подтверждала ослабление влияния последнего в Японии после смерти Иэясу. Особенно болезненно Адамс ощутил падение своего авторитета 19 марта 1617 года, когда отплывал из Хирадо в Кохинхину.
Встречный ветер заставил судно вернуться в порт, и пока Адамс ожидал подходящей погоды, какие-то родственники Ясимоно-доно, его «хозяина» из Хирадо, напали на него и взяли судно на абордаж, мстя за то, что ранее он отверг их грабительские притязания на часть груза олова, привезенного из Сиама во время предыдущего плавания. При этом один из японцев так сильно выкрутил Адамсу руку, что тот, опасаясь худшего, с трудом вытащил из-за пазухи госён — разрешение на морскую торговлю, — торжественно поднял его над головой и поцеловал, дабы показать, что находится под защитой Хидэтада. Это несколько отрезвило японцев и позволило избежать дальнейшего разбоя, ибо они тотчас покинули судно. Любопытно, что Адамс не пожаловался сёгуну на это нападение. Впрочем, он мог поступить так еще и потому, что хотел избежать какого-либо расследования, которое задержало бы его отплытие в Кохинхину.
23 марта наконец подул благоприятный ветер, и судно, которое Адамс назвал «Гифт-оф-год», отплыло из Хирадо. Адамс взял на борт Сэйерса. И хотя сам он больше не состоял на службе Ост-Индской компании, тем не менее время от времени оказывал Коксу услуги. Так и в данном случае Адамс разрешил погрузить на борт «Гифт-оф-год» товары, которые Сэйерс собирался сбыть для Компании в Кохинхине. Адамс также обещал Коксу постараться выяснить, что же все-таки произошло с двумя английскими купцами, Карварджем и Пикоком, которые отплыли в Кохинхину в марте 1614 года, но так и не вернулись.
Судно прибыло в Кохинхину 20 апреля 1617 года, и Адамс с Сэйерсом провели там около двух месяцев, занимаясь торговыми делами и наводя справки об исчезнувших Карвардже и Пикоке. Однако им так и не удалось узнать, при каких обстоятельствах были убиты оба купца, равно как и вытребовать для Ост-Индской компании компенсацию за товары, похищенные после убийства. Наконец, окончательно убедившись, что дальнейшее расследование не даст никаких результатов, 1 июля Адамс и Сэйерс отправились в обратный путь и 11 августа 1617 года прибыли в Хирадо.
За девять дней до их прибытия в гавани бросило якорь судно «Эдвайс», которое 1 февраля вышло из Хирадо в Бантам, чтобы приобрести там новые товары для английской фактории. Помимо товаров на нем были доставлены в Хирадо 15 японских моряков, которые четырьмя годами раньше вместе с Сэрисом отплыли на «Клоуве» в Англию, а теперь на другом английском судне вернулись в Бантам. По прибытии в Хирадо японские моряки заявили, что часть жалованья, которую в качестве аванса им выдал Сэрис, когда они еще находились в Японии, в действительности была безвозмездным даром, а не авансом. Поэтому теперь они требовали от Ост-Индской компании недоплаченную, как они утверждали, часть жалования.
Моряки, несомненно, рассчитывали найти в лице Адамса сторонника и были возмущены, когда он отказался поддержать их претензии. Чтобы выразить свое негодование, они все вместе отправились к дому, в котором тот проживал в Хирадо, и некоторое время осыпали его оскорблениями, а затем схватили с намерением избить. Адамс решительно сопротивлялся и с помощью находившихся в доме других японцев ему удалось отразить нападение. Новое оскорбление, последовавшее сразу после того, что произошло на борту «Гифт-оф-год», не могло не встревожить Адамса, поскольку оно свидетельствовало о том, что он уже не имел в Японии прежней силы. Во времена Иэясу нападение какого-нибудь японца на Адамса было столь же немыслимым, как и покушение на самого сёгуна. Сама возможность подобных унижений являлась грустным подтверждением того, что англичанин не мог больше рассчитывать на благосклонность и защиту двора, какой пользовался ранее.
