В признание заслуг Геннадия Ивановича, с которыми не считаться было нельзя, он был произведен в контр-адмиралы, награжден двумя орденами, но тем не менее дни его пребывания на Амуре уже были сочтены. Прибыв на Амур, летом 1865 года, Муравьёв, в качестве главнокомандующего всеми собравшимися здесь вооружёнными силами, назначил Невельского начальником своего штаба, одновременно сообщив последнему об упразднении Амурской экспедиции и создании новой администрации во главе с камчатским губернатором В. С. Завойко. Несмотря на преподнесенную "позолоченную пилюлю" — важный пост, — Невельской великолепно понимал, что это назначение является фактической отставкой. И действительно, когда Муравьёв осенью отбыл через Аян со своей свитой обратно в Иркутск, Невельской остался жить на Амуре в качестве частного лица безо всяких обязанностей, и летом 1856 года с женой и двумя детьми покинул край, в изучение которого вложил свои силы и всю душу.
В начале ноября 1856 года мы видим его уже в С.-Петербурге, где, представляясь незадолго перед тем вступившему на престол Александру III он услышал от него, что Россия никогда не забудет его заслуг. Однако это было совсем не так. Геннадия Ивановича если и вспоминали, то весьма своеобразно. Его травили в печати и в аристократических кругах за якобы лживое утверждение о доступности Амурского лимана для морских кораблей, утверждали, что введенные в устье реки и прибывшие туда из Петропавловска суда не могут выйти оттуда из-за мелководья, за то, что якобы по его вине погиб фрегат «Паллада», взорванный в Императорской Гавани по распоряжению В. С. Завойко и не введенный в Амур из-за того же мелководья. Он боролся, писал, опровергая измышления своих противников, но не мог преодолеть тайных недоброжелателей, когда явные должны были отступить перед фактами, по мере того как флот был выведен в океан, а подлинные причины, почему «Паллада» не была введена в Амур {В этом был виноват Муравьёв; он забрал для следования в Аян единственное из имевшихся в то время в устье Амура паровых судов — шхуну «Восток» и затем, несмотря на обещание прислать ее обратно в Амурский лиман для буксировки по нему «Паллады», послал её на Камчатку. Только поэтому «Паллада» и не была введена в устье Амура.}, - становились общеизвестными. Он был один, а недоброжелателей было много. Его заслуги были слишком очевидны, поэтому, не имея надежды их опровергнуть, о нем старались просто не говорить.
Возникает вопрос, почему же так не любили и держали в чёрном теле Невельского, почему у него было так много недоброжелателей?
Дело тут, понятно, не только в самостоятельности действий и мнений Невельского и оскорбленном самолюбии министров и руководителей Российско-Американской компании, которым он немало причинил неприятностей своими жалобами на их непонимание действительности и ущемление интересов Родины и работников Амурской экспедиции, но, главным образом, в том, что им наглядно была доказана совокупность их ошибок в Амурском вопросе. Таких уроков не могли простить, и этим объясняется травля, поднятая против него по возвращении в С.-Петербург.
Но было и нечто большее, почему правительство неблагосклонно смотрело на Невельского. В этом отношении он разделил судьбу многих замечательных деятелей русского флота, как, например, его современника П. С. Нахимова или жившего позднее адмирала С. О. Макарова. Невельской был слишком мало дипломатом и меньше всего заботился о соблюдении «дипломатических» тонкостей, ставя на первое место интересы дела и науки. Здесь, с точки зрения правительства, он был слишком прямолинеен и потому опасен. Нам кажется, именно в этом и заключается корень последующих неблагоприятных событий, постигших Невельского.
Прошло два года. В 1858 году в Пекине китайским богдоханом был ратифицирован Айгунский трактат, подписанный Н. Н. Муравьёвым и утверждавший за Россией право на владение левым берегом Амура. Невельского не могли не вспомнить. Но в то время как Муравьёв получил большие награды, контр-адмирал Невельской был награжден всего лишь орденом Анны 1-й степени и пенсией в 2 000 рублей. Почти такую же награду получил и председатель Российско-Американской компании генерал Политковский, заслуги которого в разрешении амурской проблемы более, чем сомнительны, поскольку руководимая им Компания только то и делала, что по любому поводу вставляла палки в колеса Невельскому. Таким образом, успешная деятельность Невельского, закончившаяся присоединением к России без единого выстрела огромного края, была оценена наравне с личностями, доставлявшими ему как начальнику экспедиции больше хлопот и неприятностей, чем помощи. Недоброжелательству влиятельных лиц следует приписать забвение бесспорных заслуг Невельского, который имел полное право на иное отношение к себе своих современников. А между тем, если бы инициатива действия на Амуре исходила от одного Муравьёва, как доказывали его панегиристы, то на каком же тогда основании разжалован был в матросы один капитан 1-го ранга Г. И. Невельской, а не генерал-лейтенант Муравьёв, приказания которого в качестве слепого исполнителя его воли должен был выподнять Невельской.
Справедливость требует отметить, что без поддержки и сочувствия Н. Н. Муравьёва Г. И. Невельскому было бы трудно осуществить свои планы. Но бесспорно и то, что сам Муравьёв при всём своём сочувствии к необходимости закрепления за Россией Амура, с одним сочувствием немного бы сделал, когда надо было действовать и действовать решительно перед лицом угрозы безвозвратной потери и захвата края иностранцами. Это бесспорно и произошло бы во время войны 1855 года, если бы здесь не было Невельского, подготовившего своими исследованиями почву для концентрации сил армий и флота в низовьях Амура. Он верно оценил положение и понял, что только быстрота может спасти положение и что легко утраченное едва ли, даже с трудом, сможет быть возвращено. Именно в быстроте действий он видел свой долг перед Родиной, что не было понято многими из его современников. Этой заслуги Невельского никогда не забудет наша Родина, которой он беззаветно служил.
Бросая позднее взгляд в прошлое, Г. И. Невельской писал, что если бы он ограничился одной доставкой груза, вмененной ему в качестве основной задачи при отправке «Байкала» в Петропавловск, если бы, несмотря на ответственность, он не решился бы итти из Петропавловска в Амурский лиман, "то и наши суда в Тихом океане и защитники Петропавловского порта, отбившие с успехом англо-французский флот, и имущество, находившееся в Петропавловске, всё могло стать трофеем неприятеля, а край занят какой-либо иностранной державой". Если этого не произошло, то в том заслуга никого иного, как Г. И. Невельского, своей дальновидностью и настойчивостью в достижении цели предупредившего возможность этих грустных последствий, которых не давал себе труда увидеть близорукий Нессельроде. Если бы низовья Амура уже не были заняты Невельским, у неприятельской эскадры не было бы причины блокировать Амур и тем самым фактически признать в окружающей его территории владения России. Именно на это обстоятельство ссылался потом Н. Н. Муравьёв, ведя в Айгуни переговоры с китайским уполномоченным князем И-Шан об окончательном установлении государственных границ. Из сказанного, вытекает, что, не действуй Невельской столь решительно, край мог бы быть навсегда потерянным для России. Так оценивал результаты саоей деятельности на крайнем Востоке России сам Невельской.
Не желая, чтобы голоса его критиков и недоброжелателей и нападки их на деятельность руководимой им Амурской экспедиции остались без ответа, Г. И. Невельской предпринял работу по составлению своих записок и в заключительных строках писал, что как начальник её он счел своей священной обязанностью в интересах истины изложить вое события с фактической точностью в последовательном порядке.
Последние 20 лет жизни деятельность Г. И. Невельского протекала в С.-Петербурге. Он был произведен в вице-адмиралы, a, с 1 января 1874 года в полные адмиралы. Работал он в Ученом отделе Морского технического комитета, куда, по циничному, выражению министра Н. К. Краббе, назначали или уже "полуживых или малодеятельных". Г. И. Невельской не принадлежал ни к числу первых, ни тем, более ко вторым. Назначение его в Комитет было для молодого в то время адмирала (ему было 46 лет) почетной ссылкой, назначенной правительством за самостоятельность действий и мнений. Его никогда больше: не отпускали в плавание; рожденный для моря, его родной стихии, он до конца своих дней не посетил палубы корабля. Умер Г. И. Невельской совсем не старым, в возрасте 63 лет, 17(29) апреля 1876 года.
Признание пришло позднее. 26 октября 1897 года во Владивостоке, т. е. на правобережье Амура, куда к корейской границе Невельского не пускал Нессельроде, строго-настрого запрещая вести здесь какие бы то ни было исследования, Невельскому и его сотрудникам в торжественной обстановке был открыт сооруженный по всенародной подписке памятник. Но вечным памятником Невельскому будут его исследования, в результате которых было доказано:
