Учился он в школе очень неохотно; был всегда одним из последних учеников в своем классе и никогда не обнаруживал никакого желания стать первым или одним из первых. В детских играх Байрон также не отличался вследствие своей хромоты. В свободное время он любил заниматься чтением или предпринимать в одиночестве прогулки по берегу моря, причем иногда просиживал по несколько часов на каком-нибудь уединенном утесе, любуясь игрой морских волн и прислушиваясь к плеску их о дикую скалу. С раннего детства он обнаруживал страстную любовь к морю и к горам, которые впоследствии так прекрасно воспел в своих стихах. Прогулки свои маленький Байрон обыкновенно совершал верхом на пони, так как много ходить ему было тяжело. Когда он гулял вместе с кем-нибудь из товарищей, то обыкновенно делился с ним своим пони, и каждый из них по очереди то шел пешком, то сидел на лошади. Во время одной из таких прогулок им пришлось раз перебираться через мост, относительно которого существовало старинное местное поверье, что он не в состоянии выдержать тяжести лошади и всадника, если они единственные дети у своих родителей. Так как спутник Байрона случайно оказался, как и он сам, единственным сыном и как раз в это время его очередь была сидеть на пони, то маленький Джордж посоветовал ему лучше перейти мост пешком и уступить пони ему, «потому что, если ты утонешь, – серьезно заметил он, – тебя будут оплакивать двое – отец и мать, а если я утону, то меня будет оплакивать только одна мать». Тот послушался этого совета, и Байрон верхом на пони смело въехал на мост и, разумеется, благополучно перебрался на другую сторону. Дети потом объяснили этот благополучный переезд через мост тем, что «стало быть, пони имел еще братьев».
Летом 1796 года Байрон заболел скарлатиной. Когда ему стало лучше, мать поехала с ним для поправки его здоровья в горы, где они прожили несколько недель на ферме, расположенной в одной из самых живописных местностей Шотландии. Дикое величие горных видов произвело сильное впечатление на маленького Байрона. Он впоследствии всегда вспоминал эти места с восторгом, и, когда много лет спустя поэт любовался подобными же видами в Албании, когда он бродил по горам Швейцарии или смотрел на вершины Апеннин в Италии, впечатления раннего детства с необыкновенной живостью воскресали в его памяти, как об этом свидетельствуют великолепные описания горной Шотландии в «Чайльд-Гарольде» и в «Острове», который он написал всего за два года до своей смерти. Ферма, где Байрон прожил тогда с матерью несколько счастливых недель, с тех пор стала местом, куда со всех концов мира стекаются на поклонение почитатели его гения. Там до сих пор еще с гордостью показывают кровать, на которой спал будущий великий поэт.
Когда Байрон в первый раз посетил горную Шотландию, ему еще не было полных восьми лет, и, однако, к этому именно времени относится его первая любовь. О первом романе в своей жизни он в 1813 году, т. е. 15 лет спустя, писал в дневнике следующее: «Я в последнее время много думал о Мэри Дафф (так звали предмет его первой любви). Как странно, что я был так сильно влюблен в эту девочку, когда еще не мог быть способным на страсть и даже не понимал значения этого слова. Мать моя любила иногда подшучивать над моим ребяческим романом. Много времени спустя, когда мне уже было 16 лет, она мне раз сказала: „Слушай, Байрон, я получила на днях письмо из Эдинбурга, и мне, между прочим, сообщают, что твоя старая любовь, Мэри Дафф, вышла замуж за г-на К…“. Я решительно не в состоянии ни объяснить, ни передать того, что я почувствовал в тот момент, когда услышал эту новость. Со мной чуть не сделался истерический припадок, и я до такой степени испугал своим видом мать, что она впоследствии всегда избегала говорить об этом предмете, по крайней мере, в моем присутствии… Мы оба были тогда совершеннейшими детьми. Я с того времени уже 50 раз был влюблен, и, однако, до сих пор еще помню все, что мы тогда говорили друг другу, все наши ласки, мое волнение, бессонницу и как я мучил нашу горничную, чтобы она писала ей письма от моего имени, что та в конце концов и делала, лишь бы успокоить меня. Я помню также наши общие прогулки и счастье, которое я испытывал, когда сидел рядом с Мэри и мы серьезнейшим образом разыгрывали влюбленных в то время, как младшая сестричка ее Лена играла с куклой… Я сомневаюсь, чтобы у нее еще сохранилось малейшее воспоминание об этом времени или обо мне, или чтобы она еще помнила, как она, бывало, сожалела, что сестричка ее Лена не имеет возлюбленного. Как хорошо сохранился в моей памяти ее прелестный образ – ее темно-каштановые волосы, ее глаза газели, даже самый костюм ее!..»
Госпожа Байрон с самого рождения сына была убеждена в том, что его ожидает великая будущность. Она еще более укрепилась в этом убеждении, после того как одна ворожея заявила ей, что сын ее со временем сделается лордом и будет два раза женат, причем во второй раз – на иностранке. Первая половина предсказания ворожеи очень скоро сбылась. В 1794 году умер единственный внук (сын умер еще раньше) старого лорда Байрона, и маленький Джордж благодаря этому стал единственным наследником своего двоюродного дяди. Важное значение этого события чувствовалось не только госпожой Байрон, но и ее маленьким сыном. Когда зимою 1797 года мать Байрона однажды случайно прочла вслух выдержку из какой-то речи, произнесенной в палате общин, знакомый ее, бывший при этом, заметил мальчику: «Мы когда-нибудь будем иметь удовольствие читать и твои речи в палате общин». «Надеюсь, что нет, – серьезно ответил тот. – Если вам придется когда-нибудь читать мои речи, то это будут те, которые я произнесу в палате лордов». Несколько месяцев спустя после этого, а именно 19 мая 1798 года, умер в своем Ньюстедском замке двоюродный дядя Байрона, и десятилетний мальчик вдруг стал лордом. На другой день после получения известия об этом маленький Байрон серьезнейшим образом спрашивал мать: «Не заметила ли она какой-нибудь перемены в нем с тех пор, как он сделался лордом, так как он сам не замечал никакой». Какое сильное впечатление произвело на мальчика это крупное событие в его жизни, видно из следующего примера. Когда несколько дней спустя, после того как он стал лордом, его имя во время переклички в гимназии было прочитано в первый раз вместе с титулом «dominus» (лорд), он от страшного волнения не в силах был произнести обычного ответа «ad sum» (я здесь); в продолжение нескольких минут он стоял молча среди всеобщего изумления своих товарищей, и наконец, разразился громким рыданием.
Осенью 1798 года госпожа Байрон переехала вместе с сыном в перешедший к нему по наследству Ньюстедский замок. С ними отправилась туда и няня Мэй Грей. Перед отъездом из Эбердина мать молодого лорда распродала свое имущество, причем выручила за все не более 750 рублей. Резиденцию своих предков Байрон нашел в самом жалком состоянии: парк был почти весь вырублен, а замок так запущен, что в нем нельзя было найти ни одной порядочной жилой комнаты. Для того чтобы привести все в порядок, требовались громадные деньги, а между тем весь доход с имения составлял в то время не более 15 тысяч рублей в год. Пришлось до поры до времени оставить замок и поселиться пока в другом месте. Госпожа Байрон избрала местом жительства соседний с Ньюстедом город Ноттингем, устроившись там, она энергично принялась за лечение больной ноги своего сына. Для этого был приглашен сначала некий Лавендер, выдававший себя за очень опытного хирурга, но оказавшийся просто шарлатаном. Средства, которые «хирург» употреблял для выпрямления ноги своего пациента, причиняли ему невыносимые страдания, а между тем уродливость не только не уменьшалась, но с каждым днем все более увеличивалась. Для того чтобы Байрон во время лечения не забывал, чему раньше научился, к нему ежедневно ходил учитель местной школы и читал с ним Вергилия и Цицерона. Во время уроков мальчик часто испытывал ужасную боль в ноге, которая, по совету шарлатана-врача, была «завинчена» в деревянную «машину». Учитель, искренно любивший своего воспитанника, замечал это и однажды сказал ему: «Мне крайне неприятно, милорд, видеть Вас до такой степени страдающим». – «Ничего не значит, г-н Роджерс, – ответил на это мальчик, – вы больше не увидите никаких признаков страдания на моем лице». И учитель, действительно, уже больше не замечал ничего. Отношения между Байроном и его наставником были самые теплые, и он впоследствии всегда вспоминал с любовью о Роджерсе, как и вообще о всех тех, которые были когда-либо добры к нему. Зато врача Лавендера он страшно ненавидел и мстил ему за его жестокое лечение злыми шутками над его напыщенным невежеством. Так, однажды, написавши на листе бумаги несколько десятков искусственно составленных слов, не имевших никакого смысла, будущий поэт серьезнейшим образом спросил Лавендера, на каком это языке написано. Тот, не желая обнаружить своего невежества, самоуверенно ответил: «На итальянском». Байрон пришел в необыкновенный восторг от этого ответа и разразился громким, торжествующим хохотом. Ему и впоследствии всегда доставляло большое удовольствие, когда удавалось разоблачить какого-нибудь шарлатана.