К тому времени, когда Томас Уэли был готов купить землю для постройки дома, город претерпел некоторые изменения. Окраины передвинулись на много миль. Бывшие пустыри и пастбища были застроены усадьбами и жилыми кварталами. Озеленение города дало результаты в течение последующих нескольких лет. Виселицу перенесли на более отдалённое расстояние. Город расцвёл и благоухал.
В сентябре 1855 года Уэли нашёл большой участок в старом городе, который был ему по карману, но по непонятным причинам никто не хотел его покупать. За небольшую сумму сделка была заключена и Томас Уэли принялся за постройку дома своей мечты. Десять тысяч долларов понадобилось Уэли, чтобы отстроить двухэтажный особняк в стиле ренессанс. Разработанный и построенный им самим, дом был признан самым прекрасным сооружением в Южной Калифорнии в то время.
В поместье находился большой кирпичный, защищённый от крыс амбар для хранения зерна, в подвальных помещениях было множество комнат для общего склада Уэли.
Внутреннее убранство жилых комнат украшала мебель из красного и розового дерева, брюссельские ковры и парчовые портьеры. В центре комнат свисали золочёные люстры на сводчатых потолках. Высокие арочные проёмы разделяли большие комнаты.
В доме был жилец, на которого Томас Уэли никак не рассчитывал. Там происходили необъяснимые явления. Часто можно было услышать голос и грубый смех, на втором этаже слышался топот сапог. На кухне по ночам слышалось бряцание посуды. Неожиданно мог потухнуть камин в гостиной или отвориться со скрипом створка шифоньера.
Спустя некоторое время, кто-то из соседей, в разговоре с Анной Элойз о происходящем в доме, высказал предположение, что где-то в этих местах стояла виселица. Она рассказала об этом мужу. Уэли, в свою очередь, поспешил найти старые карты города и выяснил, что на том самом месте, где находится его дом, и стояла та самая виселица. Виселица, на которой был повешен Янки Джим Робинзон, его предшественники и некоторое время его последователи.
Прошло ещё некоторое время и в последующие годы у Томаса Уэли появилось на свет пятеро замечательных и озорных ребятишек. К тому же, он успел построить ещё несколько складов в Калифорнии для сдачи в наём.
Однако 1858 год был самым трудным для семьи Уэли. В январе их второй ребёнок, Томас младший, умер в возрасте 18 месяцев. Позже, в этом же году, сгорел от поджога один из складов Уэли, расположенный в секции торговых комплексов в Старом городе. Его величавый особняк был всем, что у него осталось.
Томасу Уэли пришлось сдавать часть своего дома для зала суда округа, а также три комнаты на втором этаже под складские помещения. От этого он получал 65 долларов каждый месяц, что было неплохим доходом для семейного бюджета, но никак не хватало для восстановления складов, а дальше было и того хуже.
После того как горожане Сан-Диего начали выступать с протестами, «что для зала суда было бы лучше занять центральное место города», суд покинул дом и переехал. Этот факт озлобил Уэли, так как он чувствовал, что суд предательски отнёсся к их соглашению. Таким образом, семья Томаса Уэли обеднела, и Уэли стал отрешённым и безразличным ко всему происходящему вокруг него, кроме семьи, которую он любил.
Следующая трагедия произошла в семье Уэли в 1875 году с их дочерью Виолеттой Элойз. Она была первой из дочерей Томаса и Анны. Девочка была очень красива, а к её красоте прилагался утончённый вкус и манеры, ум и находчивость. Большую часть своей сознательной жизни она проводила за книгами и учебниками. Никто не мог ожидать от Виолетты того, что с ней произошло.
Когда девочке исполнилось 17 лет, она взяла пистолет отца и, прислонив ствол к области сердца, нажала спусковой крючок. Отец подобрал раненное тело своей дочери в саду и отнёс её в гостиную, где она и умерла. В записке, которую оставила Виолетта, говорилось:
«Сумасшедшая от истории жизни, стремящаяся к загадке смерти; Рада быть брошенной где-нибудь, где-нибудь не в этом мире. А ещё эти голоса, шёпот и смех».
Два года спустя, в 1877 году произошла трагедия с четвёртым их ребёнком, Питером Уэли. В тот вечер он праздновал своё 14-летие с друзьями. Весело проведя с ними время, в прекрасном настроении он возвращался домой, по слабо освещённым газовыми фонарями улицам.
Перед самым порогом родительского дома к нему подошли четверо из местных хулиганов и потребовали заплатить им сто долларов, якобы за то, что он, следуя домой, прошёл по территории, которая принадлежит их клану. Питер, будучи бодрым и разогретым от выпитых впервые нескольких глотков рома, не уступил и просто ввязался в драку, тем самым, принимая навязанную противником игру. Впоследствии, конечно, по закономерности: «кого больше, тот и прав», был избит до потери сознания.
В это время отец, поправляя портьеры, услышал шум под окнами. Предчувствуя недоброе, он вышел на порог с винтовкой, увидев сына и поняв, в каком он состоянии, вскинул орудие, приложив его к плечу, и пустил пулю вдогонку пытающимся скрыться от дальнейшего правосудия. Но пуля-дура, и настигла одного из убегавших. К счастью следствия, хулиган не был смертельно ранен, и позднее, под психологическим давлением, выдал своих сообщников.
Что произошло с виновными за содеянное преступление, история умалчивает. Но показания, которые давали обвиняемые, не были приняты за истину, но ещё долго были на слуху у народа.
Интерес для разговоров дал такой факт: хулиганы в один голос утверждали, что в течение недели, накануне того рокового дня для Питера Уэли, по вечерам они слышали голос, который давал наставления для совершения убийства и что в противном случае им неминуемо грозит смерть. Напуганные, они понемногу стали делиться друг с другом о том, что происходило с ними. В конечном итоге, при совместном обсуждении, ими было принято решение: привести в исполнение, требуемое от них.
После рокового боя с хулиганами, Питер Уэли прожил ещё пять дней, и умер от повреждения внутренних органов, не приходя в сознание.
Для Робинса Уэли, самого младшего из семьи Уэли, роковым стал 1879 год. Двенадцатилетний мальчик самостоятельно изготовил крылья из простыни, взятой на своей постели, двух палок, перевязанных верёвкой буквой «Т». Мальчик взобрался на крышу своего дома, привязал конструкцию к спине, и без малейшего страха и с полной уверенностью, что ему удастся преодолеть силу притяжения. Робинс оттолкнулся от конька, расправив руки, как птица, рухнул с высоты 12 метров на выложенную камнем дорожку, прямо под ноги своего отца Томаса.
Изумлённый от страшной картины, Томас упал на колени перед сыном и услышал его свистящий, невнятный шёпот:
