Следующие 10 лет Гарри ничего не знал о магии или магах. Его тётя Петунья (сестра Лили), и его дядя Вернон заявили, что родители Гарри погибли в автомобильной катастрофе, оттуда же появился и шрам на лбу. Первым правилом для него в доме Дурслей было «не задавай вопросов».

Целью Петуньи и Вернона было держать Гарри в подчинении и угнетении в надежде, что он не сможет развить то, что они считали ненормальной склонностью к волшебству. Жизнь Гарри была полна оскорблений и лишений. Дядя и тётя до безумия любили своего сына Дадли, которого всячески баловали, а Гарри держали в чулане под лестницей, кормили объедками или впроголодь, заставляли донашивать старую одежду Дадли, которая была намного больше по размеру, кричали и пренебрегали его желаниями. Дадли безжалостно издевался над Гарри, пользуясь поддержкой родителей, а также своей физической силой (Дадли был больше по размерам и толстым, в то время как Гарри — худеньким и слабым).

Дядя и тётя отправили его в ту же школу, что и Дадли, который продолжал издеваться над ним и там. Дружки Дадли присоединялись к издевательствам, а другие школьники, боясь поссориться с Дадли и его дружками, избегали общения с Гарри.

В эти годы Дурслей навещала сестра дяди Вернона, Мардж. Она получала огромное удовольствие, отчитывая Гарри. Она дарила Дадли дорогие подарки, а Гарри подносила что-нибудь ужасное или вообще забывала про него. Часто она брала с собой любимого бульдога Злыдня. Когда Гарри было девять, она позволила собаке загнать мальчика на дерево, где ему пришлось оставаться далеко за полночь, пока Мардж не отозвала собаку.

Несмотря на усилия Дурслей, Гарри удалось проявить магические способности. Когда однажды тётю Петунью вывели из себя растрёпанные волосы Гарри и она состригла их кухонными ножницами, то следующим утром Гарри проснулся с вновь отросшими волосами. В другой раз Дадли со своими дружками преследовал Гарри, как вдруг он, неожиданно для самого себя, оказался на школьной крыше. Гарри перекрасил парик учителя в синий цвет и до неузнаваемости уменьшил уродливый свитер Дадли, чтобы не носить его. А также, когда они поехали всей семьёй в зоопарк, он стал разговаривать со змеёй, и стекло аквариума, отгораживающее змею от людей, исчезло. После этого Дурсли заперли его в чулане.

К десяти годам Гарри вырос в худощавого, никому не нужного мальчика, тихого, скромного, с вечно растрёпанными иссиня-чёрными волосами и худым лицом. Его глаза, как и у матери, были изумрудно-зелёными. Он носил заклеенные скотчем очки, сломанные в постоянных потасовках с Дадли. Но, несмотря на это, Гарри необычайно быстро бегал, сноровка выработалась в постоянных попытках избежать побоев кузена.

Его жизнь круто изменилась летом 1991 года. Гарри Поттеру стали приходить странные письма, пугавшие его дядю и тётю. Они уничтожали письма, не позволяя Гарри их прочитать, но письма продолжали приходить во всё больших количествах. В попытке избежать писем они в итоге спрятались в хижине на окружённой морем скале. Ночью во время сильного шторма, Гарри глядел на часы своего спящего кузена, отсчитывая минуты и секунды до дня своего одиннадцатилетия. В тот самый момент, как наступил день рождения Гарри, в хижину вломился Хагрид, чтобы с удивлением узнать, что Гарри не имел представления о своём магическом происхождении. Хагрид рассказал мальчику о его прошлом и о мире волшебников, а утром 31 июля 1991 года отвёз Гарри в Косой переулок, чтобы купить все необходимое для школы. Помимо магазинов, в Косом переулке Хагрид и Гарри посетили отделение банка Грингготс, и Гарри с удивлением узнал, что он богат. Месяц спустя, 1 сентября, Гарри сел на Хогвартс-экспресс и прибыл в Школу Магии и Волшебства «Хогвартс».