Герой поэмы — она написана от первого лица — рабочий; он приходит в часы отлива к морю, чтобы тяжелым трудом зарабатывать себе на жизнь — киркой и ломом колоть слоистые скалы. Добытый камень на осле свозится к железной дороге. И животному, и человеку тяжело. Дорога проходит мимо тенистого, прохладного сада, скрытого за высокой решеткой. Из-за ограды к работнику тянутся розы, где-то вдалеке слышен «напев соловьиный, что-то шепчут ручьи и листы», доносится тихий смех, едва различимое пение.

Чудесные звуки томят героя, он впадает в задумчивость. Сумрак — день заканчивается — усиливает беспокойство. Герою чудится другая жизнь: в своей жалкой лачуге он мечтает о соловьином саде, отгороженном от проклятого мира высокой решеткой. Снова и снова он вспоминает привидевшееся ему в синем сумраке белое платье — оно манит его «и круженьем, и пеньем зовет». Так продолжается каждый день, герой ощущает, что влюблен в эту «недоступность ограды».

Пока утомленное животное отдыхает, хозяин, возбужденный близостью своей мечты, бродит по привычной дороге, сейчас, однако, ставшей таинственной, так как именно она ведет к синеватому сумраку соловьиного сада. Розы под тяжестью росы свисают из-за решетки ниже, чем обычно. Герой пытается понять, как его встретят, если он постучится в желанную дверь. Он не может более вернуться к тупому труду, сердце говорит ему, что его ждут в соловьином саду.

Действительно, предчувствия героя оправдываются — «не стучал я — сама отворила неприступные двери она». Оглушенный сладкими мелодиями соловьиного пения, звуками ручьев, герой попадает в «чуждый край незнакомого счастья». Так «нищая мечта» становится явью — герой обретает любимую. «Опаленный» счастьем, он забывает свою прошлую жизнь, тяжкую работу и животное, долго бывшее его единственным товарищем.

Так, за заросшей розами стеной, в объятиях любимой, проводит герой время. Однако и среди всего этого блаженства ему не дано не слышать шум прилива — «заглушить рокотание моря соловьиная осень не вольна!» Ночью возлюбленная, замечая тревогу на его липе, беспрестанно спрашивает любимого о причине тоски. Тот в своих видениях различает большую дорогу и нагруженного осла, бредущего по ней.

Однажды герой просыпается, смотрит на безмятежно спящую возлюбленную — сон ее прекрасен, она улыбается: ей грезится он. Герой распахивает окно — вдали слышится шум прилива; за ним, ему кажется, можно различить «призывающий жалобный крик». Кричит осел — протяжно и долго; герой воспринимает эти звуки как стон. Он задергивает полог над возлюбленной, стараясь, чтобы она не проснулась подольше, выходит за ограду; цветы, «точно руки из сада», цепляются за его одежду.

Герой приходит на берег моря, но не узнает ничего вокруг себя. Дома нет — на его месте валяется заржавленный лом, затянутый мокрым песком.

Непонятно, то ли это видится ему во сне, то ли происходит наяву — с протоптанной героем тропинки, «там, где хижина прежде была / Стал спускаться рабочий с киркою, / Погоняя чужого осла».