На заре с барского конного двора выгоняют на луг лошадей. Из всего табуна выделяется серьезным, задумчивым видом старый пегий мерин. Он не выказывает нетерпения, как все остальные лошади, покорно ждет, пока его оседлает старик Нестер, и с грустью наблюдает происходящее, зная наперед каждую минуту. Пригнав табун к реке, Нестер расседлывает мерина и чешет его под шеей, считая, что лошади это приятно. Мерин же не любит этого чесанья, но из деликатности притворяется благодарным человеку, закрывает глаза и мотает головой. И вдруг, безо всякой причины, Нестер больно бьет мерина пряжкой узды по сухой ноге. Этот непонятный злой поступок огорчает мерина, но он не подает вида. В отличие от человека, поведение старой лошади исполнено достоинства и спокойной мудрости. Когда молодые лошади дразнят мерина и делают ему неприятности — бурая кобылка мутит воду перед самым носом, другие толкают и не дают проходу, — он прощает своих обидчиков с неизменным достоинством и молчаливой гордостью.

Несмотря на отталкивающие признаки дряхлости, фигура пегого мерина хранит в себе спокойствие былой красоты и силы. Его старость — величественная и гадкая одновременно. И это вызывает у лошадей негодование и презрение. «Лошади жалеют только самих себя и изредка только тех, в шкуре кого они себя легко могут представить». И всю ночь на конном дворе, повинуясь стадному инстинкту, весь табун гоняет старого мерина, слышатся удары копыт о худые бока и тяжелое кряхтение. И мерин не выдерживает, останавливается в бессильном отчаянии и начинает рассказ о своей жизни. Рассказ длится пять ночей, а в перерывах, днем, лошади уже почтительно обращаются с мерином.

Он рожден от Любезного первого и Бабы. По родословной его имя — Мужик первый, а по-уличному — Холстомер. Так люди называют его за длинный и размашистый ход. С первых дней жизни он чувствует любовь матери и то удивление, которое вызывает у окружающих. Он пегий, необычный, не такой, как все. Первое горе в жизни — потеря любви матери, которая уже носит в себе меньшого брата. Первая любовь к красивой кобылке Вязопурихе обрывается, закончившись самой важной переменой в жизни Холстомера — его выхолащивают, чтобы не продолжать в роду пегости. Его отличие от всех порождает склонность к серьезности и глубокомыслию. Молодой мерин замечает, что люди руководствуются в жизни не делами, а словами. И главное среди слов — «мое». Это слово изменяет поведение людей, заставляет их часто лгать, притворяться и не быть тем, чем они являются на самом деле. Это слово было виной тому, что мерина передают из рук в руки. Хотя он обходит знаменитого рысака Лебедя, Холстомера все-таки продают барышнику: из-за того, что он пегий и принадлежит не графу, а конюшему.

Его покупает гусарский офицер, у которого мерин проводит лучшее время своей жизни. Хозяин красив, богат, холоден и жесток — и зависимость от такого человека делает любовь к нему Холстомера особенно сильной. Хозяину нужна именно необьиная лошадь, чтобы еще больше выделяться в свете, ездить к любовнице, нестись по Кузнецкому, чтобы все сторонились и оглядывались. И Холстомер служит беззаветно, думая: «Убей, загони меня, <...> я тем буду счастливее». Он любуется хозяином и собой рядом с ним. Но в один черный день любовница бросает офицера, уезжает с другим. Гусар, в погоне за ней, загоняет Холстомера. Тот дрожит всю ночь и не может есть. Наутро ему дают воды, и он навек перестает быть той лошадью, какою был. Холстомера продают барышнику, потом старушке, краснорядцу, мужику, цыгану и, наконец, здешнему приказчику.

Когда табун в следующий вечер возвращается с луга, хозяин показывает лучших, самых дорогих лошадей приехавшему гостю. Гость нехотя хвалит. Проходя мимо Холстомера, он хлопает его по крупу и говорит, что такой же «расписной» мерин был и у него когда-то. Холстомер узнает в обрюзгшем старике своего бывшего любимого хозяина-гусара.

В барском доме, в роскошной гостиной, за чаем сидят хозяин, хозяйка и гость. Бывшему гусару Никите Серпуховскому теперь за сорок. Когда-то очень красивый, сейчас он опустился «физически, и морально, и денежно». Он промотал состояние в два миллиона и еще должен сто двадцать тысяч. И поэтому вид счастья молодого хозяина унижает Серпуховского. Он старается вести разговор о своем прошлом, когда был красив, богат, счастлив. Хозяин перебивает его и говорит о своей нынешней жизни, хвастая тем, что имеет. Этот скучный для обоих разговор, в котором они не слышат друг друга, продолжается до утра, пока Серпуховской не напивается и, шатаясь, не уходит спать. У него не хватает сил даже раздеться до конца — в одном неснятом сапоге он валится на кровать и храпит, наполняя комнату запахом табака, вина и грязной старости.

Ночью табунщик Васька на Холстомере едет в кабак и держит его до утра на привязи рядом с мужицкой лошадью, от которой к мерину переходит короста. Через пять дней Холстомера не гонят в поле, а ведут за сарай. Когда ему перерезают горло, ему кажется, что вместе с большой струей крови выходит из него вся тяжесть жизни. С него снимают шкуру. Собаки, воронье и коршуны растаскивают конину, ночью приходит и волчица; через неделю у сарая валяются только кости. Но и эти кости уносит потом мужик и пускает их в дело.

«Ходившее по свету, евшее и пившее мертвое тело Серпуховского убрали в землю гораздо после». И спрятать туда гниющее, кишащее червями тело в новом мундире и вычищенных сапогах, — было лишним, ненужным затруднением для людей.