莫斯科近郊的一幢黑色房子里，住着一位老太太。他的儿女们都已长大成人，出门在外。
老太太家有许多家奴，其中最了不起的是看门人盖拉辛。他又聋又哑，但身材魁梧，一个人能干四个人的活。除了守夜看门外，盖拉辛一天的杂活也不少：运两次水;劈柴，运柴;保持庭院清洁。不过，这些活他要不了多久就能干完。
刚来时，他干完了活，常常呆若木鸡的站在庭院里，张着大嘴，一双大眼睛来回地瞪着所有的过路人;或者忽然走到角落里，把笤帚、铲子甩出老远，然后趴在地上，几个钟头一动不动。
家奴中有位叫达吉亚娜的洗衣女工，身材瘦削，头发金黄，左边脸上有几颗痣——这被认为是苦命的记号。她性格柔顺，胆子极小。初次看见盖拉辛时，他简直被他那庞大的身躯吓坏了。她极力避开他，偶尔从她身边经过，都是低头快跑过去。也许是她温柔的表情吸引人，也许是他胆小的神态使人中意，渐渐地，盖拉辛喜欢上了她。一天，当她走过院子时，盖拉辛忽然抓住她的胳膊，吓得她几乎尖叫起来。盖拉辛傻笑着，嘴里发出“嗯嗯”声，递给她一块公鸡形的姜饼。她想拒绝，他去把姜饼硬塞在她手里，亲热地“嗯”了几声后，摇晃着头走开了。
从此，他经常出现在她面前。有时，他会突然从怀里掏出一根丝带或一些小玩艺，塞在她手中;或者把她前面上的灰尘扫开。所有的人都看得出这个哑巴的心意，觉得很滑稽，但谁也不敢取笑他。而且只要他在场，也没人敢取笑达吉亚娜。
一天午餐时，管衣服的女佣人没完没了地挑达吉亚娜的毛病，使达吉亚娜非常紧张和委屈。突然，盖拉辛怒容满面地从餐桌旁站起来，凶神恶煞的瞪着那女佣，便伸出大手按在他头上，吓得她砰的一声把脑袋磕在桌子上。
还有一次，盖拉辛发现另一家奴鞋匠卡皮东和达吉亚娜聊天聊的热乎了点，就把他领到车棚里，轻轻地、却是意味深长地举起一根车杠朝他挥了两下。从此以后，谁也不敢跟达吉亚娜说话了。
盖拉辛的行为传到了老太太那里，她笑了，并叫管衣服的女仆一遍又一遍地叙述那天发生的事。第二天，老太太赏了盖拉辛一个卢布，以表示对这个强壮而又忠实的看门人的赏识。像所有仆人一样，盖拉辛对老太太相当敬畏，希望得到她的恩宠。他准备向老太太求情——他要同达吉亚娜结成百年之好。
鞋匠卡皮东是个酒鬼，这天他又醉倒在街上。老太太说：“如果给他娶个老婆，也许会规矩些”。他决定把达吉亚娜许配给他。
管家很为难，他和人商量，想出了一个对付盖拉辛的办法：让达吉亚娜假装喝醉酒。因为盖拉辛最讨厌酒鬼。开头几次，盖拉辛看到满嘴酒气、东倒西歪的达吉亚娜，还照常点点头，并发出表示亲热的嗯嗯声;终于有一次，他从石凳上跳起来，揪住她的胳膊，拉她到卡皮东面前。
那天，达吉亚娜和卡皮东去向主人谢恩，盖拉辛却把自己关在顶楼上，整整一天一夜没有出来。举行婚礼那天，盖拉辛去河边打水，不知怎么把水桶摔破了……
一年过去了，卡皮东成了一个毫无用处的酒鬼。主人命令他带着妻子到乡下去。动身时，盖拉辛走到达吉亚娜面前，把一年前为她买的一条红手帕塞在他手里。他跟着她的大车走了很远……
他慢慢的往回走。突然，他发现河边泥沼里有一只小花狗。小狗拼命针扎着，想爬出这泥沼。他把它捉出来揣在怀里，然后大步赶回家。
小狗大概生下不久，又瘦又小。她把她用大衣盖好，又取来些稻草，然后到厨房要了杯牛奶。他轻轻捏住它的头，把它的小鼻子亲在牛奶里。小狗突然贪婪得舔起来，一面响着鼻子，一面抖动身子。那一夜他始终伺候着它，一次又一次的给它把稻草盖好，帮它把身上揩干。最后他睡着了，睡得很香甜，挨着那小狗。
八个月后，小狗变成一条非常漂亮的西班牙种狗。它和盖拉辛形影不离。他用模糊不清的声音叫它“木木”。木木很聪明，从不乱叫，也从不到你主人房里去。每当盖拉辛给主人帮你送柴火时，它就焦急的在台阶上等他。仆人们也都喜欢它。
又过了一年。一天早上，老太太的心情特别好。他在院里转了一阵，然后走到窗边，一眼看见木木正在花坛下啃骨头。“哎呀！”她惊叫起来，“一只狗？到时候怪好玩的！叫他们把它用进去。”老太太讨好地呼唤着它，但木木却一动不动。老太太发现要想摸摸它，木木却突然张开嘴像她掉转头来，把老太太吓坏了。她尖声叫着，叫人把它弄出去。第二天一早，她就把管家叫来，命令他马上就把木木撵走。结果，一个仆人奉命避开盖拉辛，把木木抓到市场上，卖掉了。
木木失踪了。盖拉辛记不清它是什么时候跑掉的。他到处找它，跑遍了半个莫斯科。
第二天，盖拉辛整天没露面。
第三天，他又像往常那样工作了，但同谁都不打招呼，毫无生气的面孔，更成了一块石头。夜里，他躺在草堆上，辗转反侧，不住地叹息。
突然，他觉得什么东西在扯他的衣角，但他没有转头。但那个东西更有力的扯了他一下。他跳了起来，眼前分明是木木，脖子上还拴着一段绳子。他胸腔里发出一声很长的欢呼，他扑上去把木木紧紧搂在怀里。盖拉辛从来不相信管家的话，不相信木木会迷路。他决定把木木藏在顶楼上，只晚上带她出去。
天亮了，盖拉辛像什么事也没发生似的来到院子里，干活格外卖力。可怜的聋子，根本想不到木木的叫声早已泄露了天机。大家只是同情他才没去告发。
夜里，盖拉辛带木木出去散步。木木发现有个醉汉倒在篱笆边，就吠叫起来，把刚刚睡着的老太太惊醒了。“啊，又是那只狗！又是它……”整栋宅子一下灯火通明，仆人们都起来了，盖拉辛预感到大祸来临，急忙把木木夹在腋下跑回顶楼，把门反锁起来。
天大亮了，管家领着一群人走上顶楼。他们先用拳头雷门，后，又用棍子从一个小洞伸进去乱捅。门忽然打开，盖拉辛出现了，她双手叉腰，巨人般俯视着人群。
管家不住的打手势，说明女主人要他把狗交出来。哑巴明白了，发了一会儿呆，然后猛的抬起头来，他指指木木，做了个，雷绳子的手势，又拍拍胸膛，随后砰的一声关上了门。
一小时后，盖拉辛穿着他最好的衣服，带着默默走进一家小饭铺，要了一份带肉的菜汤。他久久地望着木木——它身上的毛光溜溜的，他刚给它梳过一次——眼里突然蹦出两颗大大的泪珠，一颗掉在木木的额头上，一颗可落进他面前的菜汤里 ……
他带着木木在河塘边上了一只小船，逆水划到河中央。他放下桨，双手交叉着按在木木的背上，许久许久，脸上满是愤懑的神色。他用绳子拴住两块砖头，又打了个活扣套在木木脖子上。他抱起它，举到河面上，闭上眼，撒开了手……他在睁开眼时，只见小小的浪花在河面上追逐，奔腾，碰到船舷就飞溅开去。
仆人们第二天才发现盖拉辛不见了：他回乡下自己的村子去了。老太太知道此事后大发脾气，还哭了。她说她根本就没有叫木木弄死。
后来老太太死了。盖拉辛还活着，在乡下他那孤零零的茅屋里过着孤独的日子。他依然强壮，一个人能干四个人的活。但他再没跟女人们来往，甚至看也不看她们一眼，而且再也没养狗。