Het tragische verhaal van de kunstenaar Chartkov begon voor een winkel op de binnenplaats van Schukin, waar hij een van de vele schilderijen met boeren of landschappen zag, en hem de laatste met twee mandaten gaf, bracht hij hem naar huis. Dit is een portret van een oude man in Aziatische kleding, het leek onvoltooid, maar zo stevig vastgehouden dat de ogen op het portret eruit zagen alsof ze leefden. Thuis komt Chartkov erachter dat de eigenaar met een kwart kwam en een betaling voor een appartement eiste. Het verdriet van Chartkov, die al spijt had van de twee-mandige en zittende, uit armoede, zonder kaars, neemt toe. Hij denkt, niet zonder gal, aan het lot van een jonge getalenteerde kunstenaar, gedwongen tot een bescheiden leertijd, terwijl bezoekende kunstenaars 'lawaai maken met hun gebruikelijke gewoonten' en een behoorlijke hoeveelheid kapitaal wegnemen. Op dit moment valt zijn blik op het portret, al door hem vergeten - en volledig levend, en zelfs de harmonie van het portret zelf vernietigend, maakt hem bang, waardoor hij een onaangenaam gevoel krijgt. Terwijl hij achter de schermen gaat slapen, ziet hij door de kieren een portret van een maandverlichte foto en staart hem ook aan. Uit angst sluit Chartkov hem af met een laken, maar soms ziet hij ogen door het canvas schijnen, dan lijkt het alsof het laken is afgescheurd, eindelijk ziet hij dat de lakens echt weg zijn, en de oude man bewoog en kwam uit de lijsten. De oude man komt achter de schermen naar hem toe, gaat aan zijn voeten zitten en begint het geld te tellen, dat hij uit de meegebrachte tas haalt. Een pakket met het opschrift "1000 stuks goud" rolt opzij en Chartkov pakt het onopgemerkt. Wanhopig geld uitknijpen, wordt hij wakker; de hand voelt de zwaarte er gewoon in. Na een reeks opeenvolgende nachtmerries, wordt hij laat en hard wakker. Omdat hij bij de huisbaas is binnengekomen, omdat hij heeft geleerd dat er geen geld is, biedt hij aan om met zijn werk te betalen. Het portret van de oude man trekt zijn aandacht, en als hij naar het canvas kijkt, perst hij de lijsten in, - het pakket dat Chartkov kent valt met het opschrift "1000 stuks goud" op de vloer.
Op dezelfde dag betaalt Chartkov de huisbaas en troostend met verhalen over de schatten, overstemt hij de eerste beweging om verf te kopen en sluit hij zich drie jaar op in de werkplaats, huurt een luxe appartement op Nevsky, trekt zijn dandy aan, adverteert in een lopende krant en de volgende dag neemt hij de klant mee. Een belangrijke dame, die de gewenste details van het toekomstige portret van haar dochter heeft beschreven, neemt haar mee wanneer Chartkov alleen leek te tekenen en klaar was om iets belangrijks in haar gezicht te grijpen. De volgende keer blijft ze ontevreden over de overeenkomsten, de geelheid van haar gezicht en de schaduwen onder haar ogen, en ten slotte neemt ze voor het portret het oude werk van Chartkov, Psyche, enigszins bijgewerkt door de geïrriteerde kunstenaar.
In korte tijd komt Chartkov in de mode: door een gemeenschappelijke uitdrukking te begrijpen, schildert hij vele portretten en vervult hij verschillende beweringen. Hij is rijk, geadopteerd in aristocratische huizen, hij drukt zich hard en arrogant uit over kunstenaars. Velen die Chartkov eerder kenden, zijn verbaasd over hoe talent dat in het begin zo merkbaar was in hem kon verdwijnen. Het is belangrijk, verwijt de jeugd immoraliteit, wordt een vrek, en eens, op uitnodiging van de Academie van Beeldende Kunsten, wanneer hij naar het canvas van een van zijn voormalige uit Italië gezonden kameraden komt kijken, ziet hij perfectie en begrijpt hij de hele afgrond van zijn val. Hij sluit zich op in de werkplaats en verdiept zich in het werk, maar wordt gedwongen elke minuut te stoppen vanwege onwetendheid over de elementaire waarheden, waarvan hij de studie aan het begin van zijn carrière verwaarloosde. Al snel werd hij gegrepen door vreselijke afgunst, hij begon de beste kunstwerken te kopen en pas na zijn op handen zijnde dood door koorts, in verband met consumptie, wordt het duidelijk dat de meesterwerken voor de verwerving waarvan hij al zijn grote fortuin gebruikte, op brute wijze werden vernietigd. Zijn dood is verschrikkelijk: de verschrikkelijke ogen van de oude man leken hem overal.
Het verhaal van Chartkov had na korte tijd enige uitleg op een van de veilingen in St. Petersburg.Onder de Chinese vazen, meubels en schilderijen wordt de aandacht van velen getrokken door het verbazingwekkende portret van een bepaalde Aziaat wiens ogen zijn beschilderd met zo'n kunst dat ze lijken te leven. De prijs wordt verviervoudigd, en dan spreekt kunstenaar B. en verklaart hij zijn bijzondere rechten op dit doek. Ter ondersteuning van deze woorden vertelt hij het verhaal van wat er met zijn vader is gebeurd.
Nadat hij voor het begin een deel van de stad Kolomna had geschetst, beschrijft hij een geldschieter die daar ooit woonde, een gigantische Aziatische verschijning, die iedereen die het wil kan lenen, van de nis van een oude vrouw tot verkwistende edelen. Zijn interesse leek klein en de betalingsvoorwaarden waren zeer winstgevend, maar met vreemde rekenkundige berekeningen groeide het terug te betalen bedrag ongelooflijk. Het ergste was het lot van degenen die geld ontvingen uit handen van een onheilspellende Aziaat. Het verhaal van een jonge briljante edelman, een rampzalige verandering in het karakter waarvan de keizerin de toorn over hem bracht, eindigde met zijn waanzin en dood. Het leven van een prachtige schoonheid, omwille van een bruiloft waarmee haar uitverkorene een lening leende van een geldschieter (omdat de ouders van de bruid een belemmering zagen voor het huwelijk in de verstoorde situatie van de bruidegom), een leven dat in één jaar vergiftigd werd door het gif van jaloezie, intolerantie en grillen, dat plotseling verscheen in het voorheen nobele karakter van de echtgenoot. Zelfs het leven van zijn vrouw binnendringend, pleegde de ongelukkige zelfmoord. Veel niet zo opvallende verhalen, omdat ze in de lagere klassen plaatsvonden, werden ook geassocieerd met de naam van de woekeraar.
De vader van de verteller, een autodidactische kunstenaar die op het punt stond de geest van de duisternis te portretteren, dacht vaak aan zijn vreselijke buurman, en als hij eenmaal zelf bij hem kwam en eiste om een portret van zichzelf te schilderen om in beeld te blijven 'net als levend'. Vader neemt de zaak graag op zich, maar hoe beter hij erin slaagt het uiterlijk van de oude man te begrijpen, hoe levendiger zijn ogen op het canvas uitgaan, hoe pijnlijker een gevoel hem overkomt. Zonder de kracht om de groeiende afkeer van werk te verdragen, weigert hij door te gaan, en de gebeden van de oude man, waarbij hij uitlegt dat zijn leven na zijn dood in het portret zal worden bewaard door bovennatuurlijke kracht, maakt hem volledig bang. Hij rent weg, het onvoltooide portret wordt hem gebracht door de knecht van de oude man en de woekeraar sterft de volgende dag. Na verloop van tijd merkt de kunstenaar veranderingen in zichzelf op: jaloezie voelen voor zijn student, hij schaadt hem, de ogen van de geldschieter verschijnen in zijn schilderijen. Wanneer hij op het punt staat een vreselijk portret te verbranden, smeekt een vriend hem. Maar zelfs hij werd al snel gedwongen zijn neef te verkopen; heeft hem en zijn neef van de hand gedaan. De kunstenaar begrijpt dat een deel van de ziel van de woekeraar een vreselijk portret is geworden, en de dood van zijn vrouw, dochter en zoontje verzekert hem daar uiteindelijk van. Hij plaatst de senior aan de Academie van Beeldende Kunsten en gaat naar het klooster, waar hij een streng leven leidt, op zoek naar alle mogelijke graden van onbaatzuchtigheid. Tenslotte pakt hij het penseel op en schrijft hij een jaar lang de Kerst van Jezus. Zijn werk is een wonder vol heiligheid. Maar tegen zijn zoon, die afscheid nam voordat hij naar Italië reisde, vertelt hij veel van zijn gedachten over kunst en, onder andere door het verhaal met de geldschieter te vertellen, roept hij hem op om een rondlopend portret te vinden en het uit te roeien. En nu, na vijftien jaar vergeefse zoekopdrachten, vond de verteller eindelijk dit portret - en als hij, en daarmee de menigte luisteraars, naar de muur draait, staat het portret er niet meer op. Iemand zegt: 'Gestolen'. Misschien heb je gelijk.