De gebeurtenissen in het verhaal "Sign of Four" vinden plaats in 1888 in Londen. Tijdens een gedwongen nietsdoen vanwege het gebrek aan orders, vertrekt de bekende detective-adviseur Sherlock Holmes, die op Baker Street 221-6 woont, samen met zijn vriend Dr. Watson, naar hem toe zijn deductieve methode, die hij gebruikt bij het oplossen van misdaden. Sherlock Holmes is ervan overtuigd dat een oplettende persoon het bestaan van de Atlantische Oceaan en de Niagara-watervallen door logische conclusies kan bewijzen, zelfs als hij ze nog nooit eerder had gezien en er niets over had gehoord. De kleinste details en feiten moeten worden opgemerkt, omdat ze een onschatbare bijdrage kunnen leveren aan de reconstructie van het volledige beeld van gebeurtenissen, de aard van de persoon en de omstandigheden van de misdaad.
Sherlock Holmes is een briljante detective en beschikt over encyclopedische kennis op het gebied van criminele kroniek en scheikunde, speelt goed viool, heeft uitstekende scherm- en boksvaardigheden, is goed thuis in geologie, anatomie, plantkunde, heeft een buitengewoon acteertalent, maar op het gebied van literatuur, filosofie, astronomie, zijn kennis is nul. In de uren dat hij niets te doen heeft, wordt hij gegrepen door dodelijke verveling en vindt hij troost in morfine en cocaïne.
Dr. Watson, een vriend en metgezel van Sherlock Holmes, een voormalige militaire arts die bij het Engelse leger diende in de Indiase oorlog met Afghanistan en gewond raakte in deze oorlog, woont bij Holmes in hetzelfde appartement en is een chroniqueur van alle gevallen die zijn vriend onthulde.
Tot groot genoegen van Sherlock Holmes wordt zijn tijdelijke nietsdoen onderbroken door een zekere Miss Morsten, zevenentwintig jaar oud, met een spiritueel en vriendelijk gezicht, die getuigt van de adel en het medeleven van de ziel. Ze vertelt de detective over vreemde gebeurtenissen die zich onlangs in haar leven hebben voorgedaan en vraagt hem om hulp. In haar jeugd verloor ze haar moeder. De vader, die in India als officier diende, stuurde zijn dochter naar een pension in Engeland. In 1878, dus tien jaar geleden, arriveerde hij in Engeland, zoals eerder aangekondigd in een telegram. Maar toen juffrouw Morsten bij het hotel aankwam, kwam ze erachter dat haar vader plotseling was verdwenen. Hij kwam de volgende dag niet terug, kwam ook nooit meer terug. Vervolgens, vanaf 1882, begon ze plotseling elk jaar een heel mooie en grote parel van iemand te ontvangen. En op de dag van haar bezoek aan Holmes ontving ze een brief waarin ze werd gevraagd 's avonds naar het Lyceum Theatre te komen, waarin ze zei dat ze oneerlijk was behandeld en dat iemand dit onrecht wilde corrigeren.
Sherlock Holmes en Dr. Watson gaan met haar naar de aangegeven plaats. Voordat ze weggaat, laat ze Holmes een vreemd briefje zien, gevonden in de bezittingen van de vermiste Morsten, die een plattegrond van een kamer voorstelde, met vier kruisen op een rij op dezelfde plek geschilderd, met dwarsbalken in contact met elkaar en met een pretentieuze handtekening: 'teken van vier'. De persoon die ze hebben ontmoet, neemt ze mee in een taxi naar Zuid-Londen. Daar ontmoeten ze een kleine roodharige man met een glanzend kaal hoofd. Het blijkt dat hij een van de tweelingzonen is van majoor Sholto, die zes jaar geleden stierf, Tadeusz Sholto. Zijn vader en vader Miss Morsten dienden ooit samen in India in de koloniale strijdkrachten. Daar nam majoor Sholto, mysterieus welvarend, elf jaar geleden ontslag en keerde terug naar Engeland met een rijke verzameling oosterse zeldzaamheden en een hele staf van inheemse dienaren. De majoor onthulde niet het geheim van het verkrijgen van schatten en waar ze tot zijn dood werden bewaard.Toen hij haar naderde, riep hij zijn zonen bij zich en vertelde hen hoe kapitein Morsten stierf. Het bleek dat hij, tien jaar geleden in Londen aangekomen, naar Sholto kwam en ze ruzie kregen over de verdeling van schatten, waarvan Morsten wist en waarvan de helft aan hem te danken was. Hij, die leed aan een pijnlijk hart, kreeg een aanval. Toen viel hij en nadat hij zijn hoofd op de hoek van de schatkist had gestoten, stierf hij. Uit vrees dat hij van moord zou worden beschuldigd, verborg Sholto het lichaam van de kapitein en zei niets tegen zijn dochter toen ze een paar dagen later, op zoek naar zijn vermiste vader, naar zijn huis kwam. Voor zijn dood wilde hij ook aan zijn zonen onthullen waar de kist zelf verborgen was, maar een vreselijk gezicht buiten het raam belette hem dit te doen. Hij stierf en nam het geheim mee naar het graf. Zijn zoons, die juffrouw Morsten een plicht voelden en haar van zijn behoefte wilden ontdoen, begonnen haar elk jaar een parelparel te sturen, nadat hun vader ze uit de kist had gehaald. Voorlopig wisten Tadeusz Sholto en zijn broer Bartholomew niet eens waar de rijkdommen zelf verborgen waren. Maar de dag ervoor, na vele jaren van mislukte huiszoekingen, vond Bartholomew ze op de zolder van zijn huis, in een geheime ommuurde kamer. Hij meldde dit aan Tadeusz. Ondanks de bezwaren van zijn broer, die zijn gierigheid van zijn vader had geërfd, besloot hij de schatten met juffrouw Morsten te delen. Alle vier gaan naar Bartholomew. Ze ontdekken echter dat hij is gedood door een giftige doorn die in zijn nek is gegooid, dat de schatten zijn gestolen en dat er een stuk papier met het 'teken van vier' op de plaats delict is achtergelaten.
Kleine details doen Sherlock Holmes aannemen dat twee mensen de criminelen zijn - een weggelopen veroordeelde genaamd Jonathan Small, die een houten prothese heeft in plaats van zijn rechterbeen, en Number One, een wilde van de Andaman-eilanden, is klein, erg boos en behendig. Nadat hij Small samen met de kist had geholpen het raam van het touw naar beneden te halen, sloot hij de luiken van binnenuit en kwam via de zolder naar buiten. Tijdens het hardlopen kreeg hij zijn voet vuil in creosoot en Holmes volgde met de hulp van de speurhond Toby zijn voetstappen naar de rivier. Daar vernam hij dat de criminelen aan boord van een gehuurde Aurora-boot stapten. Als Holmes 'plan om een boot op te sporen met de hulp van een ingehuurde jongensbende kapot gaat, verkleed als een oude zeeman, gaat hij op zoek naar de Aurora en probeert haar te vinden op de dokken. Het lukt hem. Hij roept de inspecteur van Scotland Yard, Ethelny Jones, te hulp bij het onderzoeken van de moord, en zij achtervolgen, samen met Dr. Watson, een politieboot en vangen de criminelen met een kist. Als hij een wilde achtervolgt, moet hij worden gedood, omdat hij met zijn giftige doornen op zijn achtervolgers begint te schieten. Dr. Watson brengt de kist naar juffrouw Morsten, maar uiteindelijk blijkt hij leeg te zijn, wat de dokter erg blij maakt omdat de barrière die naar zijn mening tussen hem en de jonge vrouw is ontstaan vanwege haar vermeende rijkdom, verdwijnt. Nu kan hij haar liefde vrijelijk belijden en zijn hand en hart aanbieden. Miss Morsten vindt zijn aanbod erg aantrekkelijk. Klein, zich realiserend dat hij onvermijdelijk zou worden ingehaald, gooide de sieraden in de Theems, omdat hij niet wilde dat iemand anders het kreeg. De dood van Bartholomew Sholto maakte geen deel uit van zijn plannen, en hij was het niet die hem doodde, maar de kwaadaardige wilde zonder medeweten van Small. Om Sherlock Holmes en Ethelney Jones hiervan te overtuigen, vertelt hij hun het verhaal van zijn leven. In zijn jeugd meldde hij zich als soldaat in het regiment, naar India gestuurd. Hij moest echter al snel afscheid nemen van de dienst: toen hij in Tanga aan het baden was, beet de krokodil zijn been boven de knie af en werd hij een hulpeloze kreupele. Toen hij vervolgens als opziener op een plantage werkte, begon er plotseling een rel in het land. Small haastte zich naar Agra en voegde zich bij de Britse eenheid die zich verstopte in het fort van Agra.Hij werd belast met het bewaken van een van de ingangen van het fort en kreeg twee Sikhs. Op de derde nacht grepen de Sikhs Small en confronteerden hem met de keuze: bij hen te zijn of voor altijd hun mond te houden. Ze vertelden hem over hun plan: in de noordelijke provincies woonde een zeer rijke raja. Hij beval een deel van zijn rijkdom om de dienaar Achmet in het fort van Agra tot het einde van de oorlog te verbergen, zodat in het geval van de overwinning van de Britten deze kist tenminste zou worden gered. De metgezel van de Sikhs en Akhmet, hun handlanger, wilden hem doden en de kist in bezit nemen. Small besloot zich bij hen aan te sluiten en zwoer trouw aan hen. Alle vier hebben ze hun plan uitgevoerd. Ze verborgen de vermoorde Achmet in een van de zalen van het oude fort, waar nog nooit iemand was binnengekomen. De kist was ommuurd in de muur van dezelfde hal. Elk van hen ontving een briefje met een plan en symboliseerde hun trouw aan elkaar met het 'teken van vier'. Vervolgens werden ze echter allemaal tot levenslang veroordeeld wegens moord. Tijdens het uitzitten van hun zinnen konden ze hun rijkdom niet gebruiken. Vervolgens was Small het eens met Sholto en Morsten, die de gevangenis bewaakten, dat hij hun zou vertellen waar de kist verborgen was, dat ze hun deel zouden ontvangen en in ruil daarvoor zouden ze een ontsnapping voor de vier gevangenen organiseren. Sholto, die voor de kist ging, bedroog iedereen en keerde alleen naar Engeland terug. Sindsdien begon Small alleen te leven met de gedachte aan wraak. Hij ontsnapte uit de gevangenis met de hulp van een vriend - een inwoner genaamd Tongo. In Engeland legde hij contact met een van de dienaren van majoor Sholto en wachtte op het juiste moment. Het was Small die uit het raam naar de stervende majoor keek. In de coulissen wachtend, stal hij de schatten. Voor de dood van Bartholomew maakte hij Tongo los met een touw. Dat was het verhaal van Jonathan Small.
Schatten gingen naar niemand. Dr. Watson kreeg de vrouw van Miss Morsten, Ethelney Jones - bekendheid voor de opgeloste misdaad, en Holmes was tevreden met een ampul cocaïne.