In 1896 richtte Herman Hollerith, uitvinder van een gegevensverwerkende machine op basis van ponskaarten, de Tabulating Machines Company op. In 1911 kwam in de Amerikaanse staat New York de Computing Tabulating Recording Company (CTR) tot stand en de International Time Recording Company. In 1924 werd het bedrijf omgedoopt tot International Business Machines.

In 1920 kwam de Tabulator op de markt, een machine die ponskaarten kon printen. In 1924 werd het systeem gebruikt om de gegevens van 26 miljoen arbeiders op te slaan, in het kader van de Social Security Act van Franklin Roosevelt. Uiteraard werden ook -mechanische- ponskaartleesmachines ontwikkeld. Het deel van de organisatie dat onder de naam Hollerith opereerde, was echter ook verantwoordelijk voor de ponskaartsystemen in de concentratiekampen in nazi-Duitsland. IBM collaboreerde dus met nazi-Duitsland, een zwarte bladzijde uit de geschiedenis van het bedrijf.

Gedurende de jaren veertig begon men te werken aan elektronische rekenmachines met behulp van elektronenbuizen. Omstreeks 1955 werd het ringkerngeheugen ontwikkeld voor data-opslag, en in 1956 volgde de eerste harde schijf (de RAMAC).

In 1959 kwam met de IBM 1401 de eerste mainframe-computer op de markt en begon de bedrijfsautomatisering ingang te vinden, aanvankelijk op basis van ponskaarten.

In 1961 volgde een vernieuwing oiiiiiiiii,md;p het gebied van de elektrische schrijfmachine: de hamertjes werden door een verwisselbaar bolletje (IBM-bolletje) vervangen, waarmee diverse lettertypes en zelfs wiskundige symbolen konden worden getypt. Er stonden 88 tekens op en het kon in alle richtingen ronddraaien om de ingetypte letters op het papier te zetten, met een maximale snelheid van 15 tekens per seconde. Het bolletje verving de traditionele letterhamertjes. Het bolletje kon gemakkelijk vervangen worden om met een ander lettertype te kunnen schrijven, terwijl bij een klassieke typemachine helemaal geen andere lettertypes mogelijk waren. Dit type schrijfmachine werd vanaf circa 1962 onder meer in Amsterdam geproduceerd.[3]

In 1967 kwam de diskette op de markt, en in 1970 de streepjescode. De volgende stap was de IBM Personal Computer, waarvan de eerste versie in augustus 1981 werd geïntroduceerd. Dit was een kleine computer voor de zakelijke markt met een 16-bit microprocessor van Intel, de 8086/8088 en PC-DOS 1.0, het eerste besturingssysteem van Microsoft. Dit type computer zou de standaard worden in het zakelijk gebruik. De vrij vlot daarna geïntroduceerde IBM PC XT, uitgerust met een harde schijf werd de standaard computer, waar andere bedrijven zo veel mogelijk compatibel mee wilden zijn.

Sinds de tweede helft van de jaren zeventig breidde IBM zijn marktleiderschap uit met midrange computers voor middelgrote bedrijven. In deze categorie is IBM nog steeds marktleider.

In 1991 werden de productie en verkoop van printers ondergebracht in een aparte divisie, Lexmark. Deze werd in 1995 verkocht. In 1992 werd de ThinkPad laptopcomputer geïntroduceerd. In 1996 wist IBM-schaakcomputer Deep Blue de toenmalige schaakkampioen Garri Kasparov te verslaan.

In 2008 werd voor het eerst de grens van de Petaflop doorbroken: een supercomputer wist 1015 berekeningen per seconde te volvoeren en in 2011 wist de computer Watson de tv-quiz Jeopardy! te winnen van menselijke kampioenen.

IBM heeft zijn verlieslijdende chipdivisie met bijbetaling van US$ 1,5 miljard overgedaan aan GlobalFoundries.[4] Het betrof de fabriek in East Fishkill en die in Essex Junction GlobalFoundries kreeg toegang tot de technologie en kennis van IBM en zal voor minimaal 10 jaar de levering van chips voor de IBM-systemen verzorgen. IBM leed op deze transactie, die in 2015 werd afgerond, een totaal verlies van US$ 4,7 miljard voor belastingen.[4]