Die Geschichte der SMS group ist untrennbar mit der Unternehmerfamilie Weiss verbunden. Der “Gründervater” Carl Eberhard Weiss (1841 bis 1904) wurde in Obertürkheim bei Stuttgart geboren. Nach seiner Ausbildung zum Schmied und Wanderschaft nahm er seine Arbeit als Maschinenschmied in der Maschinenbau-Werkstatt A. & H. Oechelhäuser in Siegen auf. Nach fünf Jahren gründete Carl Eberhard Weiss 1871 seinen eigenen kleinen Schmiedebetrieb mit drei Mitarbeitern. Carl Eberhard Weiss war ein engagierter Unternehmer, der sein Lieferprogramm und seine Marktposition stetig ausbaute.

Seine Söhne Carl (1872 bis 1946) und Ernst Heinrich Weiss (1875 bis 1932) arbeiteten seit 1896 im elterlichen Betrieb, nachdem sie zuvor das Schmiede-Handwerk erlernt hatten und anschließend ein Maschinenbaustudium bzw. ein kaufmännische Lehre absolviert hatten. Sie erweiterten das Familienunternehmen durch den Erwerb anderer Maschinenbauunternehmen, die 1918 zur Siegener Maschinenbau AG fusionierten. Mit dem Erwerb der Maschinenbau AG vorm. Gebr. Klein in Dahlbruch 1927 erweiterten Carl und Ernst Heinrich Weiss das Fertigungsprogramm um die Herstellung von Walzwerken für die Stahl- und NE-Metallindustrie. Mit dem Kürzel „Siemag“ tauchte im Jahr 1939 in der Firmenbezeichnung erstmals der Name auf, den man schon zuvor umgangssprachlich gebraucht hatte.

1928 trat Bernhard Weiss (1904 bis 1973), Sohn von Ernst Heinrich Weiss, als Prokurist in das Unternehmen ein. Als sein Vater 1932 starb, trat er dessen Nachfolge an und wurde in den Vorstand berufen. Sein unternehmerisches Ziel, alle Aktien auf sich zu vereinen, erreichte er bis 1940 und führte danach das Unternehmen als Alleininhaber. Nach dem zweiten Weltkrieg baute er die Siemag zu einem führenden deutschen Walzwerkshersteller aus. Um auch international konkurrenzfähig zu bleiben, erkannte Bernhard Weiss bereits Ende der 1960er Jahre die Notwendigkeit für den Zusammenschluss mit einem bedeutenden Wettbewerber.

1971 wurde Heinrich Weiss (* 1942) Vorsitzender der Geschäftsführung der Siemag. 1968 übernahm er die Geschäftsführung der Siemag Transplan GmbH in Netphen. Nach der Fusion von Schloemann und Siemag zur Schloemann-Siemag AG wurde Heinrich Weiss 1974 deren Vorstandsvorsitzender. An der Schloemann-Siemag AG, deren Firmenname 1980 um das Kürzel SMS ergänzt wurde, waren die M.A.N. mit 51 Prozent und die Familienholding Siemag Weiss KG mit 49 Prozent beteiligt. Vom stimmberechtigten Kapital hielten beide Partner jeweils die Hälfte. In den folgenden Jahren baute Heinrich Weiss das Unternehmen zum weltgrößten Hersteller von Maschinen und Anlagen auf dem Hüttenwerkssektor aus. Mit dem Rückkauf der restlichen Firmenanteile der M.A.N. im Jahr 2007 brachte Heinrich Weiss die erheblich vergrößerte SMS group vollständig zurück in die Hand der Familie Weiss. Zum 1. Juli 2013 wechselte Heinrich Weiss aus der Geschäftsführung der SMS group als Vorsitzender in den Aufsichtsrat. 2016 wurde Edwin Eichler zum neuen Vorsitzenden des Aufsichtsrats bestellt, Heinrich Weiss, sein Vorgänger im Amt, blieb weiterhin Mitglied des Aufsichtsrates.