Das 2019 gegründete Unternehmen ZHIPU AI ist der breiten Öffentlichkeit kaum bekannt, hat sich aber schon früh der Forschung und Entwicklung von sogenannten großen Modellen verschrieben. Im Juni dieses Jahres nahm das Silicon Valley-Technologiemagazin TheInformation eine Bestandsaufnahme des chinesischen Marktes vor und stufte ZHIPU AI als eines der fünf Unternehmen ein, die am ehesten zu Chinas OpenAI werden könnten.
Das Unternehmen hat innerhalb eines Jahres mehr als 2,5 Mrd. RMB an Finanzmitteln erhalten und ist damit das am höchsten bewertete Unternehmen im Bereich der KI-Innovationen in China.
Technische Gene
Das Kernteam von ZHIPU AI stammt hauptsächlich aus dem KEG-Labor (Knowledge Engineering Laboratory) der Tsinghua-Universität.
Zhang Peng, CEO von ZHIPU AI, stellte fest, dass sich das Team des Labors vor der Gründung des Unternehmens auf die Analyse von wissenschaftlicher und technologischer Intelligenz konzentrierte, insbesondere auf die Anwendung von Methoden der künstlichen Intelligenz, einschließlich Data Mining, semantischer Analyse, maschinellem Lernen, Algorithmen und anderer Knowledge Engineering-Methoden, um die objektiven Gesetze der Wissenschaft oder technologischen Entwicklung zu erforschen.
Auf der Grundlage von Daten und Analysen konzipierte und entwickelte sein Laborteam XLORE, Chinas erstes sprachübergreifendes Knowledge-Mapping-System mit gleicher Gewichtung von Englisch und Chinesisch, und führte das AMiner-System ein.
Zhang Peng sagte, dass ZHIPU AI von Anfang an OpenAI als Maßstab gesetzt habe, den es zu übertreffen galt. Das frühe OpenAI-Framework für das Vortraining von Sprachmodellen, GPT, bietet zunächst keine erkennbaren Vorzüge. Der Wendepunkt kam im Juni 2020, als OpenAI GPT-3 veröffentlichte und ZHIPU AI, das gerade sein Jubiläum feierte, feststellte, dass sich die Fähigkeiten des GPT-Modells signifikant verbessert hatten.
Zu diesem Zeitpunkt beschloss das Team um Zhang Peng, sich voll und ganz auf das Mega-Parameter-Modell zu konzentrieren. Sie wählten jedoch einen anderen Weg als OpenAI, indem sie die Fähigkeiten eines einseitig rückwärts gerichteten Vorhersagemodells wie GPT mit einem zweiseitig gerichteten Vorhersagemodell wie Googles BERT kombinierten.
Technologischer Idealismus
Innovationen von Modellen erfordern einen mehrjährigen Prozess. Nachdem die Entwicklungsrichtung festgelegt worden war, brauchte ZHIPU AI ein Jahr, um sein selbst entwickeltes GLM-Modell mit 10 Milliarden Parametern im Jahr 2021 auf den Markt zu bringen, als nur wenige in China die Bedeutung dieser Innovation erkannten.
Bereits im Juli des darauffolgenden Jahres begann ZHIPU AI mit der Kommerzialisierung des 100-Milliarden-Basismodells, dem GLM-130B, einem 100-Milliarden-Super-Großmodell für Pre-Trainings, und schuf eine MaaS-Plattform (Model as a Service) für Großmodelle und eine AIGC-Produktmatrix (Artificial Intelligence Generated Content).
Im selben Jahr erstellte das Center for Research on Foundation Models (CRFM) der Stanford University eine Liste von rund 30 großen Modellen weltweit, darunter auch ChatGPT-bezogene InstructGPT-Modelle, wobei das GLM-130B von ZHIPU AI das einzige chinesische Basismodell auf der Liste war.
Im August 2022 öffnete ZHIPU AI nicht nur das GLM-130B auf GitHub, sondern verpflichtete sich auch zu einem umweltfreundlichen Open-Source-Design des Modells. Im März 2023, nach der Einführung von ChatGLM, einem Konversationsmodell mit einer Basis von 100 Milliarden, veröffentlichte ZHIPU AI eine Single-Card-Version des Modells mit 6,2 Milliarden Parametern als Open Source für Forscher und einzelne Entwickler. Dies war ChatGLM-6B. Die Zahl der Downloads der ChatGLM-6B-Modellreihe aus der Open-Source-Gemeinde hat inzwischen zehn Millionen überschritten.
Die intensive Entwicklung der Open-Source-Gemeinschaft und die technische Fähigkeit, mit den besten internationalen Modellen zu konkurrieren, haben die Popularität von ZHIPU AI in der Community erhöht. Neben der Anerkennung von Entwicklern hat es auch institutionelle Investoren angezogen, wodurch ZHIPU AI zum ersten Start-up im Bereich großer Modelle mit einer Bewertung von über 10 Milliarden Yuan in China wurde.
ZHIPU AI setzt seit jeher auf unabhängige Forschung und Entwicklung von Algorithmen, Technologien und innovativen Anwendungen. Zhang Peng erklärte, er gehe davon aus, dass ZHIPU AI nun tiefer in die Materie eindringen könne, um den aktuellen Modellierungsrahmen der Forschungstechnologie zu sprengen.
Konsens über das Modell
Im Zusammenhang mit großen Modellen gibt es in der Öffentlichkeit nach wie vor viele Bedenken, aber die Bedeutung großer Modelle wird nicht in Frage gestellt. In der Zukunft wird die Weiterentwicklung der großen Modelle ein effektiver Weg sein, um das Ziel technologischer Weiterentwicklung zu erreichen und das Potenzial der KI auszuschöpfen.
Zhang Peng erwähnte, dass die Förderung von KI-Modellen in Bezug auf Algorithmen, Daten, Arithmetik und KI-Governance nach wie vor schwierig sei. Die KI-Branche brauche Zeit, um sich zu entwickeln, und beim derzeitigen Stand der Dynamik der Branche müsse man sie einfach laufen lassen.
ZHIPU AI versucht, “die Maschine wie ein Mensch denken zu lassen”. Während des Entwicklungsprozesses kann es sein, dass das Unternehmen als kommerzielles Unternehmen viele strategische Anpassungen vornehmen muss, aber diese Anpassungen betreffen nicht sein Hauptziel und seine Ausrichtung.
(Quelle: ZHIPU AI, Reuters)
