Alles anzeigenRiesige Sprachmodelle sind meist nicht öffentlich verfügbar oder replizierbar. Meta will das mit OPT ändern und gute Qualität liefern.
Ein großes Forschungsteam der KI-Abteilung des Facebook-Mutterkonzerns Meta hat die Open-Pre-trained-Transformer-Sprachmodelle (OPT) in einer wissenschaftlichen Abhandlung vorgestellt. Das dabei wohl wichtigste Anliegen der Beteiligten ist es, ein modernes und großes Sprachmodell zu erstellen, das, anders als bisher meist üblich, komplett zur Verfügung gestellt wird, um die die konkreten Einzelheiten untersuchen zu können.
Das Team von Meta vergleicht das Sprachmodell selbst in Bezug auf Ziel, Fähigkeiten und Größe mit GPT-3 von OpenAI. Letzteres steht zwar zur Nutzung zur Verfügung, jedoch nur über eine API. Eine Untersuchung der inneren Abläufe und Gewichtungen ist so für Dritte nicht möglich. Im Vergleich zu GPT-3 soll die größte Variante von OPT mit 175 Milliarden Parametern außerdem nur ein Siebentel des CO2-Fußabdrucks aufweisen.
Ziel der Entwicklung sei es, “reproduzierbare und verantwortungsvolle Forschung in großem Maßstab zu ermöglichen”. Ebenso sollen die Auswirkungen dieser riesigen Sprachmodelle besser untersucht werden können. Dazu heißt es weiter: “Die Definitionen von Risiko, Schaden, Verzerrung, Toxizität usw. sollten von der gesamten Forschungsgemeinschaft formuliert werden, was nur möglich ist, wenn Modelle zur Untersuchung bereitstehen.”
Konkret geplant ist nun von Meta, dass die OPT-Modelle mit einer Parametergröße von 125 Millionen bis 30 Milliarden frei zur Verfügung gestellt werden. Der Zugriff auf das Modell mit 175 Milliarden Parametern soll auf Anfrage für Forschungsteams ermöglicht werden. Das gelte für Regierungen, Zivilgesellschaft, Wissenschaft sowie Industrieteilnehmer. Ebenso frei veröffentlicht werden soll das Team-eigene Logbuch, das beim Erstellen des Modells geführt wurde, sowie der Code, mit dem das Modell erstellt wurde.
Der Beitrag KI: Meta will GPT-3-Alternative öffentlich bereitstellen erschien zuerst auf Linux-Magazin.
Quelle: https://www.linux-magazin.de/n…effentlich-bereitstellen/