12 Trainingsdatensätze. 5 brauchen eine Lizenzprüfung.

Jedes KI-Modell beruht auf Daten, die jemand anderes gesammelt hat. Wer ein Modell feinjustiert, ein eigenes trainiert oder ein Werkzeug kauft, das es getan hat, übernimmt Lizenz, Abdeckung und Lücken des Datensatzes. Das Good AI Prisma beschreibt jetzt 12 der meistgenutzten öffentlichen Trainingsdatensätze, Fakt für Fakt. Fünf davon haben eine Bedingung, die vor dem Produkteinsatz zählt.

Das Web ist die Basisschicht, und es ist eine Stichprobe

Die meisten Textdatensätze beginnen bei Common Crawl, einem gemeinnützigen Archiv mit mehr als 300 Milliarden Webseiten, monatlich kommen 2,3 bis 2,7 Milliarden Seiten hinzu, laut der Darstellung von AWS Open Data. Die eigene FAQ ist genau: eine Stichprobe des Webs, keine vollständige Kopie, gesammelt von einem Crawler, der robots.txt beachtet. Das Urheberrecht an den Seiten bleibt bei den Inhabern.

Kuratierte Korpora filtern diese Basis. FineWeb von Hugging Face verdichtet 96 Crawl-Schnappschüsse zu 15 Billionen englischen Tokens unter ODC-By 1.0. FineWeb-Edu geht weiter: Ein Klassifikator für Bildungsqualität behält nur die bestbewerteten Seiten und entfernt bei der strengeren Schwelle 92 % von FineWeb. RedPajama-Data-v2 wählt den anderen Weg. Es liefert 30 Billionen deduplizierte Tokens in fünf Sprachen, Englisch, Französisch, Spanisch, Deutsch und Italienisch, dazu mehr als 40 Qualitätssignale, und überlässt das Filtern Ihnen.

92 %. Der Anteil von FineWeb, den die strengere Qualitätsschwelle von FineWeb-Edu entfernt. Der größte Teil des Webs ist nicht das, woraus ein Modell lernen soll.

Für Einkäufer heißt das: „mit Webdaten trainiert“ sagt wenig. Fragen Sie nach Crawl, Filter, Sprachfilter und Deduplizierung. FineWeb und Dolma sind nur englisch. Wenn Ihre Nutzer Deutsch schreiben, ist das ein Abdeckungsfakt, kein Detail.

Dolma vom Allen Institute for AI mischt 15 Quellen, von Webseiten und wissenschaftlichen Artikeln bis zu Code, Büchern und Wikipedia, zu rund 2,3 Billionen Tokens unter ODC-BY. C4, das Korpus hinter vielen frühen Modellen, umfasst 305 GB bereinigten englischen Webtext; die mehrsprachige Variante mC4 deckt mehr als 100 Sprachen ab. Beide Lizenzen binden Sie zusätzlich an die Bedingungen ihrer Quellen.

Code und Mathematik haben eigene Regeln

The Stack v2 umfasst 67,5 TB Quellcode in mehr als 600 Programmiersprachen. Jede Datei behält ihre ursprüngliche Lizenz, die Nutzung muss diesen Lizenzen folgen, mit Namensnennung, wo verlangt. Rund 40 % der Dateien unter freizügigen Lizenzen waren vor der Deduplizierung Duplikate, und der Datensatz kann E-Mail-Adressen oder Schlüssel enthalten, die einmal öffentlich auf GitHub standen. Es gibt ein Opt-out-Werkzeug und Löschanfragen. OpenWebMath ergänzt 14,7 Milliarden Tokens mathematischen Webtext mit LaTeX.

Bilder und Sprache: die Bedingungen zweimal lesen

Bei Bilddatensätzen ist die Lücke zwischen Bekanntheit und Erlaubnis am größten. ImageNet, der Benchmark-Klassiker mit 1,28 Millionen Trainingsbildern, steht unter einer Zugangsvereinbarung „nur für nicht kommerzielle Forschung und Lehre“ zur Verfügung. LAION-5B listet 5,85 Milliarden Bild-Text-Links; LAION empfiehlt den Satz nicht für fertige Industrieprodukte und betont, dass die Bilder beim Urheber bleiben. Die Veröffentlichung Re-LAION-5B vom 30. August 2024 entfernte Links, die mit Missbrauchs-Hashlisten übereinstimmten, sowie Links nach Datenschutzanfragen.

Bei Sprache sieht es anders aus. Mozilla Common Voice umfasst in Version 22.0 33.815 Stunden in 137 Sprachen. Mozilla hat die Daten als CC0 veröffentlicht, frei von urheberrechtlichen Beschränkungen; prüfen Sie die Bedingungen der jeweils genutzten Version. Wikipedia-Text steht unter CC BY-SA, das kommerzielle Nutzung mit Namensnennung und Weitergabe unter gleichen Bedingungen erlaubt.

Was die EU-KI-Verordnung ändert

Nach der 2026 geänderten KI-Verordnung müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck eine Zusammenfassung der Trainingsinhalte veröffentlichen und eine Urheberrechtsstrategie unterhalten. Für Einkäufer werden Datensatzfragen damit zu Unterlagen, die Sie anfordern können. Fragen Sie ausdrücklich nach dieser Zusammenfassung und nach dem Datum ihrer letzten Aktualisierung. Ein Anbieter, der nicht sagen kann, welche Korpora er unter welchen Bedingungen genutzt hat, hat damit auch geantwortet.

Fünf Fragen vor der Nutzung eines Datensatzes

1. Was erlaubt die Lizenz für Ihren Zweck: Forschung, kommerzielles Produkt oder Weitergabe?
2. Wessen Rechte liegen darunter? Gecrawlte Seiten, Codedateien und verlinkte Bilder behalten die Rechte ihrer Inhaber.
3. Welche Sprachen und welcher Zeitraum sind abgedeckt, und passt das zu Ihren Nutzern?
4. Wie wurde gefiltert und dedupliziert, und was wurde dabei entfernt?
5. Wie werden personenbezogene Daten und Löschanfragen behandelt, und können Sie das dokumentieren?

Die Datensatzkarten beantworten diese Fragen, wo Herausgeber es tun, jeweils mit Quelle und Lesedatum. Datenplattformen und Vektordatenbanken, also die Software, die Daten speichert und bereitstellt, stehen als Produktkarten im Themenfeld Data & Analytics. Die auf diesen Korpora trainierten Modelle finden Sie im Modell-Hub, und die Technologieanalyse KI-Modelle erklärt, was Sie einen Modellanbieter zu seinen Trainingsdaten fragen sollten.