Nvidia’s neue Open-Source-Sprachmodelle

Heute in der Brotdose 🥪

• Nvidia’s neue Open-Source-Sprachmodelle

• Chinesisches Startup entwickelt ultrarealistische Roboter

• Verwandle Präsentationen in Artikelbeiträge

• Mini-LLM rechnet auf GPT-4-Niveau

Lesedauer: 3 Minuten

NEUESTE ENTWICKLUNGEN

Nvidia
Nvidia’s neue Open-Source-Sprachmodelle

Nvidia hat die Nemotron-4 340B Serie vorgestellt, eine Open-Source-Familie von Sprachmodellen, die speziell entwickelt wurden, um hochwertige synthetische Trainingsdaten zu generieren und leistungsstarke KI-Anwendungen in verschiedenen Branchen zu ermöglichen.

Die Serie umfasst drei Modelle – Base, Instruct und Reward – die zusammen eine Pipeline zur Erstellung und Filterung von synthetischen Daten bilden. Instruct wurde dabei zu 98% mit synthetischen Daten trainiert, während Reward die besten Datenbeispiele auswählt. Nemotron-4-Modelle erreichen oder übertreffen offene Konkurrenzmodelle wie Llama-3, Mixtral und Qwen-2 in verschiedenen Benchmarks. Zusätzlich hat Nvidia Mamba-2 Hybrid veröffentlicht, ein selektives State-Space-Modell (SSM), das transformerbasierte LLMs in der Genauigkeit übertrifft.

Mit diesen neuen Modellen stellt Nvidia eine starke Open-Source-Option bereit, die nicht nur mit den besten Konkurrenten mithalten kann, sondern auch die Erstellung synthetischer Daten zur Weiterentwicklung neuer LLMs erleichtert.