JetBrains heeft Mellum2 als open source uitgebracht, een 12B-parametermodel gebouwd voor softwareengineering-omgevingen. Met een Mixture-of-Experts-architectuur zijn slechts 2,5 miljard parameters per token actief, wat de inferencingtijd tot minder dan de helft terugbrengt ten opzichte van vergelijkbare modellen. Het model is beschikbaar onder de Apache 2.0-licentie. De oorspronkelijke Mellum was een 4B-parametermodel gericht op code completion, […]