Plateau bei Transformer Modellen?
Sehenswertes Video vom von mir sehr geschätzten Youtube-Kanal “Computerphile”. Darin diskutiert Mike Pound, ob die großen generativen Sprachmodelle à la GPT-3 bereits die größten Fortschritte hinter sich haben.
Update vom 22.7.2024
Auch dieser Beitrag von Drew Breunig, einem Kulturanthropologen und Data Scientist, argumentiert, dass zwar alle Modelle sich immer mehr GPT-4 in Punkto Leistungsfähigkeit annähern und dabei immer weniger Ressourcen verbrauchen, aber darüber hinaus lässt sich noch nicht viel blicken.
Simon Willison, den ich im Bereich KI empfehlen kann und der auch den obigen Beitrag von Drew Breunig verlinkt hat meint in seinem Beitrag, dass man wohl einfach abwarten muss denn:
Will we see a sizable leap in capabilities when GPT-5 class models start to emerge? It’s hard to say for sure—anyone in a position to know that likely works for an AI lab with a multi-billion dollar valuation that hinges on the answer to that equation, so they’re not reliable sources of information until the models themselves are revealed.
Wir werden also sehen, wie es weitergeht mit den Sprachmodellen.