TiKa444

Zum Thema Gerechtigkeit. Was hat ein Erbe geleistet, um das Erbe zu verdienen?

Wir haben uns eigentlich darauf geeinigt, dass der Menach von Geburt an gleich sein sollte. Nur umsetzen wollen wir es nicht.

Ich glaube da habe ich mich missverständlich ausgedrückt. Von Llama 2.0 existieren seitens META je zwei Modelle. Das gewöhnliche 7b, 13b und 70b und die chat Variante in 7b, 13b, 70b (die chat variante ist auf chats feinabgestimmt). Dazu kommt dass Llama wie MPG und Falcon Open Source ist und frei zur Verfügung stehen. Das führt dazu, dass diverse Nutzer und Unternehmen ihre eigenen Modelle fein abgestimmt haben, weshalb auf Hugging Face bsw. Story-Writer, Codier, weitere Chat, ect. Versionen verfügbar sind.

Ein MoE Modell ist, wenn ich das richtig im Kopf habe ein Modell, das von Haus aus auf verschiedene Szenarien (Experts) abgestimmt ist, die zusammen geliefert werden. Man kann mehrere oder alle Experts gleichzeitig laden und nutzen, wenn ich mich nicht täusche.

Im Prinzip hat die Community und die Wirtschaft die Feinabstimmung zu den verschiedenen Experts bei den genannten Open Source Modellen übernommen. Nur das diese nicht als Paket kommen sondern einzeln geladen (und verwendet) werden müssen. Natürlich schwankt auch die Qualität abhängig von der Quelle.

Ich meine allerdings, dass es speziell von MPT ein MoE Modell gäbe, sicher bin ich mir da gerade nicht.

Kann natürlich gut sein, dass ich gerade völlig falsch damit liege was MoEs sind. Habe mich noch nicht allzu ausgiebig mit solchen beschäftigt.

Und selbst wenn. Die Empörung in der Breite der Presse wird sich wundersamerweise in Grenzen halten. Ist ja nicht so als wäre der Skandal in einem grün-geführten Ministerium.

Naja. LLMs machen nichts anderes als das wahrscheinlichste nächste Wort vorherzusagen.

Genauer gesagt bricht das Modell die Eingabe in sogenannte Tokens auf (das können einzelne Wörter sein, Teile von Wörtern oder sogar ganze Wortfolgen, je nach Modell) und ordnet jedem Token einem nunerischen Vektor zu. Diese Vektoren werden dann analysiert und mithilfe des Algorithmus werden im besten Fall Muster erkannt. Das Modell macht dann im Grunde nichts weiter als die erkannten Muster fortzusetzen.

Letztendlich ist die Antwort eines LLMs nichts weiter als eine statistische Wahrscheinlichkeitsberechnung, wobei die Daten für die Statistik aus den Trainingsdaten stammen.

Sofern diese Trainingsdaten dem Modell also beibringen faul zu sein, ist es das Modell auch.

Interessanter ist hier schon die Überlegung was am Training bei ChatGPT nicht stimmt.

Grundsätzlich gibt es verschiedene Arten des Trainings:

Zuerst das Pre-Training: Dabei wird dem Modell anhand riesiger Datenmengen von Texten eine Grundlage gegeben, um die Grundlagen der Sprache zu lernen

Dann die Fine-Tuning: Hierbei spezifischere Daten genutzt, um das Modell für einen oder mehrere bestimmte Zwecke zu trainieren.

Und schließlich eventuell das Reinforcement Learning: Dabei werdem dem Modell weitere neue Daten gegeben und die Antworten analysiert. Wenn Fehler gefunden werden, werden die Korrekturen ebenfalls zum Training eingesetzt.

Ich vermute (vorsicht hier kann ich nur Mutmaßen), dass ein großer Teil der aktuellen Trainingsdaten von ChatGPT derzeit aus von den Nutzern als schlecht bewertete Konversationen stammt. Andere Daten werden vermutlich von OpenAI spezifisch ausgewählt, um unerwünschtes Verhalten allgemein zu korrigieren (bsw. unmoralische Ratschläge, sexuelle Sprache ect. oder bestimmte Fähigkeiten zu stärken.

Das kritische am trainieren nach dem Pre-Training ist, dass sich nicht nur der Teil des Modells ändert, auf den man es abgesehen hat, sondern die statistische Grundlage insgesamt verändert wird. Ich gehe davon aus, dass das insbesondere auf korrigierte Beispiele zutrifft, da diese ja bewusst dem vom Modell erwarteten klar widersprechen.

Wenn man also einem Modell beibringen will, dass es im Chat keine erotischen Bemerkungen machen soll, wirkt sich das womöglich auch auf Fragen zur Anatomie aus (weil dort eben auch Begriffe verwendet werden, die in anderem Kontext anstößig sind oder zumindest mit solchen Wörtern assoziiert werden (Synonyme). Und zu einer unerwünschten Aussage gehören ja nicht nur spezifische Wörter, sondern auch Satzbausteine (die anders zusammengesetzt völlig unkritisch sind), Grammatik, usw… Das Modell weiß nicht wo der Fehler liegt. Es analysiert die angeblich falsche und die angeblich richtige Antwort, erkennt Muster und vergleicht diese miteinander. Dabei kann es auch Muster in der falschen Antwort erkennen, die nichts mit dem Grund zu tun haben, wieso es falsch ist.

Dazu kommt, dass die Bewertung von Nutzern eine Vorauswahl der Daten darstellt. Ich gehe davon aus, dass die Daten, die für das letztendliche Training genutzt werden zumindest rudimentär gegengeprüft werden, aber OpenAI wird kaum die Manpower haben, um alle Konversationen zu prüfen und sich nicht auf Bewertungen der Nutzer zu verlassen. Jetzt ändert sich aber das Bewertungsverhalten mit den Erwartungen und hängt von der Subjektiven Wahrnehmung der Nutzer ab. Die Qualität der Vorauswahl varriert also mit der öffentlichen Wahrnehmung von KI und dem Nutzerstamm. Es kann also gut sein, dass die Schwerpunkte im Training dadurch von den tatsächlichen Problemen abweicht und sich ü erdies noch ändert.

Kurz gesagt. Es ist relativ schwierig das Modell von bestimmten unerwünschten Aussagen abzubringen ohne die Qualität aller Antworten zu beeinflussen. Dasselbe kann natürlich auch passieren, wenn man versucht eine bestimmte Fähigkeit des Modells zu verbessern (z.B. zum codieren). Man kann eben nicht nur an einer Schraube drehen, sondern dreht immer an hunderten.

Eine Lösung für dieses Problem besteht bsw. in spezialisierten Modellen. Bsw. eine gemeinsamme Grundlage und dann Fine-Tuning auf Codierungs-Modell, Texterstellungsmodell, moralisch einwandfreies Chat Modell, ect… Das machen viele der kleineren Modelle (wie Llama, MPT, Falcon, ect.). In der Theorie lässt sich diese Spezialisierung auch weiter aufspalten.

ChatGPT versucht da eben eine Art eierlegende Wollmilchsau zu sein. Das bringt immer auch Nachteile mit sich.

Vorsicht! Vermutlich lachen mich die, die wirklich Ahnung haben, gerade aus. Ich bin kein Fachmann. Das ist nur mein (Halb-)Wissensstand.

Edit: Nur nochmal zur Klarstellung. Das ist absolut vereinfacht. Viele Aspekte von LLMs sind hier nur angeschnitten oder gar nicht berücksichtigt.

Da ist aber dann gerade die Kombination aus Wind und Solar interessant. Wind produziert im Winter tatsächlich mehr, sodass sich bei Kombinationen 50:50 beides statistisch in etwas aufhebt (das Problem im Winter ist eher der gesteigerte Energiebedarf durch heizen).

Gerade dann ist eine Stromtrasse zwischen eher Windkraftstarken Ländern zu eher Solarkraftstarken Ländern wichtig um diese Linie noch weiter zu glätten.

Ohne Frage. Da bin ich völlig bei dir. Wollte nur darauf hinweisen, dass der europäische Strommarkt zumindest bei Erneuerbaren nicht per se etwas schlechtes ist.

Was die Propagandawirkung anbelangt, bin ich voll bei dir.

Sehr interessant und durchaus plausibel, nur eine kleinere Anmerkung.

Ein europaweites Stromnetz, funktioniert gerade mit erneuerbaren super. Die Bedingungen unterscheiden sich vielleicht nicht zwischen Belgien und den Niederlanden allzu spürbar, aber zwischen Belgien und Italien (bsw.) sehr wohl. Ja, Atomkraftwerke produzieren immer überall gleich viel Energie. Diese angebliche Stärke ist tatsächlich eine ihrer Schwächen. Bei Erneuerbaren ist es sehr wohl ortsabhängig, was ein großer Vorteil ist.

Statstisch gesehen reduziert sich das Risiko einer kompletten Flaute (kein Wind, keine Sonne) natürlich umso größer der Bereich ist, den man betrachtet. Das bedeutet mit einer vernünftigen Verteilung und einem europaweiten Stromnetz, sind Erneuerbare praktisch grundlastfähig (eigentlich trifft das auch schon deutschlandweit zu, aber größer ist in diesem Fall tatsächlich noch besser).

Also auch wenn Frankreich den europäischen Strommarkt tatsächlich genutzt hat, um die eigenen Schwächen im Ausbau zu kaschieren, so ist dasselbe Konzept, wenn es um erneuerbare geht, tatsächlich so gewollt.

Of cause you’re right. I tried to take it with humor. As I said. A little bit off topic.

A little bit offside.

Today I tried to host a large language model locally on my windows PC. It worked surprisingly successfull (I’m unsing LMStudio, it’s really easy, it even download the models for you). The most models i tried out worked really good (of cause it isn’t gpt-4 but much better than I thought), but in the end I discuss 30 minutes with one of the models, that it runs local and can’t do the work in the background at a server that is always online. It tried to suggest me, that I should trust it, and it would generate a Dropbox when it is finish.

Of cause this is probably caused by the adaption of the model from a model that is doing a similiar service (I guess), but it was a funny conversation.

And if I want a infinite repetition of a single work, only my PC-Hardware will prevent me from that and no dumb service agreement.

Even if the are more efficient, they earned the regarding profit for a small number of people, who has to much. For the society it is a loose loose. The services become more expensive and it lead to a redistribution of wealth from poor to rich, whitch is even worse for the society and the economy.