Reddits Messerdaten zeigen, dass Konten deutlich mehr posten, als der Zufall erwarten lässt. )

Wenn man einen Produktnamen in Google gefolgt von „reddit“ eingibt, liefert die Suchmaschine Meinungen von Menschen statt Affiliate-Seiten. Der Grund dafür ist, dass Reddit-Nutzer ihre Ansichten ohne jeglichen Verkaufsanreiz austauschen. Doch die Frage stellt sich: was passiert, wenn eine Marke Zugang zu diesen Meinungen haben möchte?

Ein Reddit-Scraper hat eine Gruppe von Konten aufgedeckt, die Markenerwähnungen in Kaufthreads vorantreiben, wobei eine kleine Anzahl von Nutzern einen überproportional großen Teil der Beiträge ausmacht. Die Beweise deuten darauf hin, dass diese Poster wie bezahlte Schläfer und nicht wie Gelegenheitsfans agieren.

Der Reddit-Hack und warum er funktioniert

Dmitri Breretons Essay über die Google-Suche deutete auf dieselbe Praxis hin, die auf 2022 zurückgeht, als Mike Riggs darüber in Reason schrieb. Er wies darauf hin, dass eine Anfrage, die mit „reddit“ endet, menschliche Antworten anstelle von Affiliate-Seiten liefert. Der Einsatz dahinter ist, dass jemand, der in r/chefknives postet, keinen Grund hat, Sie über ein Messer zu täuschen.

Der Einsatz hat eine klare Schwäche: Wenn Reddit der Ort ist, an dem Menschen kostenlose Ratschläge suchen, dann ist Reddit auch der Ort, an dem Marken hoffen, bezahlte Ratschläge zu platzieren. Der Forscher war neugierig, ob die Messer-Subreddits, denen er folgt und die er für New Knife Day durchsucht, Anzeichen dafür zeigen. Er wollte keine Vermutung über eine einzige verdächtige Bemerkung, sondern etwas, das er messen und ein anderer überprüfen kann.

GLiNER und das Korpusproblem

Ein Named-Entity-Modell namens GLiNER wurde vom Forscher feinabgestimmt, um Marken, Modelle und Stähle aus Messerkommentaren zu extrahieren. Es extrahiert Mazaki als Marke, Fibrox als Modell und weiß #2 als Stahl, wie in „habe ein Mazaki in weiß #2 aufgegessen, viel besser als mein altes Fibrox“. Das Modell läuft dann über jeden Kommentar, der vom New Knife Day-Scraper aus sechs Subreddits gesammelt wurde: r/knives, r/knifeclub, r/chefknives, r/japaneseknives, r/FixedBladeEdc und r/KnifeSteels.

Er weiß bereits, wer jeden Kommentar geschrieben hat, welche Marken jeder nennt und ob der Thread, in dem er sich befindet, jemand ist, der fragt, was er kaufen soll. Daher kann eine engere Frage gestellt werden: Wer empfiehlt in den Threads, in denen eine Empfehlung einen Kauf verändert?

Was bezahlte Posten hinterlassen

Niemand veröffentlicht seine Schill-Konten, sodass der Forscher im Voraus entscheiden musste, welche bezahlten Veröffentlichungen zurücklassen würden. Der Markt dafür ist nicht verborgen. REDCmts verkauft einen Reddit-Kommentar für 9,99 US-Dollar und 100 für 699,99 US-Dollar, von dem es spricht als „echte, ältere Konten“, und zeigt eine Galerie von Markennennungen, die es als geliefert ausweist. Soar sagt, seine Konten werden „wochenlang manuell aufgewärmt“, bevor eine einzige Markennennung erfolgt. Bazzly bewirbt automatisierte Antworten auf jeden Beitrag, der so aussieht, als würde jemand einkaufen.

Wenn wir diese Verkaufsseiten als die eigene Beschreibung des Produkts betrachten, dann würde eine bezahlte Kampagne für eine einzelne Marke, die über eine kleine Anzahl vorbereiteter Konten läuft, wie eine solche erscheinen.

1. Ein kleiner Schwanz von Konten, die einen unverhältnismäßig großen Anteil der Markennennungen in „was soll ich kaufen“-Threads schreiben.
2. Diese Konten nennen eine Marke fast jedes Mal, wenn sie eine Marke nennen.
3. Schmale Konten: wenige Kommentare, niedrige Punktzahlen, kein echter Stand in dem Subreddit.
4. Junge Konten oder Konten mit verdeckten oder gelöschten Historien.
5. Konten, die hauptsächlich in Messer-Subreddits posten, da es um die Bezahlung von Messerkommentaren geht.
6. Links zu einem Shop oder einer Affiliate-Seite.

Jede einzelne dieser Übereinstimmungen entspricht der Art von Beitrag, den ein engagierter Fan, ein Mitarbeiter des Herstellers in seiner Freizeit oder Stammgäste eines Subreddits der Marke in einem Kaufthread abgeben würden. Daten aus öffentlichen Reddit-Quellen zeigen, dass Empfehlungen zusammenklyussen, obwohl es keine Erklärung dafür gibt, warum sie dies tun.

Der Refresh, der die Antwort veränderte.

Jeder neue Beitrag und seine Kommentare werden kurz nach der Veröffentlichung vom Scraper gespeichert. Das Problem ist, dass der falsche Zeitpunkt für diese spezielle Frage gewählt wurde: ein Kaufthread sammelt seine Empfehlungen über den folgenden Tag oder die folgenden zwei Tage, und r/knives-Beiträge hatten 1,5 gespeicherte Kommentare pro Beitrag. Um dies zu korrigieren, wurde ein Refresh-Durchgang durchgeführt, der 3.607 ältere als 48 Stunden Posts durchsuchte und ihre Kommentarbäume erneut abrief, wodurch der Korpus von 21.673 Kommentaren auf 51.129 erhöht wurde.

Der Test kam ohne Ergebnis vor dem Refresh, da etwa 800 Kaufthread-Referenzen zu rar waren, um 7,6 % von der zufälligen Chance von 7,1 % zu unterscheiden.

Es gibt drei Begriffe, die hier definiert werden sollten. Ein Kauf-Thread ist ein Beitrag, dessen Titel oder Textkörper Formulierungen wie „soll ich kaufen“, „empfehlen“, „unter $“ oder „bestes Messer“ enthält; er wird mithilfe eines regulären Ausdrucks anstatt eines Klassifikators identifiziert. Marken-Häufigkeit für einen Autor ist der Anteil seiner Kommentare, in denen eine Marke genannt wird, gewichtet so, dass das mehrfache Nennen derselben Marke stärker gewichtet wird. Der Tail bezeichnet die Top 5 % der 987 Autoren, die 10 oder mehr Kommentare gepostet haben, gemessen anhand dieser Punktzahl, und umfasst 49 Konten. Er verwendet diesen Scoring-Ansatz, weil ein Konto, das immer wieder zur gleichen Marke zurückkehrt, genau das Produkt ist, das die oben genannten Anbieter verkaufen wollen.

Die Zahlen, die Alarm schlugen

Das Problem besteht darin, herauszufinden, welcher Anteil der Kauf-Thread-Erwähnungen den Tail zufällig hervorbringen würde, unter Berücksichtigung dessen, wie viel jeder postet. Um diese Zahl zu finden, behält er jede Markenerwähnung bei, wo sie steht, innerhalb ihres Threads und mit ihrer Marke verknüpft, während er gleichzeitig die Autorennamen über diese Erwähnungen hinweg mischt, wie das Vermischen von Namensschildern. Ein produktives Konto landet immer noch mit vielen Erwähnungen und ein ruhiges mit wenigen, aber welche Threads ein Konto aufruft, ist nicht mehr an die Person gebunden, die dieses Konto ist. Er wiederholt diesen Vorgang 1.000 Mal und protokolliert den Anteil des Tails bei jeder Ausführung.

Wenn der Tail in Kaufdiskussionen auftaucht, einfach weil er häufig postet, würde eine zufällige Zuweisung erwarten, dass er etwa 7,9 % der Markenerwähnungen dort beisteuert, und fast immer innerhalb des Bereichs von 6,3 % bis 10,1 %. Stattdessen schrieb er 11,3 %. Nur 2 von den 1.000 zufälligen Zuweisungen schafften es, diese Marke zu erreichen.

„Nur 2 von den 1.000 zufälligen Neuzuweisungen erreichten diese Marke.“

Ungefähr eines von neun Kauf-Thread-Empfehlungen stammt von diesen 49 Konten, wenn man sie einfach zählt.

Was das für Käufer von Messern bedeutet

New Knife Day ist die Website des Forschers, die Messer und Stähle dokumentiert und verfolgt, welche Klingen Reddit-Benutzer erwerben und diskutieren. Er profitiert davon, wenn Knife Reddit relevant bleibt. Die Beweise deuten darauf hin, dass sein Interesse möglicherweise nicht mehr sicher ist.

Dass ein Konto einen grossen Anteil der Erwähnungen einer Marke innerhalb von Kaufsträngen verzeichnet, weit über das hinaus, was der Zufall zulassen würde, beweist nicht unbedingt eine Bezahlung für Posts. Ein solches Muster passt zu bezahlten Beiträgen. Das gleiche Muster passt jedoch auch zu engagierten Fans, Mitarbeitern, die in ihrer Freizeit posten, oder regelmässigen Nutzern des eigenen Subreddits der Marke.

Die eigene Aussage des Forschers wiegt schwer. Er weist darauf hin, dass öffentliche Reddit-Daten zeigen können, dass Empfehlungen konzentriert sind, aber nicht erklären können, warum. Die Daten stützen eine Feststellung, nicht eine Schlussfolgerung.

Die Zahlen untermauern eine Beobachtung, nicht aber eine abschliessende Aussage. Der Ermittler hat die Berechnungen abgeschlossen und die Anfrage vorgebracht. Ob die Nadel dort platziert oder zufällig gefunden wurde, bleibt den Daten selbst unbekannt. Dennoch stellen die Zahlen die Frage, und zwar mit echtem Gewicht.

Quellenmaterial: „Hat Reddit ein Problem mit Astroturfing? Was die Daten vermuten“, petervijeh.com.