Lesen Sie die Artikel hinter paywalls, indem Sie sich als Googlebot

0
417

Das Internet ist an einem kritischen Punkt. Der stetige Aufstieg von adblocking hat ein Ende der Einnahmen-Modell, das stützt sich ausschließlich auf ad-Dollar für den Betrieb von Webseiten und Unternehmen.

Vor allem Nachrichten-Websites haben begonnen, zu Experimentieren mit Möglichkeiten zur Diversifizierung der Einnahmequellen, und ein prominenter option, Webseiten wie The Wall Street Journal, Financial Times, Die New York Times oder Der Washington Post haben alle umgesetzt, ist die paywall-system.

Es gibt verschiedene Arten von paywalls, aber Sie alle haben gemeinsam, dass Sie blockieren Sie den Zugriff auf Inhalte, die entweder direkt oder nach einer bestimmten Anzahl von Artikeln, die gelesen wurden, auf der Baustelle.

Die Besucher werden dann gebeten, zu abonnieren auf der Website zu Lesen Sie Artikel auf es.

news site paywall

Kann es Sinn machen, aus einer business-Sicht, und möglicherweise lukrativer ist als der Kampf mit Benutzern, die laufen, Adblocker, aber es ist ein Nachteil, den es sowohl für die paywalled site und den blockierten Benutzer.

Websites verlieren einen hohen Prozentsatz der Besucher, wenn Sie implementieren eine paywall-system. Es ist unklar, wie hoch der Prozentsatz wirklich ist, und es wahrscheinlich ist, variiert von site zu site, aber es ist wahrscheinlich viel höher als der Anteil der Besucher, abonnieren auf der Website nach vorgestellt, mit der Wahl zu abonnieren, um Lesen Sie den gewünschten Artikel.

Masquerade Ihrem browser

Es ist kein Geheimnis, dass die news-Seiten erlauben den Zugriff auf news-Aggregatoren und Suchmaschinen. Wenn Sie das Kontrollkästchen Google News oder Suche zum Beispiel finden Sie Artikel von Seiten mit paywalls dort aufgeführt.

In der Vergangenheit, news-Seiten zugreifen dürfen, um die Besucher von den großen news-Aggregatoren wie Reddit, Digg oder Slashdot, aber diese Praxis scheint zu sein, so gut wie tot heutzutage.

Ein weiterer trick ist, fügen Sie den Titel des Artikels in eine Suchmaschine zu Lesen, die Cache Geschichte, die auf es direkt, funktioniert anscheinend nicht mehr richtig, wie gut als Artikel auf Seiten mit paywalls sind in der Regel nicht zwischengespeichert mehr.

User-Agent und Referrer

Sie sind wahrscheinlich Fragen, wie man Websites blockieren oder erlauben den Zugang zu der Website-Inhalte. Die Methoden haben sich im Laufe der Jahre verbessert, und es reicht nicht mehr, ändern Sie einfach den referrer im browser, um https://www.google.com/, um vollen Zugriff auf den Inhalt einer Webseite.

Stattdessen Websites verwenden verschiedene Prüfungen, die gehören user-agent, referrer und cookies, und manchmal sogar mehr als, dass, um zu bestimmen, die Legitimität des Zugriffs.

Allgemeine Informationen

Wahrscheinlich der beste Weg, um maskerade, die browser machen es zu sein scheinen Googlebot.

  • Referrer: https://www.google.com/
  • User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html

Firefox

referrer

Firefox-Nutzer müssen zwei browser-add-ons: der erste, RefControl, zur änderung der referrer-Wert beim Besuch von news-Seiten, die zweite, User-Agent-Switcher zum ändern der user-agent des Browsers.

  1. Herunterladen und installieren von Erweiterungen in den Firefox web-browser.
  2. Tippen Sie auf die Alt-Taste, und wählen Sie Extras – > RefControl Optionen.
  3. Klicken Sie auf “site hinzufügen”, geben Sie einen domain-Namen unter Website, wählen Sie benutzerdefinierte Aktion, und geben Sie https://www.google.com/ als referrer.
  4. Wiederholen Sie dies für alle Nachrichten-Websites, die Sie zugreifen möchten (einige können nicht arbeiten, selbst wenn Sie die änderungen vorgenommen haben, also behalte das im Hinterkopf).
  5. Wenn Sie fertig sind, schließen Sie das Fenster Konfiguration.
  6. Tippen Sie auf die Alt-Taste erneut, und wählen Sie Extras – > Default User Agent – > Edit User-Agents aus dem Menü.
  7. Wählen Sie ” Neu ” > ” User-Agent, und ersetzen Sie die Zeichenfolge in der Benutzer-Agent-Feld mit Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). Name it Googlebot.
  8. Verlassen Sie das Menü.
  9. Bevor Sie Zugriff auf diese Websites, Tippen Sie auf die Alt-Taste und wählen Sie ” Default User Agent – > Googlebot.

Das ist alles dort ist zu ihm. Es ist ein bisschen bedauerlich, dass es keine Erweiterung für Firefox, die änderungen der user-agent automatisch auf die Seiten, die Sie besuchen.

Google Chrome

Google Chrome-Nutzer können die Installation von Erweiterungen wie User-Agent-Switcher und die Referer-Kontrolle für die browser, das gleiche zu tun.

Es gibt jedoch eine andere Möglichkeit, und das ist, um eine benutzerdefinierte Erweiterung, die automatisiert den Prozess im browser.

Anleitungen sind auf Elaineou. Alles, das es nimmt, ist im Grunde genommen erstellen Sie ein neues Verzeichnis auf dem lokalen computer erstellen Sie die beiden Dateien background.js und manifestieren.json drin, und kopieren und fügen Sie den code auf der Website gefunden in den Dateien.

Sie müssen aktivieren Sie “Entwickler-Modus” in chrome://extensions/ und kann dann wählen Sie “load unpacked extension” , wählen Sie den Ordner, die Sie erstellt haben, die beiden Dateien in laden Sie die Erweiterung im Chrome.

Sie können ändern Sie die Liste der sites, die er unterstützt neue hinzufügen.