Lees de artikelen achter paywalls door zich als Googlebot

0
255

Het Internet is een omslagpunt. De aanhoudende stijging van adblocking een einde heeft gemaakt aan het revenue model dat zich uitsluitend baseert op ad dollars om te werken websites en bedrijven.

Vooral nieuwssites hebben de slag om te experimenteren met manieren om inkomsten te diversifiëren bronnen, en een prominente optie die sites zoals De Wall Street Journal, Financial Times, De New York Times of De Washington Post hebben allemaal geïmplementeerd is de paywall-systeem.

Er zijn verschillende soorten van paywalls, maar ze hebben allemaal gemeen dat ze blokkeren de toegang tot content, hetzij direct of na een bepaald aantal artikelen zijn te lezen op de site.

Bezoekers worden verzocht in te schrijven op de site om verder te lezen artikelen.

news site paywall

Het kan zinvol zijn vanuit een zakelijk oogpunt, en kan worden lucratiever dan de strijd aan met de gebruikers van adblockers, maar er is een keerzijde aan het zowel voor de paywalled site en de geblokkeerde gebruiker.

Sites verliest een hoog percentage van de bezoekers als zij bij de uitvoering van een paywall-systeem. Het is onduidelijk hoe hoog het percentage is echt, en het is waarschijnlijk varieert van site tot site, maar het is waarschijnlijk veel hoger dan het percentage van bezoekers die zich op de site na te zijn geconfronteerd met de keuze om je te abonneren lezen van het gewenste artikel.

Masquerade uw browser

Het is geen geheim dat nieuwssites toegang tot nieuws aggregatoren en zoekmachines. Als u het selectievakje Google Nieuws of Zoek bijvoorbeeld, u vindt er artikelen van websites met paywalls er vermeld.

In het verleden, nieuws sites toegang aan bezoekers van het belangrijkste nieuws aggregators zoals Reddit, Digg of Slashdot, maar dat de praktijk lijkt zo goed als dood tegenwoordig.

Een andere truc, te plakken in de titel van het artikel in een zoekmachine te lezen in de cache verhaal op het direct, lijkt niet meer goed functioneren, alsmede artikelen over sites met paywalls zijn meestal niet in de cache meer.

User-Agent en Verwijzer

Vraag je je waarschijnlijk af hoe sites blokkeren of toegang tot de content van de site. De methoden hebben verbeterd over de jaren, en het is niet langer voldoende om alleen het wijzigen van de referrer van de browser https://www.google.com/ om volledige toegang te krijgen tot de inhoud van een site.

In plaats daarvan, sites maken gebruik van diverse controles die zijn user-agent, verwijzer en koekjes, en soms zelfs meer dan dat, om te bepalen van de legitimiteit van de toegang.

Algemene informatie

Waarschijnlijk de beste manier om de maskerade van de browser te maken lijken te worden Googlebot.

  • Referrer: https://www.google.com/
  • User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html

Firefox

referrer

Firefox gebruikers moeten twee van de browser add-ons voor dat: de eerste, RefControl, tot wijziging van de verwijzer waarde bij het bezoeken van nieuwssites, het tweede, User-Agent Switcher, wijzigen van de user-agent van de browser.

  1. Downloaden en installeren van extensies in de Firefox web browser.
  2. Druk op de Alt-toets en selecteer Instrumenten > RefControl Opties.
  3. Klik op “site toevoegen”, typ een domein naam onder de site, selecteert u aangepaste actie en voer https://www.google.com/ als de referrer.
  4. Herhaal dit voor alle nieuws sites waartoe u toegang wilt (sommigen kunnen niet werken, zelfs als u de wijzigingen aanbrengt, dus hou dat in gedachten).
  5. Wanneer u klaar bent, sluit u het venster configuratie.
  6. Druk op de Alt-toets en selecteer Instrumenten > Default User Agent > Edit User Agents uit het menu.
  7. Selecteer Nieuw > User-Agent, en het vervangen van de snaar in de User-Agent veld met Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). De naam van het Googlebot.
  8. Het menu te verlaten.
  9. Voordat u toegang tot deze sites, tik dan op Alt en selecteer Default User Agent > Googlebot.

Dit is alles wat er is. Het is een beetje jammer dat er geen extensie voor Firefox die veranderingen in de user-agent automatisch gebaseerd op de sites die je bezoekt.

Google Chrome

Google Chrome-gebruikers kunnen installeren van extensies, zoals User Agent Switcher en Referer Controle die beschikbaar zijn voor de browser om hetzelfde te doen.

Er is echter een andere mogelijkheid, en dat is het maken van een aangepaste extensie die automatiseert het proces in de browser.

Instructies worden verstrekt op Elaineou. Al duurt het, in principe, is het maken van een nieuwe map op de lokale computer, maakt u de twee bestanden background.js en manifesteren.json in, en kopieer en plak de code te vinden op de site in de bestanden.

U moet inschakelen “developer mode” chrome://extensions/, en selecteer vervolgens “load uitgepakt extensie” kies de map die u hebt gemaakt, worden de twee bestanden in te laden van de extensie in Chrome.

U kan wijzigingen in de lijst van sites ondersteunt om nieuwe toe te voegen.