Das Schaben des Inhalts (aka Web Scraping, Web Harvesting, Web Data Mining usw.) ist das Verfahren zum Kopieren von Daten von einer Website. Die "Schaber" (Scheibenwischer) Inhalt sind die Personen oder Software, die die Daten kopieren. Web Scraping ist keine schlechte Sache.

In der Tat sind alle Webbrowser im Grunde Content Scraper. Es gibt viele legitime Zwecke für das Scraping von Inhalten, wie zum Beispiel die Webindizierung für Suchmaschinen.

Siehe unseren Artikel auf So verhindern Sie, dass Google Ihr WordPress-Blog indiziert

Die eigentliche Sorge ist, ob die Inhalte auf Ihrer Website schädlich sind oder nicht. Mitbewerber möchten möglicherweise Ihre Inhalte stehlen und veröffentlichen Sie es als zu ihnen gehörend. Wenn Sie legitime Benutzer von bösen Jungs unterscheiden können, haben Sie eine bessere Chance, sich selbst zu schützen. Dieser Artikel erklärt die Grundlagen des Web-Scraping sowie einige Methoden, um es loszuwerden (oder zumindest ihre Bedeutung verringern).

Aber vorher, wenn Sie WordPress Discover noch nie installiert haben So installieren Sie eine Wordpress-Blog in 7 Schritten et Wie finden, zu installieren und ein Wordpress-Theme auf Ihrem Blog aktivieren 

Dann zurück zu warum wir hier sind.

Inhaltstypen Schaber

Es gibt viele verschiedene Möglichkeiten für Content Scraper, Daten herunterzuladen. Es ist wichtig, die verschiedenen Methoden und die Technologie zu kennen, die sie verwenden. Die Methoden reichen von Low-Technology (eine Person manuell kopieren und einfügen und Inhalt) zu anspruchsvollen Robotern (automatisierte Software, die menschliche Aktivitäten in einem Browser simulieren kann). Hier ist eine Zusammenfassung dessen, was Sie möglicherweise tun müssen:

  • Spiders: Web-Crawlen ist ein wichtiger Bestandteil der Funktionsweise von Content Scrapern. Eine Spinne wie Googlebot Beginnen Sie mit dem Aufrufen einer einzelnen Webseite und wechseln Sie von Link zu Link, um Webseiten herunterzuladen.
  • Shell-Skripten: Sie können Linux Shell verwenden, um Content Scraper mit Skripten wie GNU Wget zum Herunterladen von Inhalten zu erstellen.
  • HTML-Scraper: Sie ähneln Shell-Skripten. Diese Art von Schaber ist sehr verbreitet. Es funktioniert, indem die HTML-Struktur einer Website abgerufen wird, um Daten zu finden.
  • Bildschirme: Ein Bildschirmwischer ist ein Programm, das Daten von einer Website erfasst, indem es das Verhalten eines menschlichen Benutzers nachahmt, der einen Computer zum Surfen im Internet verwendet.
  • menschliche Kopie: Hier kopiert eine Person manuell Inhalte von Ihrer Website. Wenn Sie jemals online gepostet haben, haben Sie möglicherweise bemerkt, dass Plagiate weit verbreitet sind. Nachdem die anfängliche Schmeichelei nachgelassen hat, passt die Realität, dass jemand von Ihrem Job profitiert.

Es gibt mehrere Möglichkeiten, dasselbe zu tun. Die oben aufgeführten Schaberkategorien sind keine vollständige Liste. Außerdem gibt es viele Überschneidungen zwischen den Kategorien.

Lesen Sie auch unseren Artikel über Wie und warum eine qualitative Prüfung der Inhalte

So schützen Sie Ihr Blog

Schützen Sie ein Blog vor Content Scraper

1. Ratenbegrenzung und Blockierung

Sie können viele Bots abwehren, indem Sie das Problem zuerst erkennen. Es ist typisch für einen automatisierten Roboter Spam auf Ihrem Server mit einer außergewöhnlich hohen Anzahl von Anfragen. Die Ratenbegrenzung begrenzt, wie der Name schon sagt, die Serveranforderungen eines einzelnen Clients durch Festlegen einer Regel.

Sie können beispielsweise die Millisekunden zwischen Anforderungen messen. Wenn die Interaktion mit Ihrer Website zu schnell ist, wissen Sie, dass es sich um einen Bot handelt. Danach Blockieren Sie diese IP-Adresse. Sie können IP-Adressen anhand einer Reihe von Kriterien blockieren, einschließlich ihres Herkunftslandes.

2. Registrierung und Verbindung

Registrierung und Login sind eine beliebte Methode, um Inhalte von neugierigen Blicken fernzuhalten. Sie können den Fortschritt der Roboter behindern. Sie müssen lediglich den Zugriff auf Ihre Inhalte von einer Verbindung abhängig machen. Hier gelten die Grundlagen der Verbindungssicherheit. Beachten Sie, dass Seiten, für die eine Registrierung und Anmeldung erforderlich ist, nicht von Suchmaschinen indiziert werden.

3. Honeypots und falsche Daten

In der Informatik sind "Honeypots" virtuelle Stacheloperationen. Sie fassen potenzielle Angreifer zusammen, indem Sie mit einem Honeypot Fallen stellen, um den Datenverkehr von Inhaltsschabern zu erkennen. Es gibt unendlich viele Möglichkeiten, dies zu tun.

Sie können beispielsweise einen unsichtbaren Link auf Ihrer Webseite hinzufügen. Erstellen Sie als Nächstes einen Algorithmus, der die IP-Adresse des Clients blockiert, der auf den Link geklickt hat. Anspruchsvollere Honeypots können schwierig einzurichten und zu warten sein. Die gute Nachricht ist, dass es viele Open-Source-Honeypot-Projekte gibt. Schauen Sie sich das großartig an Liste der fantastischen Honeypots auf Github.

4. Verwenden Sie ein CAPTCHA

Captcha bedeutet " Vollständig automatisiert öffentlichen Turing-Test Neben Computer und Menschen zu sagen, im Grunde ein Test, um den Unterschied zwischen Menschen und Robotern zu erkennen. Captchas können langweilig sein, aber sie sind auch nützlich. Sie können a verwenden, um Bereiche zu blockieren, von denen Sie glauben, dass ein Bot darauf abzielen könnte, z. B. eine E-Mail-Schaltfläche auf Ihrem Kontaktformular. Es gibt viele gute Captcha-Plugins, die auf WordPress verfügbar sind, darunter das „ Captcha Von Jetpack.

Entdecken Sie auch einige Premium-WordPress-Plugins  

Sie können andere verwenden Wordpress-Plugins um ein modernes Erscheinungsbild zu geben und die Handhabung Ihres Blogs oder Ihrer Website zu optimieren.

Wir bieten Ihnen hier einige Premium-WordPress-Plugins an, die Ihnen dabei helfen werden.

1. Stripe für Arforms

ARForms verfügt über eine neue Erweiterung, die Zahlungen über das Stripe-Zahlungsgateway akzeptiert. Es heißt "ARForms Stripe". Letzteres integriert Formulareingaben und Zahlungen in einen einzigen Prozess.

Streifen für Formen

Sie können Kunden in Rechnung stellen mit einem dynamischen Betrag unmittelbar nach dem Absenden des ARForms-Formulars.

Lesen Sie auch unseren Artikel über Wie man verwendet Streifen auf WooCommerce and Easy Digitaler Download

Sie müssen nur ein Formular mit ARForms erstellen, es mit Stripe konfigurieren und alles ist erledigt! Sie können die Zahlung per Stripe in kürzester Zeit einstellen.

Herunterladen | Demo | Web-Hosting

2.AX Social Stream

Wenn du willst Zeigen Sie mehrere Social Media-Feeds auf Ihrer Website an, dann das Plugin WordPress-Social-Board Sie können dies tun, indem Sie sechs Möglichkeiten zum Anzeigen Ihrer Kontoaktivität bereitstellen. Sie profitieren außerdem von der Unterstützung von 17 sozialen Netzwerken und mehreren anpassbaren Layouts.

Axe Social Stream WordPress Plugin

Zu den Funktionen gehören unter anderem: 6 verschiedene Feed-Anzeigemodi, Unterstützung für eine große Mehrheit der sozialen Netzwerke, vollständig ansprechendes Layout, Unterstützung für Werbebanner, Mehrsprachige Unterstützung, ein Themenmanager, detaillierte Dokumentation, etc ...

Herunterladen | Demo | Web-Hosting

3. Interaktive Weltkarten

Mit interaktiven Weltkarten können Sie so viele Geolokalisierungskarten erstellen, wie Sie möchten, Kontinente, Länder oder Regionen… und dies mit interaktiven und farbigen Markierungen.

Interaktive Weltkarten

Es ist kompatibel mit den neuesten Versionen von WordPress und passt perfekt zu Visual Composer Plugin.

Unsere Ideen für 8 WordPress Plugins zur Anpassung des Aussehens Ihrer Website

Dank Interactive World Maps können Sie verschiedene Arten von Regionen anzeigen, z. B.: Eine Karte der ganzen Welt, einen Kontinent oder einen Subkontinent, ein Land und vieles mehr.

Herunterladen Demo | Web-Hosting

Andere empfohlene Ressourcen

Wir laden Sie außerdem ein, die unten aufgeführten Ressourcen zu konsultieren, um die Kontrolle und Kontrolle Ihrer Website und Ihres Blogs zu verbessern.

Zusammenfassung

Es! Das ist alles für dieses Tutorial. Ich hoffe, es hilft Ihnen dabei, eine praktische To-Do-Liste zu erstellen, um Ihre Wordpress-BlogZögere nicht zu Teilen Sie den Tipp mit Ihren Freunden in Ihren sozialen Netzwerken.

Sie können jedoch auch unsere RessourcenWenn Sie mehr Elemente benötigen, um Ihre Projekte zur Erstellung von Internetseiten durchzuführen, konsultieren Sie unseren Leitfaden auf der WordPress-Blog-Erstellung.

Aber erzählen Sie uns in der Zwischenzeit von Ihrem commentaires und Vorschläge im entsprechenden Abschnitt.

...