Scrapy

Présentation

Scrapy est un cadre de collecte en ligne de Python qui permet aux développeurs de demander, d'interpréter et de produire des données par l'intermédiaire d'organisations codées.

Fonctionnalités principales

• Développement de l'escalade : préparation des demandes de pages et logique d'extraction
• Canalisation des données : étapes de traitement des données

Cas d’utilisation

Adapte les développeurs et les équipes qui gèrent les informations Web ouvertes qui sont accessibles ou surveillent les changements de page.

Premiers pas

Tout d'abord, vous confirmez l'accès au site cible, puis vous testez les règles de sélection et de résolution avec un petit nombre de pages. Vérifiez l'intégrité des données, la fréquence des requêtes et des erreurs, et gardez les sources de données et les temps de collecte.

Points à vérifier

Respect des règles du site Web cible et restrictions d'utilisation des données. Ne pas contourner la connexion, les contrôles d'accès ou la collecte de données personnelles qui ne devraient pas être collectées.

Tarifs et disponibilité

Les conditions de compte, les tarifs, les limites d’exportation de fichiers et la disponibilité régionale peuvent évoluer. Vérifiez les conditions officielles en vigueur avant utilisation. Cet annuaire ne garantit aucun quota gratuit ni tarif précis.

Références

Site officiel et informations sur le produit