Scrapy

Apresentação

Scrapy é um framework de coleta baseado em web Python adequado para desenvolvedores solicitarem, interpretarem e produzirem dados através de organizações codificadas.

Principais recursos

• Desenvolvimento de escalada: preparação de pedidos de página e lógica de extração
• Conduítes de dados: etapas de processamento de dados organizacionais

Casos de uso

Adequa-se aos desenvolvedores e equipes que lidam com informações da web abertas que são acessíveis ou monitoram alterações de página.

Primeiros passos

Primeiro, você confirma o acesso ao site alvo, em seguida, você testa as regras de seleção e resolução com um pequeno número de páginas. Verifique a integridade dos dados, a frequência de solicitações e erros, e manter as fontes de dados e os tempos de coleta.

Pontos a verificar

Cumprimento das regras do site alvo e restrições de uso de dados. Não ignorar login, acessar controles ou coletar dados pessoais que não devem ser coletados.

Preços e disponibilidade

Os requisitos de conta, preços, limites de exportação de arquivos e disponibilidade regional podem mudar. Confira os termos oficiais atuais antes de usar o serviço. Este diretório não garante uma cota gratuita nem um preço específico.

Referências

Site oficial e informações do produto