Script que obtém informações disponibilizadas a bots pelos sites
Publicado por Renato Alencar (última atualização em 05/02/2014)
[ Hits: 5.775 ]
O script é uma mão na roda pra quem cria bots pra vasculhar sites, é com esse arquivo que não se permite mostrar algum arquivo que o admin do site não quer que apareça nas pesquisas (do Google, por exemplo). É também útil pra se aprender como usar o pacote httplib2.
O script é bem simples e funciona via linha de comando. Se você não tem o httplib2 instalado, você pode baixá-lo em: http://code.google.com/p/httplib2/
Uso:
$ ./getrobots.py <URL>
#!/usr/bin/python # -*- coding: utf-8 -*- # Baixa o arquivo robots.txt do site dado como parametro # # O arquivo robots.txt contem definições para bots que acessam o site # é usado por exemplo pelo bot de pesquisa do Google. # É necessario o pacote httplib2 para se conectar import httplib2 import sys # Faz a requisição HTTP e obtem o arquivo def getRobot(site): # TODO: Criar rotina de validação client = httplib2.Http() response = client.request('http://%s/robots.txt' % site) # Retorna o objeto response return response def main(): if len(sys.argv) < 2: raise Exception, "Use: %s <site>" % sys.argv[0] r = getRobot(sys.argv[1]) if r[0]['status'] <> '200': raise Exception, "CODE %s" % r[0]['status'] print r[1] if __name__ == '__main__': main()
CotDolar - Cotação do dólar em Python
Script em Python 3.6 para fazer scrape de uma URL exportando métricas no formato Prometheus
Nenhum coment�rio foi encontrado.
Aprenda a Gerenciar Permissões de Arquivos no Linux
Como transformar um áudio em vídeo com efeito de forma de onda (wave form)
Como aprovar Pull Requests em seu repositório Github via linha de comando
Visualizar arquivos em formato markdown (ex.: README.md) pelo terminal
Dando - teoricamente - um gás no Gnome-Shell do Arch Linux
Como instalar o Google Cloud CLI no Ubuntu/Debian
Mantenha seu Sistema Leve e Rápido com a Limpeza do APT!
Procurando vídeos de YouTube pelo terminal e assistindo via mpv (2025)
Pastas da raiz foram para a área de trabalho [RESOLVIDO] (7)
Sinto uma leve lentidão ao arrastar, miniminizar e restauras as janela... (0)
Zorin OS - Virtual Box não consigo abrir maquinas virtuais (6)