O que são Crawlers? Normalmente as pessoas simplesmente escutam “robô do Google”, por exemplo, e acham que eles são robôs reais , que ficam passeando pela internet. Por isso decidi explicar com mais calma o que são crawlers.
Lista de Conteúdo
Detalhe importante antes de iniciar a explicação
Diversos programas e buscadores, sites de busca, possuem seu próprio crawler, não é algo exclusivo do Google. 🙂
O que são Crawlers e por que você deveria saber mais sobre eles?
Os crawlers são os chamados “Robozinhos do Google”. Isso basicamente significa que esses programas (sim, os crawlers não tem um corpo físico e nem fazem bip bip) são usados pelo Google para localizar e categorizar a informação dos sites da internet.
Por isso mesmo é importante que você entenda que esses robôs são parte indispensável do processo do SEO, já que eles fazem a leitura do seu site e em resumo, são aquele “outro público” acessando seu site que você precisa atender.
Como isto funciona?
O Google constantemente navega pela internet através dos links, pulando de um site para outro se forem links externos, e pulando de página em página do seu website se forem links internos.
Ao fazer isto, podemos dizer que o Google está “crawleando” seu site, lendo o conteúdo, entendendo o código fonte e inserindo estes dados na base de dados do Google, que futuramente podem ou não ser inseridas no índice de pesquisas do Google.
Como assim Pode ou Não ser Inserido no Google?
O que acontece é que o Google “crawleia” seu site e de milhares de outras pessoas, o tempo todo, e somente o que o Google entender ser relevante é que irá ser indexado no índice de pesquisas do Google.
O que é relevante?
Para resumir, seu conteúdo precisa ser relevante, bom aos olhos do Google para ser indexado.
Se eu não tiver nada relevante?
Se o seu conteúdo for de muito baixa qualidade, copiado ou simplesmente algo que o Google não goste, ele será sim “crawleado” mas não será indexado, então o conteúdo em questão será sempre visto pelo Google mas não será mostrado na pesquisa do Google.
