Módulo 3 — Robots, Sitemap, Search Console e Velocidade

Este é o terceiro e último vídeo do Curso de SEO On Page Descomplicado, e nele o Paulo Teixeira fecha o curso com a parte mais técnica — mas, como ele faz questão de dizer, só coisa simples, nada que exija mexer em programação.

Você vai aprender o que é o arquivo robots (e qual configuração padrão usar para o buscador poder indexar tudo), o que é o sitemap e como gerá-lo (no WordPress com plugin ou manualmente para sites em HTML), e como cadastrar e validar o seu site no Search Console, enviando robots e sitemap e forçando a indexação para o Google achar o site em minutos, em vez de esperar dias.

A segunda metade é sobre velocidade de carregamento, que é fator de ranqueamento. Com o PageSpeed Insights medindo antes e depois, o Paulo aplica três otimizações: um plugin de cache, a compactação gzip no servidor (via cPanel) e a otimização de imagens que o próprio Google entrega prontas — saindo de notas vermelhas para o verde.

No fim, a mensagem central do curso: a maioria não faz SEO on page por não saber ou por preguiça. Fazendo direito, você já se diferencia de boa parte dos concorrentes.

Transcrição da aula

O que vem neste módulo

Olá, aqui é o Paulo Teixeira, e este é o nosso terceiro vídeo, o último do curso gratuito de SEO on page, o Módulo 3. Aqui a gente vê uma parte um pouco mais técnica: Search Console, Robots, Sitemap, cache e uma dica para aumentar a velocidade do site — que é, sim, um fator de ranqueamento.

Complementando o módulo 2 sobre URL canônica: se você usa o plugin All in One SEO e quer manipular a canônica manualmente, ative a opção de URL canônica personalizada nas configurações e salve. Aí, em cada postagem, vai aparecer um campo embaixo para você definir a canônica na mão. Existe também um plugin específico só para isso, caso você use outro plugin de SEO.

O arquivo robots

Vou explicar de forma rápida e resumida. O robots é basicamente um arquivo .txt que diz ao buscador por onde ele pode (ou não pode) andar dentro da hospedagem. Ele tanto libera quanto bloqueia: você pode, por exemplo, dizer ao buscador para não acessar nem indexar uma determinada pasta (com Disallow).

Eu vejo gente reclamando que o site nunca indexa, e quando olho o robots ele está travado — desabilitando tudo. Às vezes o próprio plugin de SEO modifica o robots e trava.

Para ficar simples e funcionar em todos os projetos, eu recomendo um robots bem padrão, que libera todos os buscadores a rastrear o site inteiro:

User-agent: *
Allow: /

O * significa "todos os robôs" e a / (a barra raiz) significa "o site inteiro". É só isso que o meu robots tem. Se você quiser um robots mais avançado, pesquise outras dicas, mas na minha opinião é desnecessário — eu uso assim e funciona em tudo. Eu só quero que o robots fale para o buscador: "pode indexar".

Criando o robots no cPanel

Você acessa por FTP ou pelo painel de controle da hospedagem. Eu uso cPanel e recomendo altamente hospedagens com cPanel: é difícil dar problema (ele controla PHP, banco de dados, tudo), facilita o uso e a geração de backup, e torna a migração de servidor bem simples.

No cPanel:

1. Abra o Gerenciador de Arquivos e entre em public_html.
2. Se não houver robots ali, é só criar. (Se precisar ver arquivos ocultos, como o .htaccess, ative "Mostrar arquivos ocultos" nas configurações.)
3. Clique em Arquivo, nomeie como robots.txt e crie.
4. Selecione o arquivo, clique em Editar código e cole exatamente aquela configuração padrão (vou deixar na descrição do vídeo para facilitar o copia-e-cola).
5. Salve e feche.

Sempre teste depois: acesse seudominio.com.br/robots.txt no navegador para confirmar que ficou certo (dá um refresh se estiver mostrando a versão antiga).

O sitemap

O sitemap cria um mapa do seu site e ajuda o buscador a indexar as páginas. Existem várias formas de gerar:

• WordPress: com plugin (vou mostrar o que eu uso).
• E-commerce: geralmente a própria plataforma gera o sitemap automaticamente, ou você consulta o desenvolvedor.
• Site em HTML "seco": use um gerador online. Pesquise por sitemap generator no Google, escolha um, cole a URL, defina a frequência (diária, semanal) e dê Start. Ele lê o site e gera o arquivo sitemap.xml (a versão gratuita costuma ir até 500 páginas). Aí é só baixar e enviar para a raiz do site (via FTP ou cPanel).

Entendendo as notas do sitemap

Abrindo o sitemap.xml, você vê cada URL com uma prioridade, que vai de 1 (máxima) para baixo:

• A home é sempre 1 — não coloque outra página como 1.
• Páginas bem importantes: 0.8.
• Páginas medianas: 0.6.
• Páginas de baixa importância: 0.4 ou 0.2.

Essa prioridade é uma orientação de leitura para o buscador (quem lê o sitemap é o robô, não o ser humano).

Gerando o sitemap no WordPress com plugin

Eu prefiro gerar no WordPress, então apago o sitemap manual e instalo o plugin Google XML Sitemaps (o nome certinho fica na descrição). Em Plugins → Adicionar novo, pesquise por esse nome, instale e ative.

Depois, em Configurações → XML-Sitemap, o importante é definir quais conteúdos vão para o sitemap:

• Marque a página principal, os artigos e as páginas estáticas (contato, quem somos etc.).
• Eu não coloco categorias e arquivos, porque isso gera conteúdo duplicado no Google. É por isso que gosto desse plugin: ele me deixa selecionar o que entra, em vez de mandar tudo.

Nas prioridades, dá para iniciar a home em 1 e ajustar artigos/páginas conforme o tipo de site. Num blog onde todas as postagens são importantes para mim, eu coloco os artigos em 0.8.

Tem ainda o cálculo automático de prioridade (baseado em comentários): se a postagem tem muita interação, ele sobe a prioridade dela. Em site institucional, desabilite. Em blog com muitos comentários, pode deixar. Eu, nos meus projetos, deixo desabilitado, porque não considero que uma postagem sem comentário seja menos importante — tudo que eu publico é importante para mim. Clique em Atualizar e pronto.

O plugin organiza o sitemap em vários arquivos (um "índice" e listas por mês), o que é ótimo: um sitemap com 10 mil itens numa página só travaria a leitura do Google. Assim ele lê mais rápido.

Páginas adicionais: esse plugin permite cadastrar manualmente uma URL que não foi criada no WordPress (um hotsite, uma página avulsa) para que ela também entre no sitemap. Você coloca a URL, a prioridade, a frequência e, opcionalmente, a data da última alteração (isso ajuda o buscador a atualizar o conteúdo com mais eficiência). Ela fica numa parte "external" do sitemap.

Search Console: cadastro e validação

Com robots e sitemap prontos, vamos ao Search Console para cadastrar o site e indexar mais rápido, sem depender da boa vontade do Google.

Para ver se o seu site já está indexado, pesquise no Google: site:seudominio.com.br (sem o http). Se não aparecer nada, ele não está indexado.

Para cadastrar, pesquise por Search Console e acesse. Você precisa de uma conta Google (Gmail) — se não tiver, dá para criar na hora.

Dentro do Search Console aparecem todos os seus sites. (Pode haver sites compartilhados ali — às vezes o desenvolvedor cadastra o site no Search Console dele e compartilha a propriedade com o cliente.)

1. Clique em Adicionar uma propriedade e informe a URL. Eu prefiro usar sem os 3W nos projetos atuais. Se o site tem HTTPS, coloque com HTTPS.
2. O Google oferece métodos de validação. Vou explicar dois:
   • Tag HTML: você copia um código <meta> e cola no campo de verificação de webmaster do seu plugin de SEO (All in One SEO, Yoast — quase todos têm esse campo). Cole, deixe só o conteúdo entre as aspas conforme o Google indica, salve e clique em Verificar.
   • Arquivo HTML (alternativo): você baixa um arquivo e envia para a raiz do site (public_html) via FTP ou cPanel. Depois marque o "não sou robô" e clique em Verificar.

Vou usar o método do arquivo, porque ele serve para qualquer um, não só para quem tem WordPress. Validou: a propriedade está confirmada.

Sobre cadastrar várias versões (com/sem 3W, com/sem HTTPS): eu não vejo necessidade se você trabalhar com redirects no .htaccess — quem entra com 3W cai sem 3W (ou vice-versa), e quem entra em HTTP cai em HTTPS. Aí você cadastra no Search Console só a versão correta. Pesquise no Google sobre esse tipo de redirect.

Enviando o sitemap e o robots

• Sitemap: clique em adicionar sitemap e escreva sitemap.xml. Envie, abra para conferir se está carregando pela URL. A leitura demora um pouco (pode ficar "pendente" até ele achar as páginas). O motivo de a gente cadastrar o endereço é que algumas plataformas usam um nome de sitemap diferente.
• Robots: em Testar robots.txt, às vezes ele mostra um robots antigo (de antes). Clique em Enviar e peça ao Google para atualizar. Confira de novo: ele passa a reconhecer o robots correto. Aqui não se cadastra URL nenhuma, porque o robots fica sempre no mesmo nome.

Forçando a indexação

Se você não fizer mais nada, o Google vai lá no sitemap, segue a regra do robots e indexa — mas pode demorar um ou dois dias. Para acelerar:

1. Em Buscar como o Google (Rastreamento), deixe o campo da URL vazio se for a raiz do site, mantenha a opção Computador e clique em Buscar e renderizar. O Google vai visitar o site como um robô.
2. Concluído, clique em Solicitar indexação.
3. Aparecem duas opções:
   • Rastrear somente esta URL — indexa só aquela página.
   • Rastrear esta URL e todos os seus links diretos — indexa a página e todas as que estão linkadas nela. No primeiro cadastro, use a segunda opção, para ele pegar a home e todas as postagens linkadas ali. Marque o "não sou robô" e avance.

Quando você força assim, o site costuma ser indexado em minutos — muitas vezes em menos de dez. Para indexar uma página específica depois, é o mesmo caminho: copie a URL, use Buscar como o Google, cole só o final da URL e solicite a indexação (para uma URL só, use "rastrear somente esta URL", já que a opção com links diretos tem limite de uso).

Depois que o site está no Search Console, isso passa a ser automático: a cada nova postagem, o WordPress avisa o Google, e o sitemap cadastrado faz o Google voltar de tempos em tempos.

Velocidade: por que importa

Velocidade de carregamento é um daqueles milhares de fatores de ranqueamento, e muita gente não dá bola para ela. Vou aplicar três otimizações e medir antes e depois com o PageSpeed Insights do Google — uma ferramenta que testa o carregamento em mobile e desktop e dá uma nota:

• Vermelho: ruim.
• Amarelo: OK.
• Verde: ótimo.

A meta é a maior nota possível. Dependendo do tema, nem sempre dá para chegar ao verde, mas o objetivo é fugir do vermelho. No teste inicial, o site sem otimização nenhuma deu algo como 37/100 no mobile e 44/100 no desktop — nota horrível, mas normal para quem nunca otimizou.

Otimização 1: plugin de cache

O primeiro passo é um plugin de cache no WordPress. (Em e-commerce, verifique se a plataforma tem algo equivalente.) Instale e ative o plugin de cache. Nas opções, marque:

• Ativar o cache e o preload das páginas.
• Não mostrar cache para quem está logado.
• Limpar o cache em posts novos e atualizados (importante, senão dá problema em categorias e relacionados).

As opções de minificar HTML/CSS, combinar arquivos CSS/JS e GZIP podem dar conflito dependendo do tema — principalmente combinar JavaScript (jQuery costuma quebrar). A recomendação é ativar aos poucos: ative uma parte, use o site por dois ou três minutos testando tudo (categorias, formulário de contato, animações), e só então ative o resto. Se algo parar de funcionar, vá desmarcando até descobrir qual opção causou o problema, e deixe essa desativada. O GZIP e o browser cache, em geral, não dão problema.

Depois de salvar, limpe todos os caches (inclusive os minificados), porque às vezes o plugin cria um cache paralelo mesmo sem você marcar. Navegue de novo no site para garantir que está tudo certo.

Por que tanto teste? Porque os problemas de cache normalmente são coisas de jQuery: um banner, uma animação, uma caixinha que aparece, um CSS que você ajustou na mão. Não dá para só olhar a nota e confiar — eu testo categoria, formulário, tudo.

No meu teste, o cache levou o mobile para algo em torno de 69 e o desktop para perto de 83 — praticamente dobrou.

Otimização 2: compactação gzip no servidor (cPanel)

Aqui aparece outra vantagem do cPanel. Procure no painel um botão de Otimizar site (nas versões mais antigas o botão costuma ter nome parecido). Dentro dele, selecione Compactar todo o conteúdo — o servidor passa a compactar os arquivos (gzip) antes de enviar ao navegador. Clique em Atualizar configurações.

Atualizei e medi de novo: o mobile subiu para cerca de 72 e o desktop chegou a 90 — verde. Eu sempre tento deixar os sites no verde.

Em e-commerce é mais difícil, porque a plataforma não tem as mesmas facilidades de cache do WordPress. Faça o teste até no Walmart e veja a nota — e-commerce é mais complicado mesmo. Nesses casos, tente a melhor nota possível.

Otimização 3: imagens otimizadas pelo Google

A terceira otimização é a de imagens, que dá muito trabalho na mão e às vezes faz perder qualidade. O próprio PageSpeed resolve isso: na seção "Otimizar imagens" há um link para fazer o download dos recursos otimizados (imagens, JavaScript e CSS) do seu site.

Atenção importante: se ele entregar JavaScript e CSS minificados, sempre faça backup dos seus arquivos originais antes de substituir. O minificado coloca tudo numa linha só e fica praticamente impossível de editar depois. Para imagens não tem esse risco — pode substituir tranquilo. (Se você precisar fazer alguma mudança visual, edite o backup e gere o pacote de novo.)

No meu caso, o download veio só com imagens (o JS e o CSS já estavam bons por causa do cache). Aí é só jogar as imagens nos caminhos indicados (ex.: wp-content/uploads/2016/12/), via FTP ou cPanel, substituindo as originais. As imagens otimizadas pelo Google sempre funcionam, não precisa testar.

Medindo mais uma vez: o desktop chegou a 91. É difícil ver um site em 91 — para comparar, a página do Google deu 95 (mas o Google ali é basicamente uma logo e uma caixa de busca).

Não entre em desespero querendo resolver todos os avisos. Coisas como "eliminar JavaScript/CSS que bloqueia a renderização" são complicadas, têm pouco material e consomem muito tempo. Deixe assim mesmo — você já vai estar à frente de muita gente. Boa parte dos seus concorrentes está no vermelho.

Encerramento do curso

Voltando ao Search Console: nesse meio-tempo o site já foi indexado. Viu como é rápido quando você força a indexação?

E assim a gente finaliza o terceiro módulo e o curso de SEO on page. Tentei passar toda a minha experiência com essas estratégias para você se diferenciar dos concorrentes. Ao longo desses 15 anos atendendo clientes, eu vejo que a maioria não faz SEO on page por dois motivos: ou não sabe que poderia fazer algo diferente, ou tem preguiça — muitas vezes os dois juntos. Fazendo direito, você já sai na frente.