Por que site maps são importantes?

Vários projetos de web site desenvolvidos pela empresa onde eu trabalho possuem em sua descrição de desenvolvimento o SiteMap. O motivo de incluirmos este tipo de ferramenta no desenvolvimento de um web site é bastante importante.

Quando eu falo em Sitemap, não estou falando sobre uma página listando todas as opções de navegação, como você já deve ter visto muitas vezes em sites na Internet. O Sitemap que me refiro é um arquivo em formato XML que lista todas as páginas MESMO do web site desenvolvido (veja o sitemap do Revista Internet). Geralmente este arquivo é atualizado automaticamente com os novos links dos novos conteúdos publicados nos sites.
Existem sites e serviços que geram sitemaps a partir do endereço de seu site, inclusive já postei aqui sobre este tipo de ferramenta gratuíta - Gerador Gratuito de Sitemap.

O Sitemap é uma forma de assegurar que sistema de busca como o Google, o Bing, e o Yahoo! fiquem constantemente atualizados dos novos links de seu site,  isso faz com que os robos de indexação deles acessem diretamente as novas páginas do site.
O resultado disso é que seu conteúdo novo acaba sendo disponibilizado nos resutados de pesquisas mais rápidamente.
Se o robo ou crawlers dos sites de busca tivessem que passar pelo seu site e ler todas as páginas antigas, até descobrir que foram inseridas páginas novas, ou que conteúdo foi atualizado, dependendo do tamanho de seu site, isso poderia levar dias.
Sistema de busca como os mencionados acima possuem até diretórios para que seus usuários possam inserir seus sitemaps para facilitar a inclusão do materia novo nos seus sistemas.

Certamente para quem tem um site, esta informação pode parecer nova, e até mesmo para muitas empresas de desenvolvimento web que estão começando agora. Por isso acredito que todos que estão lendo esta matéria devam verificar imediatamente com as empresas que desenvolvem seus sites para verificar se existe um sitemap em seu site, e se este está devidamente cadastrado nos sistemas de pesquisa.

Claro que nem todo site pode ter um sitemap, sites que se utiizam de tecnologias como por exemplo o Flash, onde o endereço URL  do conteúdo é sempre o mesmo, não podem ter um sitemap justamente porque o Flash não gera  novas paginas com endereçamento específico.
Assim como sites que utilizam frames ou iframes, que impossibilitam um endereço unico para cada conteúdo, uma vez que para visualizar a página corretamente é necessário estar dentro do Frame (moldura) que é gerado através de outros arquivos html.

Então percebam que o sitemap além de ser uma ferramenta importante para indexação de seu site nos buscadores de todo mundo também é um determinante de que seu site está de acordo com as melhores políticas de publicação de conteúdo na internet. Sites que em sua estrutura estão desqualificados para terem um site map, devem ser analisados e possívelmente repensados em termos de estrutura. Sabemos da importância do conteúdo de um site e sabemos quanto é fundamental que este conteúdo esteja disponibiizado corretamente.
Sites que não disponibilizam sitemaps de seus conteúdos estão perdendo uma oportunidade de estar mehor indexados nos buscadores da internet.