Advertisement:

Author Topic: Como crear y configurar robots.  (Read 1743 times)

Offline musikito

  • Semi-Newbie
  • *
  • Posts: 48
Como crear y configurar robots.
« on: August 16, 2012, 11:49:03 AM »
Tengo una gran duda y ojala alguien pueda ayudarme, porque estoy muy perdido con este tema.

No tengo ningun robot creado en mi sitio, pero quiero hacerlo, el problema esta en que no se como se hace, como se configura y donde se pone.....nada de nada.

Se que con esos conociemientos no llegare muy lejos con los robots....He buscado un tutorial o algo pero no doy con nada.

Estaria muy agradecido con cualquier tipo de orientación.

Gracias de antemano.

Offline Suki

  • SMF Super Hero
  • *******
  • Posts: 11,254
  • Kaizoku Jotei
    • Free SMF mods
Re: Como crear y configurar robots.
« Reply #1 on: August 16, 2012, 12:03:55 PM »
Define  "robots".

¿Te refieres a el achivo robots.txt?  si es así, una simple busqueda con esa palabras te dará bastantes resultados y algunos archivos especificamente creados para SMF.

¿Te refieres a un bot el cual va a crear temas automáticamente?
The devil will find work for idle hands to do.

Offline musikito

  • Semi-Newbie
  • *
  • Posts: 48
Re: Como crear y configurar robots.
« Reply #2 on: August 16, 2012, 04:02:02 PM »
En principio a los robot.txt

Offline Suki

  • SMF Super Hero
  • *******
  • Posts: 11,254
  • Kaizoku Jotei
    • Free SMF mods
Re: Como crear y configurar robots.
« Reply #3 on: August 16, 2012, 04:25:18 PM »

¿Te refieres a el achivo robots.txt?  si es así, una simple busqueda con esa palabras te dará bastantes resultados y algunos archivos especificamente creados para SMF.



¿Ya intentaste buscar por "robots.txt"?
The devil will find work for idle hands to do.

Offline musikito

  • Semi-Newbie
  • *
  • Posts: 48
Re: Como crear y configurar robots.
« Reply #4 on: August 16, 2012, 05:28:30 PM »

Offline ElPlayer

  • Sr. Member
  • ****
  • Posts: 892
  • Gender: Male
    • @GrdEnrique on Twitter
    • Kekomundo
Re: Como crear y configurar robots.
« Reply #5 on: August 16, 2012, 06:02:14 PM »
depende de lo que quieras lograr, aquí en el paso 2 hay uno para evitar que google indexe contenido duplicado o irrelevante.

Offline musikito

  • Semi-Newbie
  • *
  • Posts: 48
Re: Como crear y configurar robots.
« Reply #6 on: August 16, 2012, 06:16:21 PM »
Eso deberia de copiarlo en un bloc de notas, ponerle como nombre robots.txt y colocarlo en la raiz del sitio, ¿es asi?

Offline ElPlayer

  • Sr. Member
  • ****
  • Posts: 892
  • Gender: Male
    • @GrdEnrique on Twitter
    • Kekomundo
Re: Como crear y configurar robots.
« Reply #7 on: August 16, 2012, 09:11:57 PM »
si debes de ponerlo en la raíz del foro pero recuerda que la ruta depende de donde tengas el foro, si lo tienes en la raíz o en una carpeta.
en ese ejemplo esta en la raíz, si lo tienes por ejemplo en la carpeta foro debes adecuarlo a esa ruta... si necesitas ayuda no dudes en postear.

Offline musikito

  • Semi-Newbie
  • *
  • Posts: 48
Re: Como crear y configurar robots.
« Reply #8 on: August 17, 2012, 04:32:24 AM »
Por ejemplo, si en mi hosting tengo la raiz de todo el foro dentro de una carpeta tengo que adpatarlo, y supongo que lo unico que deberia de hacer es añadir el robots.txt dentro de la carpeta, ¿no es asi?

¿El archivo es robot.txt o robots.txt?

Offline ElPlayer

  • Sr. Member
  • ****
  • Posts: 892
  • Gender: Male
    • @GrdEnrique on Twitter
    • Kekomundo
Re: Como crear y configurar robots.
« Reply #9 on: August 17, 2012, 04:54:38 AM »
es robots.txt y con eso de adaptarlo me refiero a que cada linea le debes agregar la carpeta ejemplo si esta en la carpeta foro tendrias que cambiar:

Disallow: /index.php?action=lock

por esto:

Disallow: /foro/index.php?action=lock

eso con todas las lineas.

Offline musikito

  • Semi-Newbie
  • *
  • Posts: 48
Re: Como crear y configurar robots.
« Reply #10 on: August 19, 2012, 08:55:52 PM »
He puesto el robots.txt en la raiz del dominio, pero no me aparece en la información de pagina.

A que puede ser debido??

Offline raxper

  • Newbie
  • *
  • Posts: 1
Re: Como crear y configurar robots.
« Reply #11 on: August 19, 2012, 10:24:38 PM »
si debes de ponerlo en la raíz del foro pero recuerda que la ruta depende de donde tengas el foro, si lo tienes en la raíz o en una carpeta.
en ese ejemplo esta en la raíz, si lo tienes por ejemplo en la carpeta foro debes adecuarlo a esa ruta... si necesitas ayuda no dudes en postear.
Hola tengo una duda
una ves que ya coloqué robots.txt en la carpeta principal de mi dominio
User-agent: *
Disallow: cgi-bin/
Disallow: Sources/
Disallow: Themes/
Disallow: index.php?action=admin*
Disallow: index.php?action=calendar*
Disallow: index.php?action=login*
Disallow: index.php?action=printpage*
Disallow: index.php?action=profile*
Disallow: index.php?action=register*
Disallow: index.php?action=search*
Disallow: index.php?action=stats*
Disallow: index.php?PHPSESSID=*
Disallow: index.php?*rss*
Disallow: index.php?*wap*
Disallow: index.php?*wap2*
Disallow: index.php?wwwRedirect*
Crawl-delay: 5



Luego de haber puesto robots.txt en la carpeta de mi página principal

¿puedo poner esto en el <head></head> de la página principal?


<meta name="robots" content="index,follow,archive,odp">

Offline ElPlayer

  • Sr. Member
  • ****
  • Posts: 892
  • Gender: Male
    • @GrdEnrique on Twitter
    • Kekomundo
Re: Como crear y configurar robots.
« Reply #12 on: August 20, 2012, 12:56:15 AM »
no es necesario, los buscadores siempre que van a buscar en un dominio lo primero que hacen es revisar si existe el robots.txt en la raiz.

Offline musikito

  • Semi-Newbie
  • *
  • Posts: 48
Re: Como crear y configurar robots.
« Reply #13 on: August 20, 2012, 11:11:06 AM »
y como se puede saber si el robots.txt esta bien puesto?

Es que en informacion de pagina no figura ningun robots: noindex

Este es el robots.txt que tengo puesto y no se si estara bien, lo dejo adjuntado.

Offline ElPlayer

  • Sr. Member
  • ****
  • Posts: 892
  • Gender: Male
    • @GrdEnrique on Twitter
    • Kekomundo
Re: Como crear y configurar robots.
« Reply #14 on: August 20, 2012, 02:20:56 PM »
puedes crearte una cuenta en google webmasters y tienen una herramienta para revisar que urls puede y cuales no indexar.