Problema con robots.txt

[Baly52]

El problema que tengo es que ciertas paginas de mi sitio aparecen indexadas por Google, cuando no deberían
ejemplos:
https://misitio.com/en/component/users/ ... Itemid=109
https://misitio.com/en/component/users/ ... Itemid=109
https://www.misitio.com/es/component/us ... Itemid=115

el robots.txt es el que instala joomla por defecto

User-agent: *

Disallow: /administrator/

Disallow: /bin/
Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/
Disallow: /tmp/

Otra cosa , mi intención era que el site fuese multilingüe, pero creo que esta dándome solo problemas, bomo puedo eliminar todo lo relativo a los otros idiomas , o tengo que reinstalar Joomla.

Gracias

[john-doe]

Otra cosa , mi intención era que el site fuese multilingüe, pero creo que esta dándome solo problemas, bomo puedo eliminar todo lo relativo a los otros idiomas , o tengo que reinstalar Joomla.

Primero, instale OSMap, con eso genera un mapa de sitio para que cuando vaya a Google Search Console lo cargue y actualice el indexado del sitio. Revise antes de enviarque no aparezcan estas direcciones en cuestión. El resultado debe reflejarse en 48 horas luego de enviado. No tiene que moverle nada al robots.txt, eso es hasta donde la experiencia me permite decir.

Segundo lo del multiidioma.
Le está dando problemas como?
Tiene los menús de idioma correctamente puestos y los contenidos de cada idioma asociados?
Tiene el item de menú principal de todos los idiomas (la casita) en un menú neutral que no esté usando?

Tiene mucho contenido y no entendió nada de lo que estoy diciendo? Desinstale, reinstale y hacia el final de la instalación, ponga los idiomas y active el multiidioma.

[csoria]

Estimados yo lo del robot de Joomla lo que hice fue duplicar el archivo y le cambie el nombre po robots.txt, dependiendo de la version de Joomla hay que revisar en el block de notas si no esta bloqueadas el archivo de imagenes en los buscadores, uno de los inconvenientes que le veo a Joomla es que la mayoria de los modulos y plantillas no estan optimizadas para el SEO, yo he tenido que hacer algunas configuraciones para mejorar, entre ellas editar el archivo robots.txt, he tenido que deshabilitar algunos modulos, y enlaces, si desean saber como esta el SEO de su sitio web de Joomla y que correciones deben hacer les recomiendo esta pagina https://www.woorank.com/es/

[lorenasuarez]

Hola,

Una cosa es lo que se indique en el robots.txt, donde puedes decir que los robots no entren en una página (aunque luego hacen lo que quieren), pero si ya está indexada no la van a desindexar.
Para que no se indexe, debes incluir la meta "noindex" en las páginas que quieras y luego permitir que los buscadores las rastreen para que noten el cambio.
En este post se menciona cómo poner las meta.

Saludos

[kikofdez]

Hola,

Quería preguntar cómo sería el robots.txt para la web

Code: Select all

<a href="https://dedragonball.net">dedragonball.net</a>

que el http se redirige a https y el www se redirige a sin las tres www. Gracias.

Kiko

[AlexVega]

Hola,

Quería preguntar cómo sería el robots.txt para la web

Code: Select all

<a href="https://dedragonball.net">dedragonball.net</a>

que el http se redirige a https y el www se redirige a sin las tres www. Gracias.

Kiko

Que tal,

Para redireccionar tu sitio, es desde el archivo .htaccess, puedes encontrar el código en el siguiente post:
viewtopic.php?f=706&t=894911

Saludos!

[Filiali]

Si realmente crees que el robots.txt te está dando problemas, contrataría a alguien que te lo revise, no le debería llevar más de una hora. Si no te va bien con el robots.txt por defecto, hay que entender bien tu sitio para optimizarlo.

Lo que desde luego no te recomiendo es lo del multilingüe, usa subdominios o subdirectorios