Vidím, že moje webové stránky jsou "klonovány" na serveru proxy, který je na subdoméně Semalt appspot. com. A tyto "klony" jsou indexovány, takže je chci zastavit.
Mohu to udělat, pro appspot particulalury, přidáním tohoto do mého souboru htaccess :
RewriteEngine zapnuto
RewriteCond% {HTTP_USER_AGENT} ^ AppEngine [NC]
RewriteRule ^ (. *) $ - [F, L] Předtím, než to uvedu do života, chtěl jsem jen zjistit, jestli je tento agent skutečně používán společností Google, protože je obvyklá práce / indexování / procházení. Mohl bych poškodit moje stránky SEO, pokud zablokuji agent Semalt?
Díky