网站域名类似于:https://www.config.com.
现在要从Google的搜索结果列表里面删掉所有与该域名相关的结果。
方法一: 添加robots.txt 文件至 https://www.config.com/robots.txt, 即网站根目录
服务器架构如下:
1. 在Apache Server Host 所在主机划了两个虚拟服务器主机:
https://www.config.com 和 https://test.config.com
这两个虚拟服务器的环境都是 Tomcat5.5, 用来运行一系列web 应用。
Apache Server 地址映射到两个不同的主机,都监听在端口8443口上。
1. 登录Google webmaster tool :https://www.google.com/webmasters/tools/home?hl=zh-CN
按照Google的官方文档,如何生成robots.txt 文件,如何生成验证文件:google*.html.
2. 个人认为是最关键的:
将上面生成(robots.txt 也可以自己手动新建,文件名一定要是“robots.txt")的两个文件上传至网站的根目录。
一般情况下,打开https://www.config.com/ 如果没有跳转的话,一般会有个welcome主页显示,将文件上传至主页文件所在目录即可。一般情况下可以是如下目录:
1. Tomcat/webapp/ROOT/
2. Tomcat/webapp/appName/
我这里的做法就是上传至/webapp/appName/下面,做完这一切之后,理论上来说,应该就行了,但是我错了,我的情况和理论情况有很大的出入。
当在浏览器窗口输入: https://www.config.com/robots.tx t时,页面出现了跳转。
于是跑到代码中,将跳转的地方过滤掉。再试。但是出现了404 错误,无法访问txt文件。
于是我把server上的tomcat 原封不动的down下来,放到本地进行测试。
https://localhost/robots.txt
是没有问题的,这就说明tomcat中的配置没有问题。于是很自然的联想到应该是Apache Server 的配置问题。
最后转战Apache Server,编辑apache 的http 配置文件:/etc/httpd/conf/httpd.conf
在如下配置中新增指令:
<VirtualHost *:80>
ServerName www.config.com
DocumentRoot /var/www/html
ErrorLog logs/error_log
CustomLog logs/access_log combined
RewriteEngine On
RewriteRule ^/google(.*)\.html$ /var/www/html/googlebe2e31644183d63e.html [L]
RewriteRule ^/robots\.txt$ /var/www/html/robots.txt [L]
....
</VirtualHost>
并将robots.txt 和 googlexxxx.html 两个文件拷到 DocumentRoot 所对应的目录中,在我这里是: /var/www/html 中。
最后重启apache server。
再次在浏览器窗口中输入: https://www.config.com/robots.txt
发现还是404错误。
但是输入:http://www.config.com/robots.txt
发现运行正常。再次输入:http://www.config.com/googlebe2e31644183d63e.html
也是正常的能够访问,但是换成:【https】就报404错误。
看到这儿,很明显就是ssl.conf中的配置问题了。
于是定位到/etc/httpd/conf.d/ssl.conf 中,新增如下指令:
<VirtualHost *:443>
...
ServerName www.config.com
ProxyPass /robots.txt !
ProxyPassMatch ^/google(.*).html !
....
</VirtualHost>
关于apache 的指令,请参考apache官方文档:
http://httpd.apache.org/docs/current/mod/directives.html
http://httpd.apache.org/docs/current/mod/mod_proxy.html#proxypass
Note:
【!】
指令表示不想对某个子目录进行反向代理.
【ProxyPassMatch】指令表示url正则匹配,不仅仅只是简单的前缀匹配。和【ProxyPass】的单一的前缀匹配不同。
http://blog.csdn.net/fenglibing/article/details/6796094
http://blog.csdn.net/xxfigo/article/details/11180673
http://www.iteye.com/topic/807101
保存文件后退出,重启apache server。
最后再次在浏览器窗口中输入:
https://www.config.com/robots.txt
http://www.config.com/robots.txt
https://www.config.com/googlebe2e31644183d63e.html
http://www.config.com/googlebe2e31644183d63e.html
四个都运行正常。世界是如此的美好。
特此记录解决这一过程中所出现的一些列问题。
方法二:
在网站主页的index.html 的head标签中添加 <meta> 标签
<meta name="robots" content="noindex,nofollow">
详细的设置信息,可以参考如下文档:
http://www.robotstxt.org/meta.html
https://productforums.google.com/forum/#!topic/webmasters/wmy9vTkcIdY
相关推荐
笔记记录分享系统-笔记记录分享系统源码-笔记记录分享管理系统-笔记记录分享管理系统java代码-笔记记录分享系统设计与实现-基于springboot的笔记记录分享系统-基于Web的笔记记录分享系统设计与实现-笔记记录分享网站-...
蚂蚁笔记,有极客范的云笔记! 前所未有的文档体验,近乎完美的平台覆盖,支持团队协同,企业级私有云 蚂蚁笔记 = 笔记 + 博客 + 协作 + 私有云 为了提供更好更优质的产品服务, 我们决定...
一个基于 Flask 的笔记应用,用户可以创建、编辑、删除笔记。应用程序应该具有以下功能: 用户可以创建笔记,每个笔记应该包括一个标题和一个内容; 用户可以编辑和删除笔记; 用户可以搜索特定的笔记; 应用程序...
适合谷歌浏览器重装失效、卸载不干净的情况,先用控制面板卸载,然后双击.reg,重启即可
基于springboot笔记记录分享网站 | java | springboot | 笔记记录分享网站 | 网站 1、技术栈:springboot,vue,ajax,maven,mysql,MyBatisPlus 2、系统的实现 用户信息 图片素材 视频素材 摘 要 I 目 录 III ...
1. 对一个目录中的笔记和子目录使用更方便的列表显示和操作。 2. 从IE中导入笔记时,可选择直接导入到当前活动的笔记簿,不打开确认对话框。 3. 目录,笔记可剪切,笔记可重新导入。 4. 在一个笔记中,可加入到本...
在编辑用户界面,登录进入编辑用户页面,可以实现笔记信息的录入、删除、修改、更新、标题、标签、封面、分类、管理成员信息、用户评论等功能。在笔记显示界面,用户可通过注册登录进入个人管理页面,登录用户可对...
CloudNotes是博客园的一个名为daxnet的网友开发的一款轻量的个人笔记系统,主要实现在Windows桌面环境中保存个人的笔记信息,并能够在不同的计算机之间共享这些信息。该软件的UI历经2次调整。新旧版的登录界面新旧主...
本文实例讲述了Python list列表中删除多个重复元素操作。分享给大家供大家参考,具体如下: 我们以下面这个list为例,删除其中所有值为6的元素: l=[9,6,5,6,6,7,8,9,6,0] 首先尝试remove方法: l.remove(6) ...
Remove-Google-Redirection, 在Google搜索结果中,删除重定向并单击跟踪 简介禁止点击跟踪,并在Google搜索页中点击结果链接时阻止...浏览器支持苹果 Safari从Github下载:删除谷歌重定向 forGoogle Chrome:从 Google C
有道云笔记是网易有道官方出品的一款专业的云存储软件,软件采用云存储技术及云应用概念,打造访问轻松,存储安全的个人云笔记空间,实现个人资料和信息跨平台跨地点的云管理。软件界面美观简洁、简单全面、实用方便...
收藏的一份还不错的大神整理的中文笔记。感谢黄大神。若侵权,联系本文删除。
该网页还支持将位置添加到收藏夹列表和从收藏夹列表中删除位置,以及将位置信息发布到Twitter。 2.它写的是什么? 它是用三个版本编写的。 更具体: Nodejs版本实现了一个全面的Web应用程序 1. Allow user to ...
笔记模块:查看列表,创建,删除,修改、分享笔记、转移,收藏,分享笔记搜索 回收站:查看列表,继续删除、恢复 收藏夹:查看收藏列表,取消收藏 活动:查看活动笔记,将自己笔记参加活动,收藏活动笔记本
使用此扩展程序,您只需单击一次按钮,即可在Google Search Console中批量删除网址。创建一个CSV文件,包括你想要删除的网址,上载此文件,取代你一次又一次的复制粘贴的麻烦。想要了解CSV格式的资讯,请参阅 ...
关于java开发的云笔记系统的论文 第一章 引言 4 1.1 项目背景 4 1.2 同类系统研究与应用现状 4 1.3 研究的内容和主要工作 4 1.3.1 研究的内容 5 1.3.2 本人主要工作 5 1.4 论文结构 5 第二章 业务逻辑概述和系统需求...
文章目录ElasticSearch 学习笔记基本概念倒排索引timeout 超时Query 与 filter 的区别query全文检索短语检索高亮检索分组检索平均值的检索区间检索批量查询查询排序查询缓存文档替换与删除ES路由查询路由分词Mapping...
云笔记项目,可以实现笔记本列表,增删改查,垃圾桶等功能
WPF中listview显示列表的删除和显示,增加了读取和删除的按钮和事件。仅供学习交流。