Semalt:使用元标记和Robots.txt文件阻止对您的网站内容的访问

Semalt客户成功经理Jason Adler说,当您保护数据安全并且不在互联网上共享数据时,可以控制与Bing,Yahoo和Google共享的内容。您需要保密的数据包括联系信息,贝宝ID,信用卡详细信息,用户名和密码。您应该阻止此类信息在Google和其他搜索引擎中建立索引。如果要阻止您网站的网址,则可以阻止Google和其他搜索引擎抓取某些页面或文章。这意味着当人们浏览搜索结果时,他们将不会看到并浏览到被阻止的URL。此外,他们将无法访问其内容,因此您可以阻止许多文章在Google的搜索结果中被看到。以下是阻止访问您的网站内容的方法:

使用meta标记阻止搜索索引:当您在网站的HTML代码上使用非索引meta标记时,可以轻松阻止页面出现在搜索引擎中。 Googlebot会抓取没有此meta标签的页面,并因此而将其从搜索结果中删除。让我们在这里告诉您,仅当您的robots.txt文件未更改时,此元标记才有效。

使用robots.txt文件阻止URL: Robots.txt文件位于您网站的根目录中,表示您不希望搜索引擎搜寻器和Spider索引的网站部分。它利用了漫游器排除标准,该协议是带有一组命令的协议,指示网络爬网程序将在何处以及如何访问您的网站。 Robots.txt还可帮助防止图片显示在搜索结果中,但不会禁止用户将您的网站链接到自己的页面。在编辑前,请牢记robots.txt文件的限制和限制。一些机制可确保正确阻止URL。 robots.txt的指令是指令,这意味着它们无法强制执行Web搜寻器的行为。所有搜寻器都以自己的方式解释语法,并且robots.txt文件无法阻止其他网站对您的链接的引用。 Google很好地遵循robots.txt文件的指令,但是由于其政策,搜索引擎可能无法为被阻止的网站建立索引。

选择退出Google本地和 Google媒体资源将内容编入索引后,您可以阻止其内容显示在其他Google媒体资源中。这包括Google Local,Google Flights,Google Shopping和Google Hotels。当您选择不显示在所有这些插座中时,将不会列出或更新您已爬网的内容。退出后的30天内,所有在这些平台上显示的文章都会被删除。

结论:

对访问者隐藏有价值和有用的内容很重要。如果您的网站在多个地方都有相似的主题,则可能会对搜索引擎和您的访问者留下负面印象。因此,您应该隐藏所有这些页面,并且不要让搜索引擎将它们编入索引。摆脱第三方的内容。您必须摆脱不惜一切代价对您的网站没有价值的第三方内容。不要让Google看到您正在共享第三方的内容,因为在这种情况下,搜索引擎会发现您网站的价值降低。当您从大量站点复制内容时,Google可能会对您进行处罚,并且您可以屏蔽重复的文章以提高您的Google排名。