首页 >旅游

搜索引擎如何抓取网页网站保护时如何避免被

2019-05-14 20:56:32 | 来源: 旅游

1 : 站保护时如何避免被搜索引擎K站

这是继之前的《5种手段提升谷歌对站的信任度》,第2篇作品,很高兴第1次写SEO相干文章就被收录了。

回到主题,有些站常常由于需要进行常规保护或由于某些缘由(黑客)而不能不临时关闭,如果用户或搜索引擎在这个时候访问临时关闭的站,这将会影响站的名誉或排名流量。

因此做好站临时关闭的1些工作,是所有SEOs的必备作业。

下面我将教大家怎样处理好站临时关闭时跟用户还有搜索引擎的1些3角关系!

让用户与蜘蛛知道站正在保护

当1家餐厅的老板,由于某些缘由不能不临时关闭餐厅,老板会在餐厅门口贴公告,告知顾客餐厅临时关闭和恢复营业的时间,这样顾客就不会误以为餐厅倒闭,而不再次光临。一样的道理也能够套用在站上,如果1个站由于某些缘由必须临时关闭,那么站长有通知蜘蛛还有用户,并告知恢复的时间,这样蜘蛛还有用户才会再次访问站,而不是误以为站已关闭。

但是怎样做好告知工作,就不像餐厅那样贴贴告示就可以弄定,络的世界比较复杂,因此告知用户与蜘蛛是1名艺术,下面我们罗列两个站长朋友常常犯的毛病。

毛病1,站关闭没有告知

有些站长朋友,没有做好告知工作,马马虎虎就把站关闭,致使用户和蜘蛛访问时,显示404页面。

糟的情况是,用户和蜘蛛会误以为站已倒闭,而不会再次光临,就跟餐厅1样,关门,没有贴公告,一样的其顾客会以为餐厅已倒闭了,下次不会再来了。

毛病2,单1页面告知

有些站长则会制作1个单1页面,告知用户站正在保护,并将全站其他的页面都指向这1页面,

这也是非常不智的行动,由于这样做只告知了用户,而没有通知蜘蛛,这样蜘蛛只会以为其他页面被删除,只剩下这个页面。

在详细介绍站临时关闭时的SEO处理步骤前,我们先温习下几个SEO常碰到的HTTP状态码

SEO进程中多见的HTTP状态码有:

200 - 服务器成功返回页

301- 要求的页已移动到新位置。当URLs产生变化时,使用301代码。搜索引擎索引中保存新的URL。

302 -要求的页临时移动到新位置。搜索引擎索引中保存原来的URL。

404 - 要求的页不存在

503 - 服务器目前没法使用(由于超载或停机保护)。通常,这只是暂时状态。

如何告知用户和蜘蛛站正在保护?

如果我们站临时关闭,必须告知用户和蜘蛛,让用户跟蜘蛛知道站只是临时关闭,而不是关闭,这样用户跟蜘蛛就会隔断时间再次访问站,具体做法是创建1个返回503状态的文件。

1. 创建1个p的文件,并把它放到服务器的根目录

?php

header("HTTP/1.1 503 Service Temporarily Unavailable");

header("Status: 503 Service Temporarily Unavailable");

header('Retry-After: Sat, 8 Oct 2012 18:27:00 GMT");

?

!DOCTYPE HTML

html

head

meta http-equiv="Content-Type" content="text/html; charset=utf⑻" /

title站名称/title

/head

body

h1站名称/h1

p站保护中/p

p将于2012/10/8恢复/p

/body

/html

第12句告知搜索蜘蛛站处理暂时关闭状态,第3句告知搜索蜘蛛,站将于2012年10月8日18:27重新开放,注意:这里用的是格林威治标准时间。

但是光放1个503信息到服务器里还是不够的,蜘蛛会访问站不同的页面,因此我们必须引导所有的蜘蛛到p这个页面,让蜘蛛知道,全部站处于临时关闭中,而不是个别页面。

如果站长使用的是Apache/Linux服务器,我们只需在.htaccess设置1下,引导所有的蜘蛛到p页面,这里我们要使用302跳转,注意:在这里千万不要使用301跳转,由于301是的,在这类情况下会毁灭掉全部站。

2.引导蜘蛛到p

将下面这段代码保存到.htaccess文件,并上传到站根目录

Options +FollowSymLinks

RewriteEngine On

RewriteBase /

RewriteCond %{REMOTE_ADDR} !^00.00.00..00

RewriteCond %{REQUEST_URI}!^/p [NC]

RewriteRule ,* /p [R,L]

1行的[R, 告知蜘蛛,这个是302跳转,属于暂时的。

这样我们就完成了站临时关闭的部署,可以放心关站了!

本文来源2101点版权所有,转载请注明出处.

注:相干站建设技能阅读请移步到建站教程频道。

2 : 浅析搜索引擎算法的新情势下站推行该如何进行

那末究竟搜索引擎(百度)新情势下站该如何推行呢?大家共同来探讨1下吧。

搜索引擎(百度)新规则的出台,非常明确的指出了很多问题,比如百度不喜欢甚么样的站点(软文交易平台、软文发布站、软文收益站);不喜欢怎样的优化方式(利用软文来发布大量的外链、堆砌关键词的优化方式);不喜欢低质量的文章(复制、粘贴的文章)等等问题都明确的提出来了,也就说明百度非常的讨厌这些问题。同时也告知大家,这些事情尽量不要去做,没有什么好处的。

而对1个站来说,页面含有大量的低质量弹框或弹窗和与页面内容相干性非常差的垃圾广告也是百度所讨厌的。也就是说如果1个站存在这些问题,百度是不会给与良好的评价和打分的,也就意味着这个站不会有很好的排名。因此这对这些搜索引擎新的规则,大家1定要尽可能的去避免。

第1,1个新站要上线推行的话,1开始千万不要挂广告。

如果1开始就挂上了大量的广告,会严重的下落搜索引擎对站的信誉度,就像人给人的第1印象1样,第1印象是非常重要的。因此站上线、刚开始推行的时候千万不要挂广告。由于这是打基础的阶段,如果连基础都打不结实,后期的发展也不会有很大的空间。相信这个道理大家都懂吧。

第2,1个新站上线推行早期,1定要保证文章的质量,也就是说文章是原创的。

本来互联上的文章、资料都是你抄我、我抄你的,产生的垃圾文章已很多了,如果新站还是抄袭的话,那末内容的质量是相当的低的,这样1点好处都没有,搜索引擎更不会进行收录,相反,也会下落对站的信誉度。

特别是近期搜索引擎新规则的出台,对原创的文章非常的重视。如果你的站文章都是原创的,可想而知搜索引擎对你的站也会更加的青睐。如果实在是写不出原创的文章来,那也能够进行伪原创,不过这个伪原创的要求也是非常的高的,要到达1定的原创度(少做到复制文章的大部分语句在搜索框里搜索,不会出现大量飘红的现象),才能够被收录,对站才会有作用。

第3:1个新站上线推行早期,更要重视站内链和外链的建设。

内链相对来讲比较简单,就不再详细的介绍了。外链,这里所讲的外链主要是针对高质量的外链,哪些低质量的垃圾外链其实不在推敲的范围以内。针对外链的建设,提倡质量第1,在保证质量的条件下,到达量的奔腾。那末没有质量的外链再多,也不会对站有任何的作用,相反,还会对站有所影响。

第4、用户体验。

1个新站上线,1定要站在访客的角度,以能够给他们提供更好的资源和帮助为关键,才能够留住更多的访客。访客能够在站上获得想要的知识,得到问题的解决方法,才能够对站产生好感,不断的关注站,也有可能介绍给更多的人帮助宣扬和推行。

因此,只有了解搜索引擎新规则的内容,知道哪些方式方法是合适和符合搜索引擎新规则的,再运用到站的运营和推行当中,才能够取得的发展。希望大家能够多多的研究和创新,让自己的站在搜索引擎那里获得更好的评价和信任。3 : 搜索引擎的投票选举的模式与页排序的问题

前些天读了1本《选举的窘境》,其中有1章,从美国的选举制度说起,介绍美国选举制度的不足,然后针对其不足,提出种种改进,但是每种改良都有其各自的问题,其中的变化很有趣。

先说美国选举制度,美国的总统选举是1种赢者通吃的方式,每一个州根据其人口多少,有几10或几百的州票,州里的人对总统候选人进行选举,在某个州取得票多的那个候选人,获得这个州所有的州票,然后统计所有候选人的州票多少,获得多州票的候选人获胜。

这样制度的问题是明显的,比如如果只有两个州,A州5个人,而B州4个人,州票也分别是5和4,如果某候选人X在A州以3:2获胜,另外一个候选人Y在B州以4:0获胜,这样明显候选人Y在全国范围内取得了6张票,而候选人X只有在A州的3张票,但是由于赢者通吃,X取得了A周的全部5张州票,Y只取得了B周的4张州票,在全国只有1/3民众支持的X居然取得了选举的成功。

这样的情况在2000年美国总统选举中就出现过,小布什的州票于戈尔,但是在全国民众中统计支持戈尔的人数却是大于小布什的,固然戈尔输给小布什还有另外一个缘由,这里按下不表。

如果放在算法领域,可以看出这里的问题在于,为了统计结果R(适合的总统人选),找到了1个特点A(每一个民众的投票),而决定结果R的,却不是特点A,而是由特点A推导出来的特点B(州票),在特点A向特点B的推导进程中,信息丢失了(每一个洲的支持百分比不1样)。

赢者通吃这类制度的具体历史缘由先不说,有兴趣的朋友可以去看原著。解决这类问题的直接方案就是从赢者通吃变成直选,也就是1人1票,直接统计票数,但是这样也会遇到1系列问题。

在谈那1系列问题之前,先把要解决的问题抽象1下:

有n个候选人,每个选民对这n个候选人投票,终究在n个候选人当选出适合、民意、也符合逻辑的那个人。

方案1:1票制,每人1票,选出自己喜欢的候选人,对结果进行统计,得票多的那个人当选。

这样做的问题是会致使作者定义的1种鹬蚌困局,举例说,如果有ABC3个候选人,其中BC政见比较类似,支持B的人也比较支持C,反之亦然,在全民中,喜欢BC的人占多数,A的政见和BC相反,支持A的人在全民中占少数。这样致使的后果就是,BC取得的票会比较分散,而A获得的票比较集中从而获得成功,如果BC中有1人不参加选举,票就会集中到B或C1个人的手中,从而使多数选民的支持者当选。前面按下不表的戈尔失败的另外一个缘由,就是有人认为有跟戈尔政见类似的耐德的参与,他分散了部份戈尔的选票。

可以对此问题有所改良的方案叫做2选制。

方案2:2选制,每人1票,如果无人取得大于50%的支持,则将得票的两个候选人拿出来,再进行1轮选举,得票多的人获胜。

法国总统选举就是这样的2选制,但是这样的方法只能改进鹬蚌困局,而不能完全解决,2002年的法国总统大选就出现了类似的情况,当时支持左派政见的民众较多,但是在2选制下,终究的前两名却是1个右派和1个极右派。出现这类情况的缘由是当年有16个总统候选人,且多数是持左派政见者,这样就致使左派的票极端分散。

方案3:n选制,每人1票,如果无人取得大于50%的支持,则去掉支持少的候选人,再进行1轮投票,若照旧无人取得大于50%的支持,再去掉得票少的候选人,直到有人大于50%支持为止。

2001年奥委会决定北京为2008年奥运会主办城市的时候,就是用的这样的制度,在第1轮投票里大阪被淘汰,北京在第2轮就取得了半数以上的支持,从而当选。

n选制的问题在于不实用,如果是奥委会这类只有几百个人投票的情况还可使用,如果类似前面法国总统选举,有16个候选人,举国上下多可能进行15次投票,本钱太高。

方案4:即刻复选制,每个民众对候选人进行排序,如果某个候选人取得了50%以上的,则直接获得成功,否则淘汰票数的候选人,并且把票数候选人的得票中的第2候选人拿出来,分给对应的候选人,如果有人取得50%以上,则当选,否则再淘汰1位的,并且把他票分给里面排序的且未被淘汰的候选人,如此往复。

爱尔兰总统选举和伦敦市长选举采取的是类似的方案,此方案也有问题,试想如此场景:选民共10人,中间派候选人是3人的,左派和右派的候选人分别是4人的,固然左派选民讨厌右派候选人,而右派选民也讨厌左派候选人,而左派右派的民众对中间派候选人倒是都可以接受,不论是便可复选制还是n选制,中间派候选人都会在第1轮被淘汰。而中间派候选人则是全部民众都可以接受的人,也能调和各派之间矛盾,和谐。

这个方案的本质问题是,虽然每一个选民可以对候选人排序,但是在第1轮的时候却只推敲了第1选,没有斟酌选民的2、3选。

方案5:上行复选制,跟方案4类似,只不过第1轮淘汰的不是支持少,而是反对多的候选人(取得多末选票的候选人)

再看上面提到的情况,中间派候选人由于不是任何人的末选,所以第1轮淘汰的是左派或右派,再第2轮选举中,中间派的候选人就能够获胜了。

方案5也有方案5的问题,推敲这样1种情况,只有两个候选人AB参选,选民9人,其中6人喜欢A而讨厌B,3人喜欢B而讨厌A,不管依照之前的哪一种方式,都会是A获胜。但是现在又多了两个候选人C和D,喜欢B的3人中,都是把A列在1个候选的,而喜欢A的6人的末选,却是BCD各2票,这样,在第1轮选举中,A就由于取得了多的末选票被淘汰了,而通过精心的构造例子,完全可使B终究当选。仅仅由于CD参选或不参选,A和B之间的胜负关系就产生了大逆转。

实际使用此方案的例子不多,只有在公元前507年的雅典有类似的方案,不是让民众投支持票,而是投反对票,把反对多的人投出局。

方案6:多赛制,民众对候选人排序,然后候选人之间两两pk,统计每张选票上看候选人A在候选人B前面还是B在A前面,如此找到获胜场次多的候选人来赢得选举。

这样的问题是可能导致循环胜负,如ABC3个候选人,有3个民众,投票分别是ABC,BCA,CAB,可以看出AB之间A获胜两次,AB;BC之间B获胜两次,BC,AC之间C获胜两次,CA,这样就构成了1个ABC的循环。这个是否是有点像足球联赛的记分制啊,如果积分相同,足球比赛中可以再看净胜球、进球、胜负关系等,但是作者并没有在这个方面进行展开,而是介绍了另外一种方式:博达制。

方案7:博达制,民众对候选人排序,假设有n个候选人,第1位的候选人得n分,第2位得n⑴分,以此类推,然后统计每一个候选人的总分,获得多分的获胜。

有人对博达制的批评是:可能有选民会利用这类方式进行做弊(投策略票),支持B的候选人本来心目中的排序是BAC,但是由于相对A,他们还是更喜欢B,因此,为了把B拉上来,就得把A拉下去,他们的投票就变成了BCA。博达对此批评的回应是:我的制度只适用于诚实的投票者。

而这本书的作者却认为博达制的策略票问题没那么严重,如果没法准确预测民意和精确控制策略票的投法,有可能由于用力过猛,不但把A拉下来了,反而让C取得的支持票增加,这样就使得支持B的那些人的策略票反而使得他们讨厌的C当选了,当年在IMDB上就产生过类似1幕:

电影《蝙蝠侠6》上映后,蝙蝠侠的粉丝们觉得这部片太酷了,因此就想把蝙蝠侠6投成IMDB第1位,因而他们疯狂的给蝙蝠侠6打高分,而同时,也纷纭的给当时的IMDB第1《教父》投低分,致使的结果就是用力过猛,教父变成了第3名,原来的第2肖申克的救赎(TSR)变成了第2(原来的第2是排在教父后面,新的第2是排在蝙蝠侠6后面),而后来,随着疯狂粉丝的热忱减退,理性的意见占据了上风,蝙蝠侠6的得分逐渐降落,跌到了第10。而教父还是在肖申克的救赎后面,很久没有回去了。

博达制是不是有其他问题呢?

以上只是对这本书第14章的1个笔记,也仅仅针对多候选人单职位问题进行了讨论,书的后面还会对多候选人多职位的情况继续探讨,也就是根据每一个人对候选人的排序,来决定终究的候选人排序。

回到搜索引擎领域来,如上策略的变迁会给我们1些启示,先看看之前抽象出来的问题:

有n个候选人,每个选民对这n个候选人投票,终究在n个候选人当选出合适、民意、也符合逻辑的那个人。

这很像搜索引擎在解决的问题:

系统里有n个页,有m个特点(页面质量、页面内容丰富度、页面超链、文本相干性等)对n个页有不同的打分,如何根据这些特点的投票,选出合适放在第1位的页呢?

从选举的例子中,我们可以得到的几个启示:

1. 设计算法时,要避免出现赢者通吃带来的信息丢失问题。

2. 不要由于某几个特点特别好,就把某个页排到前,或由于某几个特点特别差,就把某个页抛弃。

3. 适合放在首位的页不1定是在每个特点上都,而应当是能够统筹所有特点,综合表现的那个。

4. 搜索引擎使用者对搜索结果的点击行动,可以看成是对搜索结果进行的投票,这样的投票信息的使用方式,也要注意斟酌是不是会带来选举进程中出现的种种不公道。

以上提到的种种选举方案,仅仅是对多候选人单职位的的情况进行讨论,而搜索引擎面对的问题,则更类似于多候选人排序的情况,也即:

系统里有n个页,有m个特点(页面质量、页面内容丰富度、页面超链、文本相干性等)对n个页有不同的打分,如何根据这些特点的投票,决定n个页的顺序?

而这个多候选人排序问题,是有1个不可能的民主的理论的,该理论的大意是,公道的民主应当满足3个条件:

1. 如果选民都认为A比B好,那么终究结果应当也是A比B好

2. 没有独裁者,也即,不存在这样1个人,不管他人怎样排序,终究结果的排序都和这个人的排序1致

3. 无关因素独立性,也即,在第1次投票完成后,A排在B前面,现在进行第2次投票,如果所有人都没有改变自己投票中A和B的相对顺序,那终究结果应当也是A在B前面

而通过数学的证明,可以得出结论:如果某种选举方式满足条件1和3,则必定不满足2,也即必定存在独裁者.

根据不可能的民主理论,和搜索引擎结合起来看,仿佛搜索引擎很难给出1个公道的页排序,但是搜索引擎和投票又仿佛有所不同,有两个角度可以破解

1. 认为条件3过于强,需要弱化。

2. 也许在页排序问题上,真的存在这样1个独裁特点,这个独裁特点从目前看来,合适的应当就是用户满意度了,依照用户的满意程度来排序页,就是公道的页排序。如何衡量用户满意度呢?这就是我们1直在努力的。

by liangaili

4 : 新站如何让自己的站在搜索引擎上被搜到的方法

方法非常简单,就是找到各搜索引擎提交站的入口,根据其格式来填写自己的站信息.下面分享了1些主要搜索引擎的提交址.

Google搜索

百度搜索

hao123

爱问搜索

雅虎搜索

中国搜索

TOM搜索

天搜索

MSN搜索

Bing提交

有道提交

DMOZ提交

千度提交

好站导航

凯希提交

协通提交

法律

站搜索

极限搜索

精彩实用

114啦提交

中文分类目录

第1摘站

站长辨别类

35分类目录

酷帝分类

站目录

160站分类

258商业搜索

络营销

奇虎提交

5 : 搜索引擎收录页规则 SEO如何应对和解决问题

也许很多人都如我的培训对象1样,都认为自己了解SEO,但是在回答我所准备的基础题的时候,能全对的人却很少。所以,我们也还是从基础开始,虽然我认为我的博客读者应当对SEO都是比较进阶的,你们就当跟我1起做次复习吧:) 搜索引擎的运作流程概括和衍生出来的SEO问题

上图是概括出来的搜索引擎的运作流程,真实情况会比这复杂很多。在这个概括流程里,我将主要几个步骤列出,包括:搜索引擎爬虫爬行站页面页被搜索引擎收录搜索引擎(在用户搜索时)判断用户的搜索要求(检索收录数据库,进行匹配结果排序以后)显示搜索结果用户点击某个结果,离开搜索引擎。

SEO是在处理站、搜索引擎、搜索用户3者之间的关系,所以SE的每个重点运作流程都会是SEO要关注的。结合上图和上面说的步骤,我们可以看到搜索引擎的流程与SEO的思路是逐一对应的。

搜索引擎爬虫爬行页===》怎样让蜘蛛找到我们的站、页?

搜索引擎收录页入库===》有甚么办法保证我的页在被爬行后就被收录?

搜索引擎判断用户的搜索要求===》我们的目标用户在搜索时用的甚么词语?

搜索引擎依照顺序显示搜索结果===》怎样让我们的页排名靠前?

用户点击某个结果===》有甚么办法可以提高我们的页面的点击率?

在进1步了解搜索引擎对每一个步骤的大概处理办法以后,我们应当重点思考的衍生出来的SEO相干的问题。上面所列的每点,都是在SEO进程中所要面对和处理的。不同站对这些问题给出的答案不1样,所以终究得分也不1样。各位朋友,你们无妨现在想想,每个步骤,你们都会给出甚么样的答案呢?

SEO如何应对和解决问题

在全部应对、处理、解决、提高的进程中,SEO实际上是比较被动的,所有的做法都是针对搜索引擎和用户的喜好而进行的。所以,我在PPT里使用了09年被字句,而与1般的被XX不1样,我们是希望被被XX而不是抗拒(囧!)。

被发现让搜索引擎找到站、页。

被发现这个步骤里,我们所做的归纳起来就是给搜索引擎提供站入口,外部的、内部的都需要。在这里面,我说的是让搜索引擎找到站、页而不只是站或页,这是有差别的。不信,你想一想?

被收录让页进入搜索引擎收录库

搜索引擎的收录是分级别待遇的,不同级别的待遇是不相同的。如何保证站页面进入合适的收录数据库,并且长时间保持,那需要有入门、保级、升级的资本和能力滴。

如果你的站是图片站,那是不是应当更重视图片搜索引擎里的收录和排名呢?

被排名在搜索结果页面取得好的位置

Google的排名算法非常复杂,有老外们整理出过重要的排名影响因素。站要在1次搜索要求中取得排名,条件是被收录,然后是页要符适用户的搜索词,其次是有排名的竞争能力。这个顺序,很多人是斟酌反的了,导致在做SEO的进程中,出现问题。

被点击让用户找到、并且点击你的页

可恶的事情是在全部流程中,我们都是被动的;可喜的事情是在我们做了那么多以后,终究有用户点击了我们的页。我们取得流量啦!

这1步骤也不容易,如何让用户在10条基本的搜索结果里面+可能的广告+可能的本地信息+可能的图片、视频、、实时搜索结果等等1个老长的队伍里找到并且点击你呢?答案:靠前、满足需求、醒目。

在问题和解决问题的办法这两点里,可以说的东西非常的多(不然我们这些SEO博客都说些甚么呢:) ),这边只是粗略的引导1下大家的思路。与之前的建议1样,你也无妨自己想一想,每个被字句中,你会使用甚么手段取得化结果?期待你的分享和讨论。

Kotler在《市场营销原理》1书中定义营销为从顾客身上获得利益回报,创造顾客价值和建立牢固顾客关系的进程。顾客和市场有5个核心概念:需要、愿望和需求;营销供给物(产品、服务和体验);顾客价值和满意;交换和关系;市场。每点SEO都跑不了,每点都有1本故事书。作者不同,故事讲起来就不1样廖,所以回顾温习和培训就很成心思。

更年期月经不调怎么调
益母颗粒怎么喝
怎么判断月经过多

猜你喜欢