• 抓取思考


    1、百度是否能抓取CSS样式表并识别分析?
      百度是能够抓取并分析CSS的。
      2、百度5.20大更新,你有什么看法?
      简而言之:我们的系统在更新数据的过程中出了点状况,问题被及时发现后,已经于5月20日中午修复,目前还有部分内容由于缓存等原因正在更新中,很快就会恢复正常。今后我们会加强相应的保障机制,避免再次出现同类问题。同时也很抱歉让大家造成一些误解。
      3、百度蜘蛛爬行不存在的路径?
      Baiduspider只抓取能从互联网上找到的url,如果Baiduspider大量抓取你网站上不存在的url,可能有两个原因:1)你网站内 有部分网页指向其他网页的url格式不正确。2)互联网上有其他网站指向了你网站内不存在的网页。另外,Baiduspider抓取到不存在的网页,服务 器应该返回404错误。
      4、我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
      如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
      5、新域名在百度下的权重比旧域名高的情况下,将旧域名301重定向到了新域名会有什么影响?或者说百度下的301是将权重替换还是叠加的呢?
      将旧域名301重定向到新域名,旧域名的权值会叠加到新域名上。
      6、网站的gzip压缩对网站的收录和权重有没有影响?
      gzip对收录和权重没有影响。对搜索引擎唯一的影响,是抓取速度会快一些。
      7、域名A曾经301至域名B ,如果现在又将域名B301回A是否还能保持原来权重?
      会,但会有一段时间的考查和权值转移期。
      8、百度的真正外链是什么命令,是否无法查询?
      百度目前没有查询外链的查询命令,但我们已经计划在站长平台中支持外链查询
      9、标题长短对于网站权重的影响有多大?
      正如同一个页面上的导出链接越多,每个链接获得的权重越小一样,title上的关键词越多,单个关键词获得的权重也会越低。这是很直观的逻辑。但是, 如果为追求某个关键词的权重,极力压缩标题长度,那么真正合乎该页面的搜索需求,又很难被命中。所以,一般性的建议就是,实事求是的将页面主旨反映在标题 中即可。如果要做长青树,不要在乎一时一刻的seo效果(那个很累、很烦),把网站的忠实用户人气做起来就成了。
      10、修改页面标题(如增加前缀或后缀)是否会影响网站排名?
      title是极重要的内容,大幅修改,只会带来大幅波动,所以请慎重对待网页标题。
      11、修改首页的description标签,会不会受到惩罚?
      这个肯定是多虑了,我们鼓励大家通过description来撰写网站的简介,只是过于频繁的修改,可能不会及时反馈在摘要中。
      12、更换服务器是否对排名有影响?
      原则上是不会的。除非新换的服务器太糟糕,三天两头访问失败,或者服务器从国内换到国外,这就很可能被和谐。
      13、百度对重复内容是如何处理的?
      搜索引擎的排序出发点,是用户的搜索体验。虽说,很多时候尊重原创和用户体验是一致的,但是,毕竟也有一些案例,转载的体验会比原创更好,这时原创的排序未必会高于转载者,但是,原创的应该以另外一种方式被肯定,而不是简单的被聚合掉。
      14、我买了一个老域名,重新建站,权重会继承吗?
      正常的域名转手,域名会被当做一个全新的域名看待,前帐一笔勾销。
      15、百度对如何看待nofollow?
      如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记放入网页的 HEAD 部分:meta name=”robots” content=”nofollow”;如果您不想百度追踪某一条特定链接,百度还支持更精确的控制,请将此标记直接写在某条链接上: a href=”signin.php” rel=”nofollow”>登录/a
      16、修改robots之后多久生效?
      不同的站点略有不同,但通常会在几天内生效。根据笔者的经验,只要保持外链的增长和原创内容的更新,大概是4天对于老站,而新站大概一个星期左右。
      17、一个页面有多个重复的链接,并且链接文字相同,搜索引擎在传递权重时,只传递一次权重,还是每个链接都要传递权重?另外,这几个重复的链接获得的权重一样么?
      重复的链接不会增加链接权重
      18、百度是否能识别和处理纯文本形式的链接(非标签)?
      可以,搜索引擎的spider需要及时发现和抓取互联网上的链接,至于链接是什么形式,并不重要,也许有一天,我们还可以识别图片里、语音里、视频里或是其它形式的链接。
      19、option标签里面的链接可以被蜘蛛抓到么?
      可以提取,效果等同于A标签。
      20、标题过长是否会对百度搜索不利?
      这个自然是没有限制的。很多人喜欢往标题里塞很多关键词,以为那样就全面开花,但很可能适得其反,这个原理跟在一个页面上有多个超链接一样。分一杯羹的人越多,每个人所得的羹越少。
      21、百度什么时候更新?
      没有“更新前”和“更新后”,百度无时无刻不在更新。
      22、假如竞争对手恶意群发我网站链接到非法站点,对我网站有影响吗?
      我们有很完善的识别算法,这些行为并不会导致你的网站受到影响。
      23、很多人说.info和.hk等域名被降权了,是不是真的?
      使用何种后缀的域名,对搜索引擎没有直接的影响。但.com、.cn、.net等常见的域名后缀更容易记忆,增加用户的判断成本。
      24、百度建议URL静态化吗?还是像Google一样,不建议URL静态化?对伪静态怎样看待?和真的静态文件一样吗?
      对URL的动静态,没有歧视政策。
      之所以以前有过提倡静态的说法,是因为很多动态URL,带了很多参数,而实质上内容是一样的。这个给spider以及站长都带来不必要的麻烦。我们在 这上边花了不少精力。所以,总的原则就是,URL的动静态无所谓,只是尽可能的避免重复即可。但是动态url也不要动态得太变态,搞几十个参数,那会吓着 蜘蛛。酝酿中的sem指南,会有对url优化方面的详细说明。
      25、搜索结果中显示标题与实际标题不一致?
      原因比较复杂,需要针对性分析。主要原因可能是tag title提取失败,系统只好从其他地方取了一些文本作为标题。这种提取失败的原因,有网页设计层面的(比如全是flash或者ajax),也有 robots封禁层面的(某些重要网页虽然不抓取,但会保留url本身)。还有一些系统异常也会造成类似的现象。如果不符合一般性的预期,这类问题都可以 直接提交至webmaster#baidu.com。会有工程师跟进的。
      26、在百度快照里页面没有显现完整,首页底部(友情链接及版权信息那块)代码和页面都没在快照中出现,那么友情链接对其他网站还有用吗?
      这种情况不会影响友情链接。另外,我们建议尽量将页面大小控制在合适范围内。
      27、以前百度显示网页体积的时候最大是125K,超过这个范围快照显示就不正常,是不是意味着网页体积大于125K就对搜索引擎的抓取或收录有影响了?
      页面大小和搜索引擎的抓取之间没有直接关系。但我们建议网页(包括代码在内)不要过大,过大的网页会有抓取截断;而内容部分,也不要过大,过大会被索引截断。当然,抓取截断的上限,会远大于索引截断的上限。
      28、Google倾向于说每个网页的导出链接不要超过100为宜,百度有没有什么建议?
      这个暂时没什么建议。一般情况下,链接数量,会影响到这些链接从该页面上所获得的权重;少就多分一些,多就少分一些。
      29、js代码弹窗是否会影响自然排名?
      任何对用户体验有增益或者减益的做法,其实会影响到用户的"投票"行为。而这些投票行为,又会影响搜索引擎对这个网站的评价算法。所以,弹不弹窗并不重要呀,关键是这种弹窗会对用户造成什么样的影响。
      30、百度针对连接上存在不存在有效期的问题,意思上是说,一个链接的权重会不会过一段时间后就会没有了,或者逐渐降低?
      如果各位站长要揣摩百度的策略细节,我觉得不如站在用户的角度,用一种合乎常理的逻辑去做推断。比方链接时效性问题,实际是有利有弊。利在于,过去的 投票,只反映被投票者在过去的价值,不见得能反映现时情况;弊在于,正常投票不大会重复投,过去投过了,现在就可能不投了,但不代表现在对被投票者的不认 可。那么究竟应该怎么做呢?呵呵。我也不清楚。
      31、原创内容不能被识别怎么办?
      这个,只能说百度的策略还不是很完善,我们也一直在改进。另外,从用户体验角度,有些转载未必比原创差。比方一篇科技原创博文,被知名门户网站的科技 频道转载。如果这种转载保留原创者姓名和出处链接,实际上对原创者是有利的,因为起到了更好的传播效果。只是国内的转载,很多是掐头去尾,使原创者比较受 伤。
      32、百度是否跟踪JavaScript链接?
      javascript的解析,是很多搜索引擎正在做的事情;同理,对flash的解析。毕竟有那么多应用javascript或者flash的网站, 其实并没有意识到,他们的做法给搜索引擎的收录和索引带来的麻烦。所以,如果期望不被搜索引擎收录的话,最直接的手段,还是写robots文件。
      33、链接点击率是否计入排名算法,百度是否有会估算某网页的某个反向链接被点击次数(例如:从工具条、流量统计等工具得到的部分数据)?比如是否把链接的点击率计入算法之中?是否会利用这点来判断哪些是隐藏链接?或者判断外链的相关性等因素。
      我只能说,一切有利于排序改进的因素,都有可能被搜索引擎尝试应用。

  • 相关阅读:
    C# 枚举、字符串、值的相互转换
    What's New in v2010 vol 2.5
    Using Oracle's Parallel Execution Features
    [zhuan]asp.net程序性能优化的七个方面 (c#(或vb.net)程序改进)
    ORACLE常用网址
    html中的块元素(block element)和内联元素(inline element)
    软件构架师的特点
    窗体信息处理函数讲解
    [xue]软件项目经理所必需具备的素质
    Gulp系列文章入门Gulp
  • 原文地址:https://www.cnblogs.com/ldms/p/8317756.html
Copyright © 2020-2023  润新知