• 网站seo优化--jsoup 批量分析相关网站 标签,描述,关键词.


    网站seo优化--jsoup 批量分析相关网站 标签,描述,关键词.

    因为自己写了一个磁力搜索网站Btgoogle,准备进行优化一下,需要分析其他的网站的优化情况。

    Java的Jsoup类库和PHP的一个Simple_html_dom框架具有异曲同工之妙,非常的相像.

    比如Jsoup里面doc.select(".classname[:eq()]")Simple_html_dom里面的$html->find(".classname",[eq])都是尽量完整Jquery里面的功能.非常实用.后面对这两个东西准备对比分析一下.对比而言,Jsoup比功能还是强大不少,更加接近JS.

    Python

    import urllib2
    import re
    import sys
    url= "http://www.*****.com"
    req=urllib2.Request(url)
    r=urllib2.urlopen(req)
    html=r.read()
    m = re.search('<meta name="keywords" content="(.*)"/>',html)
    print m.group(1)
    m = re.search('<meta name="description" content="(.*)"/>',html)
    print m.group(1)

    简洁的python版,python效率还是很不错的,不过看Jsoup那么方便,就直接用Jsoup

    Jsoup

    package keyword;
    import java.io.IOException;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    public class keyword {
        public static void main(String[] args) {
        	int i=0;
        	int error1=2;
            for(i=0;i<=10;i++){
        	   Document doc = null;
                try {
                    doc = Jsoup.connect("http://www.baidu.com/s?wd=磁力搜索&pn="+i*10).get();
                } catch (IOException e) {
                    e.printStackTrace();
                }
                Elements url = doc.getElementsByClass("g");
                for (Element link : url){
                	String linktext=link.text().replaceAll("/(.*)","");
                	linktext="http://"+linktext;
                	System.out.println("链接:"+linktext);
                	Document linkin = null;
                    try {
                        linkin = Jsoup.connect(linktext).timeout(5000).header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0").get();
                    } catch (Exception e) {
                        error1=1;
                    }
                    if(error1!=1){
                    String title = linkin.title();
                    Elements metas = linkin.head().select("meta");  
                    for (Element meta : metas) {  
                        String content = meta.attr("content");  
                        if ("keywords".equalsIgnoreCase(meta.attr("name"))) {  
                            System.out.println("关键字:"+content);  
                        }  
                        if ("description".equalsIgnoreCase(meta.attr("name"))) {  
                            System.out.println("网站内容描述:"+content);  
                        }  
                    }  
                    Elements keywords = linkin.getElementsByTag("meta");
                    System.out.println("标题"+title);
                    }
                    error1=0;
                }
            
            }
        }
    }
    

    这里面也有几个坑:

    • 1.403 错误 ,服务器拒绝访问,这是老生常谈的问题了.模拟浏览器就行了.
    • 2.超时错误,使用timeout(timelength)
    • 3.错误处理,当然如果出现错误,整个程序就会暂停,所以异常处理那段搞搞就行try{..}catch{..}

    版权归石头(winipcss@outlook.com)和博客园所有,都拷去那么多了,这一段也拷贝了吧http://www.cnblogs.com/webers/p/4350813.html
  • 相关阅读:
    科学开源项目 : 建立一个 新的 光衍射 模型
    光不是电磁波 摩擦力不是电磁力
    收录一篇 贝尔不等式 的 文章
    数学家 程序员 哲学家 艺术家
    论 数学 的 工具性
    数学 怎么用?
    随便说说 广义相对论 的 时间膨胀
    逻辑物理学 : 光子 有 质量 吗 ?
    我对 “光子有质量 , 引力对光子有作用” 存疑
    收录一些 高等数学 的 文章
  • 原文地址:https://www.cnblogs.com/webers/p/4350813.html
Copyright © 2020-2023  润新知