C#爬取微博文字、图片、视频（不使用Cookie）

前两天在网上偶然看到一个大佬OmegaXYZ写的文章，Python爬取微博文字与图片（不使用Cookie） 

于是就心血来潮，顺手撸一个C#版本的。

其实原理也很简单，现在网上大多数版本都需要Cookie来获取微博数据。但是微博之前不是出了PWA版本嘛，就是通过这个版本，可以不用Cookie，来顺利获取微博数据。

关于使用Cookie与不使用Cookie的区别，dataabc大佬也有说明，下面是原文引用

对于大部分微博用户，不添加cookie也可以获取其用户信息和大部分微博，不同的微博获取比例不同。以2020年1月2日迪丽热巴的微博为例，
此时她共有1085条微博，在不添加cookie的情况下，可以获取到1026条微博，大约占全部微博的94.56%，而在添加cookie后，可以获取全部微博。
其他用户类似，大部分都可以在不添加cookie的情况下获取到90%以上的微博，在添加cookie后可以获取全部微博。
具体原因是，大部分微博内容都可以在移动版匿名获取，少量微博需要用户登录才可以获取，所以这部分微博在不添加cookie时是无法获取的。 
有少部分微博用户，不添加cookie可以获取其微博，无法获取其用户信息。对于这种情况，要想获取其用户信息，是需要cookie的。

dataabc大佬，也是用万能的Python写了两个版本，一个是需要Cookie，一个是不需要Cookie的。

而且使用方法写的非常详细。有需要的可以去Github膜拜。

这里贴一下我亲自运行的结果：

而开头提到OmegaXYZ大佬，也是在他自己的版本上更上一层，给Python代码加上了GUI界面，更适合大众小白用户。

原文地址：python微博爬虫GUI程序

好了，介绍完大佬们写的作品，接下来就说一下我自己的C#版本吧。

由于我在爬虫领域属于纯小白，一窍不通，所以并不懂什么爬虫（Spider）、反爬虫（Anti-Spider）、反反爬虫（Anti-Anti-Spider）。

不过在爬虫与反爬虫的斗争中，爬虫一定会胜利的，因为爬虫会进化为和真实用户一模一样的行为。

接下载我写的代码，是没有加入反反爬虫的，建议一跑起来，就立即终止，或者，加入一个Task.Delay(1000)之类的延时。

不要爬取的太快，容易被微博屏蔽ip！！！

不要爬取的太快，容易被微博屏蔽ip！！！

不要爬取的太快，容易被微博屏蔽ip！！！

即使被屏蔽也别慌，过一段时间就会恢复。

1. 获取用户的uid，构建基础url

uid即微博用户的唯一标识id，具体如何获取uid，可以查看前面二位大佬写的教程，这并不是本文的重点。

基础url是指我们通过这个，可以获取微博用户的基本信息，以及一个非常重要的字段：containerid

只有通过containerid才可以获取用户发的微博。

一个完整的实例Url：

string strBaseUrl = "https://m.weibo.cn/api/container/getIndex?type=uid&value=1197191492";

2.通过HttpClient获取containerid

通过HttpClient，把strBaseUrl和uid拼接起来，我们就可以得到返回的json数据。

而我们需要的containerid就是在 res?.data?.tabsInfo?.tabs 下面。

            var res = await HttpHelper.GetAsync<UserSummary>(strBaseUrl);
            if(res != null && res?.ok == 1)
            {
                if(res?.data?.tabsInfo?.tabs != null)
                {
                    foreach(var item in res?.data?.tabsInfo?.tabs)
                        if(item.tab_type == "weibo")
                        {
                            strContainerId = item.containerid;
                            break;
                        }
                }
            }

3. 拼接基础url、containerid、page获取分页微博信息。

拼接上面的参数，一个完整的示例：

https://m.weibo.cn/api/container/getIndex?type=uid&value=1197191492&containerid=1076031197191492&page=1

这里我通过自己的理解区分了三种微博类型：

①包含图片：

    判断 home?.data?.cards[j].mblog.pics != null

②包含视频：

    判断 home?.data?.cards[j].mblog.page_info != null && home?.data?.cards[j].mblog.page_info.type == "video"

③文字：

   不是①和②的

不过应该还有其他的类型，我还没仔细分析。

C#代码：

string strWeiboUrl = strBaseUrl + "&containerid=" + strContainerId + "&page=";
            int i = 1;
            while(true)
            {
                var home = await HttpHelper.GetAsync<UserHome>(strWeiboUrl + i.ToString());
                if (home != null && home?.ok == 1 && home?.data != null && home?.data?.cards?.Count > 0)
                {
                    Debug.WriteLine("---第" + i + "页---");

                    for (int j = 0; j <= home?.data?.cards.Count - 1; j++)
                    {
                        if(home?.data?.cards[j].card_type == 9)
                        {
                            Debug.WriteLine("第" + (j + 1) + "条微博---");
                            Debug.WriteLine("微博原始地址：" + home?.data?.cards[j].scheme);
                            if(home?.data?.cards[j].mblog != null)
                            {
                                Debug.WriteLine("发布日期：" + home?.data?.cards[j].mblog.created_at
                                    + "；转发数：" + home?.data?.cards[j].mblog.reposts_count
                                    + "；评论数：" + home?.data?.cards[j].mblog.comments_count
                                    + "；点赞数：" + home?.data?.cards[j].mblog.attitudes_count);
                                if (!string.IsNullOrEmpty(home?.data?.cards[j].mblog.source))
                                    Debug.WriteLine("来自：" + home?.data?.cards[j].mblog.source);
                                Debug.WriteLine("微博内容：" + home?.data?.cards[j].mblog.text);
                                if(home?.data?.cards[j].mblog.pics != null)
                                {
                                    Debug.WriteLine("微博类型：picture");
                                    foreach (var item in home?.data?.cards[j].mblog.pics)
                                        Debug.WriteLine(item.large.url);
                                }
                                else if(home?.data?.cards[j].mblog.page_info != null && home?.data?.cards[j].mblog.page_info.type == "video")
                                {
                                    Debug.WriteLine("微博类型：" + home?.data?.cards[j].mblog.page_info.type);
                                    Debug.WriteLine(home?.data?.cards[j].mblog.page_info.media_info.mp4_hd_url);
                                }
                                else
                                {
                                    Debug.WriteLine("微博类型：text");
                                }

                                //转发的还是原创的
                                if(home?.data?.cards[j].mblog.retweeted_status == null)
                                {
                                    Debug.WriteLine("原创的微博");
                                }
                                else
                                {
                                    Debug.WriteLine("转发的微博");
                                    Debug.WriteLine("原文作者：" + home?.data?.cards[j].mblog.retweeted_status.user.screen_name);
                                    Debug.WriteLine("原文内容：" + home?.data?.cards[j].mblog.retweeted_status.text);
                                }
                            }
                            Debug.WriteLine("");
                        }
                    }

                    i++;
                    Debug.WriteLine("");
                    Debug.WriteLine("");
                    Debug.WriteLine("");
                }
                else
                    break;
            }

4. 最终效果

运行后，记得赶快停掉，别爬太多数据，容易被封。

后续我会研究如使用反反爬虫机制，防止被封。