使用CEFSharp获取动态网页源码

CEF 全称是Chromium Embedded Framework（Chromium嵌入式框架），是个基于Google Chromium项目的开源Web browser控件，支持Windows, Linux, Mac平台。CEFSharp就是CEF的C#移植版本。

访问以下链接可以获取CEF的详细介绍

https://bitbucket.org/chromiumembedded/cef/wiki/Home

CEFSharp是开源的，地址https://github.com/cefsharp/CefSharp,CEFSharp支持Winform和WPF，这里我以WPF来进行演示。

1、新建WPF工程，Nuget引入CEFSharp

2、将解决方案平台更改为x64

3、在Xaml中完成界面设计

需要先引入命名空间前缀

xmlns:cefsharp="clr-namespace:CefSharp.Wpf;assembly=CefSharp.Wpf"

<Window x:Class="使用CEFSharp获取动态网页源码.MainWindow"
        xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
        xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
        xmlns:d="http://schemas.microsoft.com/expression/blend/2008"
        xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006"
        xmlns:local="clr-namespace:使用CEFSharp获取动态网页源码"
        xmlns:cefsharp="clr-namespace:CefSharp.Wpf;assembly=CefSharp.Wpf"
        mc:Ignorable="d"
        Title="MainWindow" Height="450" Width="800">
    <Grid>
        <Grid.RowDefinitions>
            <RowDefinition Height="35"/>
            <RowDefinition/>
        </Grid.RowDefinitions>

        <Grid>
            <Label Content="请输入网址" VerticalAlignment="Center" HorizontalAlignment="Left"></Label>
            <TextBox  VerticalAlignment="Center" Margin="80,0,120,0"></TextBox>
            <Button Content="访问" HorizontalAlignment="Right" Width="100" VerticalAlignment="Center"/>
        </Grid>

        <Grid Grid.Row="1">
            <cefsharp:ChromiumWebBrowser Name="chrome"></cefsharp:ChromiumWebBrowser>
        </Grid>
    </Grid>
</Window>

4、使用cef获取网页源码

只需要设置ChromiumWebBrowser.Address属性就可以打开网站。

chrome.Address = this.tbox_url.Text;

5、处理获取到的网页源码

在ChromiumWebBrowser.FrameLoadEnd事件实现里可以获取到网页的动态源码。这里需要注意的是，当你打开一个动态页面，这个事件可能 会触发多次，比如你打开weibo.com，这个事件就会触发多次。

private async void Chrome_FrameLoadEnd(object sender, FrameLoadEndEventArgs e)
        {
            string source = await chrome.GetSourceAsync();
        }

使用CEF无法确定一个网站是否已经完全加载完成，我们只能在它每一次加载完成时，处理它的页面源码。(如果需要主动等待网站加载完成，可以试试使用Selenium https://www.cnblogs.com/zhaotianff/p/11330810.html)

比如打开weibo.com时，会获取到多次页面源码，结果如下(这里只贴出前面两次的结果)：

获取到源码以后可以使用HtmlAgilityPack、AngleSharp等解析库来解析HTML，也可以使用CEF执行js实现同样的功能

调用ChromiumWebBrowser.EvaluateScriptAsync函数就可以执行js，函数返回值可以获取到js执行的结果。

示例代码

如果想了解C#爬虫相关的知识，可以访问我的github