在进行抓取网页或者获取一个网页的时候,有时会因为编码问题变成乱码,下面的函数可以转换一下编码
//转换编码 func Encoding(html string,ct string) string { e,name:=DetermineEncoding(html) if name!="utf-8"{ html=ConvertToStr(html,"gbk","utf-8") e=unicode.UTF8 } r := strings.NewReader(html) utf8Reader := transform.NewReader(r, e.NewDecoder()) //将其他编码的reader转换为常用的utf8reader all, _ := ioutil.ReadAll(utf8Reader) log.Println(string(all)) return string(all) } func DetermineEncoding(html string) (encoding.Encoding,string) { e, name, _ := charset.DetermineEncoding([]byte(html), "") return e,name }
这个例子是把gbk转为utf8