视频名称、评分、评价人数,你戴面具的岁月太长

一、须要分析
用go语言抓取 豆瓣电影top250
抓取url:
https://movie.douban.com/top250

《超脱》:我的神魄与自身里面的偏离如此短时间,而自己的留存却这么真实。

抓取字段:电影名称、评分、评价人数

《罗生门》

图片 1

《罗生门》:撒谎是人之本性,在一大半岁月里我么甚至都不恩能对自己诚实,但那是因为人们太懦弱了所以才撒谎,甚至是对协调撒谎。

二、运行:
正在抓取第0页……
肖申克的救赎 9.6 824764人
其一杀手不太冷 9.4 791399人
霸王别姬 9.5 589028人
阿甘正传 9.4 678850人
赏心悦目人生 9.5 394009人
千与千寻 9.2 630458人
辛德勒的花名册 9.4 364712人
泰坦尼克(尼克(Nick))号 9.2 624623人
盗梦空间 9.2 732345人
机器人总动员 9.3 480979人
海上钢琴师 9.2 577308人
三傻大闹宝莱坞 9.1 641152人
忠犬八公的故事 9.2 430317人
放牛班的夏日 9.2 432372人
大话西游之大圣娶亲 9.2 465333人
教父 9.2 329687人
龙猫 9.1 401043人
楚门的世界 9.0 428408人
乱世佳人 9.2 261186人
天堂电影院 9.1 298513人
当幸福来敲门 8.9 517770人
触不可及 9.1 350506人
搏击俱乐部 9.0 391458人
十二怒汉 9.3 162947人
无间道 9.0 379235人
正值抓取第1页……
熔炉 9.2 230668人
戒指王3:王者无敌 9.1 274576人
心怦怦地跳动 8.9 516559人
上苍之城 9.0 317896人
波士顿休假 8.9 370862人
少年派的奇妙漂流 9.0 557923人
大话西游之月光宝盒 8.9 377930人
老外来了 9.1 215894人
星际穿越 9.1 458151人
蝙蝠侠:乌黑骑士 9.0 301300人
两杆大烟枪 9.0 263387人
飞屋环游记 8.9 479900人
活着 9.0 250291人
飞越疯人院 9.0 266980人
窃听沙暴 9.1 210963人
海豚湾 9.3 175994人
闻香识女孩子 8.9 306894人
V字仇杀队 8.8 393427人
国色天香心灵 8.9 292012人
教父2 9.1 177785人
哈尔的移动城堡 8.8 329450人
戒指王2:双塔奇兵 8.9 259420人
戒指王1:魔戒再次出现 8.9 289417人
天使爱雅观 8.7 462798人
情书 8.8 355630人
正在抓取第2页……
已故诗社 8.9 261989人
美利坚合作国往事 9.1 165768人
七宗罪 8.7 417016人
钢琴家 9.0 193470人
狮子王 8.9 268010人
辩护人 9.1 184702人
被嫌弃的松子的生平 8.9 261601人
致命魔术 8.8 322267人
控方证人 9.6 74343人
勇于的心 8.8 284474人
剪刀手爱德华(爱德华) 8.7 461650人
饮食男女 9.0 177612人
小鞋子 9.2 127801人
音乐之声 8.9 221186人
低俗随笔 8.7 314236人
入殓师 8.8 305490人
本杰明(本杰明(Benjamin))·巴特on奇事 8.7 374361人
沉默的羔羊 8.7 332710人
蝴蝶效应 8.7 361872人
黑客帝国 8.8 263790人
救死扶伤大兵瑞恩 8.8 221863人
素媛 9.1 159897人
玛丽(Mary)和马克思 8.9 224392人
西西里的美观神话 8.7 322475人
眼疾手快捕手 8.7 253548人
正在抓取第3页……
幽灵公主 8.8 221276人
第六感 8.8 219997人
阳光灿烂的光阴 8.7 254632人
让子弹飞 8.7 591987人
春色乍泄 8.8 226800人
大鱼 8.7 236955人
大闹天宫 9.2 90498人
射雕英雄传之东成西就 8.7 259390人
洛桑树林 8.6 305208人
日光姐妹淘 8.8 252293人
上帝之城 8.9 150203人
甜蜜蜜 8.7 219633人
禁闭岛 8.6 334496人
致命ID 8.6 296372人
告白 8.6 319372人
一一 8.9 144124人
台湾海峡盗 8.6 314012人
爱在黎前些天亮前 8.7 204426人
狩猎 9.0 112979人
拉各斯大饭馆 8.7 283495人
阿凡达 8.6 500668人
断背山 8.6 299180人
风之谷 8.8 165217人
萤火虫之墓 8.7 191782人
发狂动物城 9.2 456022人
正值抓取第4页……
Morton时代 9.2 80291人
爱在日落黄昏时 8.7 186451人
猫鼠游戏 8.7 202371人
末代天子 8.8 148111人
侧耳静听 8.8 155656人
哈利(Harry)·波特与魔法石 8.6 229709人
驯龙高手 8.7 267113人
超脱 8.7 159754人
海洋 9.0 95004人
甜蜜终点站 8.6 213611人
穿条纹睡衣的男孩 8.8 127481人
菊次郎的夏日 8.7 165585人
燃情岁月 8.8 142374人
没有的对象 8.7 323395人
倩女幽魂 8.6 228708人
神偷奶爸 8.5 345293人
电锯惊魂 8.6 186192人
谍影重重3 8.7 169379人
岁太阴星君偷 8.6 289352人
真爱至上 8.5 292293人
借东西的小丑阿莉埃蒂 8.7 201807人
雨人 8.6 198321人
七武士 9.2 70156人
虎口脱险 8.9 101112人
恐惧直播 8.7 194852人
正在抓取第5页……
贫民窟的百万富翁 8.5 376457人
东邪西毒 8.6 233910人
回想碎片 8.5 258781人
疯癫原始人 8.7 348948人
杀人纪念 8.6 191049人
怪兽电力公司 8.6 221069人
红辣椒 8.8 116235人
卢旺·达(Wa·nda)酒馆 8.8 109739人
黑天鹅 8.5 390705人
穿越时空的小姐 8.6 173268人
魂断蓝桥 8.8 122263人
恋恋台式机 8.5 259857人
猜火车 8.5 229628人
喜宴 8.8 125182人
英雄本色 8.7 136379人
雨中曲 8.9 87275人
骄傲与偏见 8.4 278663人
小森林 夏秋篇 8.9 110985人
教父3 8.7 119653人
喜剧之王 8.4 280151人
圆满的社会风气 9.0 72740人
纵横四海 8.7 130696人
玩具总动员3 8.7 181584人
萤火之森 8.7 141373人
事在人为智能 8.6 177331人
正值抓取第6页……
自家是萨姆(萨姆(Sam)) 8.8 93435人
浪潮 8.7 120227人
香水 8.4 256627人
冰川时期 8.4 251942人
7号房的礼金 8.7 155404人
撞车 8.6 163627人
哈利·波特与长逝圣器(下) 8.6 253235人
花样年华 8.5 224652人
追随 9.0 72964人
朗读者 8.5 262929人
一遍别离 8.7 122269人
碧海蓝天 8.7 103214人
罗生门 8.7 112566人
秒速5厘米 8.4 269433人
梦之安魂曲 8.7 102680人
战乱之王 8.5 162502人
荒蛮故事 8.7 114197人
可可西里 8.6 119344人
心迷宫 8.6 138691人
鲁国唐生点秋香 8.3 289176人
了不起陆战队 8.6 335960人
时空恋旅人 8.6 176282人
海盗电台 8.6 157460人
地球上的星星 8.8 74442人
谍影重重2 8.5 147237人
正在抓取第7页……
蝙蝠侠:黑暗骑士崛起 8.5 271620人
谍影重重 8.5 177826人
阿飞正传 8.5 163181人
小森林 冬春篇 8.9 95803人
毛骨悚然游轮 8.3 285469人
迁徙的鸟 9.1 49228人
荒地生存 8.6 118434人
勇闯夺命岛 8.5 132085人
绿里有时候 8.7 97961人
惊魂记 8.8 74428人
波士顿买家俱乐部 8.6 152991人
魔女宅急便 8.4 176480人
重复起身之伦敦遇见你 8.5 149095人
爆裂鼓手 8.6 212622人
未麻的部屋 8.8 81726人
阿布扎比 8.6 115202人
燕尾蝶 8.6 102340人
日本首都物语 9.2 45441人
牯岭街少年杀人事件 8.7 94098人
以此男人来自地球 8.5 161029人
变脸 8.4 199136人
大英帝国患者 8.4 164077人
被营救的姜戈 8.5 240489人
穷途末路狂花 8.7 94801人
终结者2:审判日 8.5 130046人
正值抓取第8页……
E.T. 外星人 8.5 140618人
叫我先是名 8.6 100803人
忠犬八共用语 9.0 49926人
李哪吒闹海 8.8 71973人
发条橙 8.4 172356人
青蛇 8.4 199167人
源代码 8.3 378590人
穆赫兰道 8.3 215062人
黄金三镖客 9.1 46238人
黑客帝国3:矩阵革命 8.5 141111人
新龙门客栈 8.4 167034人
可怜质疑犯 8.6 106123人
美国美女 8.4 170163人
都市之光 9.2 38415人
上帝也疯狂 8.6 89002人
臭名昭著混蛋 8.4 205963人
初恋那件麻烦事 8.2 421335人
勇士 8.9 80661人
爱·回家 9.0 43661人
黑色大门 8.2 256607人
曾经 8.3 190832人
强有力破坏王 8.6 171185人
麦兜故事 8.5 118569人
暖暖内含光 8.4 133623人
大卫·戈尔的平生 8.7 78897人
正在抓取第9页……
蝴蝶 8.6 90229人
效仿游戏 8.5 228585人
血钻 8.5 117306人
皇帝的讲演 8.3 311857人
与狼共舞 8.9 52670人
遗愿清单 8.5 114164人
法国巴黎淘气帮 8.6 98714人
荒岛余生 8.4 120698人
偷拐抢骗 8.5 107235人
夜访吸血鬼 8.3 183949人
疯狂的石头 8.2 281233人
枪火 8.6 88708人
一发千钧 8.7 74720人
爱在中午光临前 8.7 102760人
爱在泰国 8.3 207990人
中心车站 8.7 71641人
月球 8.5 130528人
寿司之神 8.8 74039人
我爱你 9.0 49781人
两小无猜 8.1 300317人
罪恶之城 8.4 131576人
大桥遗梦 8.5 89437人
一经爱有天意 8.2 214079人
彗星来的那一夜 8.3 146049人
黑鹰坠落 8.5 99899人
爬虫截至,总共耗时: 1.8951084s

《V字仇杀队》:事实上,经过这么多年之后,你从头失去的不仅仅是脾胃,你戴面具的小时太长,都不记得面具下的和谐是哪些体统了。

Process finished with exit code 0

《七武士》

图片 2

《七壮士》:我像您那样大时,也想过凭本事,应战立功然后当一城之王,但想着想着已白发斑斑,那时您已失去父母形单影单。

图片 3

《猜火车》

三、爬虫源代码

《猜火车》:接纳工作,选取生活,选用事业,接纳家庭,选她妈的大电视,选用坐着,看令头脑麻木让心灵破碎的猜谜节目,嘴里塞满他妈的排泄物食品。

package main
import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "time"
    "os"
    "strconv"
)
//定义新的数据类型
type Spider struct {
    url    string
    header map[string]string
}


//定义 Spider get的方法
func (keyword Spider) get_html_header() string {
    client := &http.Client{}
    req, err := http.NewRequest("GET", keyword.url, nil)
    if err != nil {
    }
    for key, value := range keyword.header {
        req.Header.Add(key, value)
    }
    resp, err := client.Do(req)
    if err != nil {
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
    }
    return string(body)

}
func parse()  {
    header := map[string]string{
        "Host": "movie.douban.com",
        "Connection": "keep-alive",
        "Cache-Control": "max-age=0",
        "Upgrade-Insecure-Requests": "1",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
        "Referer": "https://movie.douban.com/top250",
    }

    //创建excel文件
    f, err := os.Create("C:/haha3.xlsx")
    if err != nil {
        panic(err)
    }
    defer f.Close()
    //写入标题
    f.WriteString("电影名称"+"\t"+"评分"+"\t"+"评价人数"+"\t"+"\r\n")

    //循环每页解析并把结果写入excel
    for i:=0;i<10;i++{
        fmt.Println("正在抓取第"+strconv.Itoa(i)+"页......")
        url:="https://movie.douban.com/top250?start="+strconv.Itoa(i*25)+"&filter="
        spider := &Spider{url, header}
        html := spider.get_html_header()

        //评价人数
        pattern2:=`(.*?)评价`
        rp2 := regexp.MustCompile(pattern2)
        find_txt2 := rp2.FindAllStringSubmatch(html,-1)

        //评分
        pattern3:=`property="v:average">(.*?)`
        rp3 := regexp.MustCompile(pattern3)
        find_txt3 := rp3.FindAllStringSubmatch(html,-1)

        //电影名称
        pattern4:=`img alt="(.*?)" src=`
        rp4 := regexp.MustCompile(pattern4)
        find_txt4 := rp4.FindAllStringSubmatch(html,-1)

        // 写入UTF-8 BOM
        f.WriteString("\xEF\xBB\xBF")
        //  打印全部数据和写入excel文件
        for i:=0;i<len(find_txt2);i++{
            fmt.Printf("%s %s %s\n",find_txt4[i][1],find_txt3[i][1],find_txt2[i][1], )
            f.WriteString(find_txt4[i][1]+"\t"+find_txt3[i][1]+"\t"+find_txt2[i][1]+"\t"+"\r\n")

        }
    }
}

func main() {
    t1 := time.Now() // get current time
    parse()
    elapsed := time.Since(t1)
    fmt.Println("爬虫结束,总共耗时: ", elapsed)

}

《玛丽(玛丽(Mary))与马克思》

《玛丽与马克思(马克思(Marx))》:我骨子里想不通为何诚实也算……不合时宜。

《玛丽与马克思(马克思(Marx))》

《玛丽与马克思(Marx)》:当自己年轻的时候,我想变成任何一个人除了自己要好。

《剪刀手爱德华(Edward)》

《剪刀手爱德华》:抱我,我不可能

《巴黎乐与路》

《上海乐与路》:上帝也觉得那世界完美无瑕,现在还不是乱糟糟。

《 牯岭街少年杀人事件》

《牯岭街少年杀人事件》:那些世界是

不会变的。

《独立刻代》

《独立即代》:最不难逃避权利的主意,就是装的跟外人一样。

《一一》

《一一》:你不在的时候,我有个机会去过了一段年轻时候的生活,本来觉得自己再活一回的话也许会有怎么着不雷同,结果或者基本上没什么两样,只是突然觉得,再活一遍的话好像,真的没有那些要求。

《超脱》

《超脱》:你看得见自己?你能看见自己站在此处?
是的,我看见了。哦天啊,我就像再次和这些世界建立了牵连,谢谢。

相关文章