c语言sscanf函数的用法是什么
566
2023-01-26
本文目录一览:
实验室这段时间要采集电影的信息,给出了一个很大的数据集,数据集包含了4000多个电影名,需要我写一个爬虫来爬取电影名对应的电影信息。
其实在实际运作中,根本就不需要爬虫,只需要一点简单的Python基础就可以了。
前置需求:
Python3语法基础
HTTP网络基础
===================================
第一步,确定API的提供方。IMDb是最大的电影数据库,与其相对的,有一个OMDb的网站提供了API供使用。这家网站的API非常友好,易于使用。
第二步,确定网址的格式。
第三步,了解基本的Requests库的使用方法。
为什么我要使用Requests,不使用urllib.request呢?
因为Python的这个库容易出各种各样的奇葩问题,我已经受够了……
第四步,编写Python代码。
我想做的是,逐行读取文件,然后用该行的电影名去获取电影信息。因为源文件较大,readlines()不能完全读取所有电影名,所以我们逐行读取。
1 import requests 2 3 for line in open("movies.txt"): 4 s=line.split('%20\n') 5 urll='htdbapi.com/?t='+s[0] 7 result=requests.get(urll) 8 if result: 9 json=result.text10 print(json)11 p=open('result0.json','a')12 p.write(json)13 p.write('\n')14 p.close()
我预先把电影名文件全部格式化了一遍,将所有的空格替换成了"%20",便于使用API(否则会报错)。这个功能可以用Visual Studio Code完成。
注意,编码的时候选择GBK编码,不然会出现下面错误:
1 UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence
第五步,做优化和异常处理。
主要做三件事,第一件事,控制API速度,防止被服务器屏蔽;
第二件事,获取API key(甚至使用多个key)
第三件事:异常处理。
1 import requests 3 4 key=[‘’] 5 6 for line in open("movies.txt"): 7 try: 8 #…… 9 except TimeoutError:10 continue11 except UnicodeEncodeError:12 continue13 except ConnectionError:14 continue
下面贴出完整代码:
1 # -*- coding: utf-8 -*- 2 3 import requests 4 import time 5 6 key=['xxxxx','yyyyy',zzzzz','aaaaa','bbbbb'] 7 i=0 8 9 for line in open("movies.txt"):10 try:11 i=(i+1)%512 s=line.split('%20\n')13 urll='dbapi.com/?t='+s[0]+'apikey='+key[i]14 result=requests.get(urll)15 if result:16 json=result.text17 print(json)18 p=open('result0.json','a')19 p.write(json)20 p.write('\n')21 p.close()22 time.sleep(1)23 except TimeoutError:24 continue25 except UnicodeEncodeError:26 continue27 except ConnectionError:28 continue
接下来喝杯茶,看看自己的程序跑得怎么样吧!
你这个花括号怎么这么乱,
大概看了下 auth相当于一个检索文件,提交 url GET参数过去返回json数据,解json有一个code的key。如果是1就是已授权,其他就是没授权
写一个文件 query.php 内容如下
<?php
echo json_encode(array('code'=1));
?
豆瓣API提供电影api采集了一种简单的方式可以直接在HTML页面中使用API,下面给出这种使用方式的简单示例。
首先电影api采集我们需要在HTML页面中做如下script标签电影api采集:<script type="text/javascript" src=" /
然后就可以调用豆瓣API,其中通过定义callback函数来操作返回的JSON数据。
此外,豆瓣也提供了解析函数来帮助电影api采集你更容易地使用JSON格式的返回值。使用豆瓣提供的解析函数,电影api采集你需要在页面中添加script标签:<script type="text/javascript" src="。
接下来你就可以使用豆瓣提供的解析函数来处理返回值,例如:var book = DOUBAN.parseSubject(result)。
解析函数返回更容易使用的javascript对象,你可以这样得到书的封面图片:book.link.image
HTML页面使用API获得ID为xxxxx电影的信息并展示在页面上(注意将{yourapikey}替换为你的API Key)。
注:实现上,豆瓣API使用 JSONP 方式来支持跨域调用API 因此你也可以使用自己熟悉的javascript库来调用JSONP风格的豆瓣API. 此时,你需要将alt设置为xd同时提供callback参数。另外部份的豆瓣功能及操作可登陆下面的网站/客户端:
关于电影api采集和电影采集器的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 电影api采集的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于电影采集器、电影api采集的信息别忘了在本站进行查找喔。版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~