最近写了个爬虫,保存返回的json数据为文件,然后读取
多说一句,写爬虫不要在线调试,调着调着,人家就发现你了。
还有就是,你不知道运营的需求会不会突然让你多爬个字段….
以前通过调用系统的命令获取文件夹下的所有json文件麻烦,看了一下os 包,还有更方便的,嘿.
os.walk和os.listdir
#!/usr/bin/python3
import os
for dir, sub_dir, json in os.walk(/xxxxx/json/json/):
print(dir) #当前目录路径
print(sub_dir) #当前路径下所有子目录
print(json) #当前路径下所有json文件
#!/usr/bin/python3
import os
for json in os.listdir("/xxxxx/json/json/"):
print (json)
data = json.load(open("/xxxxx/json/json/"+json)) #加载json数据,然后对需要的key提取数据即可。
正常情况下,使用os.listdir即可。