博客
关于我
Python下载中国数据库大会(DTCC2020)PPT全集
阅读量:564 次
发布时间:2019-03-09

本文共 2999 字,大约阅读时间需要 9 分钟。

目录


背景

前几天中国数据库大会风风火火的在京举行了,期间干货满满,收获良多。在学大佬们的ppt时,发现只能一篇一篇预览,对于求知欲强烈的小编来说简直太难受了,于是便写了个程序,一键获取所有ppt

2020年12月21日~12月23日,由 IT168 旗下 ITPUB 企业社区平台主办的第十一届中国数据库技术大会(DTCC2020),将在北京隆重召开。大会以“架构革新 高效可控”为主题,设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

历经十年的积累与沉淀,如今的DTCC已然成为国内数据库领域的技术风向标,见证了整个行业的发展与演变。作为顶级的数据领域技术盛会,DTCC2020将继续秉承一贯的干货分享和实践指导原则,期待大家的热情参与!

中国数据库大会链接

软件环境:python 3

效果展示

话不多说,上代码

# encoding: utf-8from bs4 import BeautifulSoupimport requestsfrom urllib.request import urlopenimport reimport jsondef visit(url):    headers = {        "User-Agent": "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)",        "accept": "application/json, text/javascript, */*; q=0.01",        "accept-encoding": "gzip, deflate, br",        "accept-language": "zh-CN,zh;q=0.9",        "content-type": "application/x-www-form-urlencoded; charset=UTF-8",        "cookie": "",  -- 填自己的        "referer": "",        "sec-fetch-dest": "document",        "sec-fetch-mode": "navigate",        "sec-fetch-site": "same-origin",    }    res = requests.get(url,headers=headers)    bsObj = BeautifulSoup(res.text, "html.parser")    return bsObjdef visit_homepage(url):    bsObj = visit(url)    content = bsObj.find('div', class_="content")    content_list = content.select("p")    category = []    for i in range(4,len(content_list)):        try:            urls = content_list[i].a['href']            name = content_list[i].get_text("|").split("|")[0].replace(' ','').replace('\xa0','')            category.append([name,urls])        except:            pass    print(category)    return categorydef download_pdf(conf,path):    category_name = conf[0]    category_url = conf[1]    bsObj = visit(category_url)    res = re.search(r'(.*)token:(.*?),',str(bsObj) ,re.M|re.I)    token = res.group(2).replace('"','').replace(' ','')    arts = re.findall(r'(.*)li data-docinfo=(.*?)}',str(bsObj) ,re.M|re.I)    for art in arts:        art_str = "{"+str(art).split('{')[1].replace("')","}")        art_dic = json.loads(art_str)        id = art_dic['id']        name = art_dic['name']        download_url = "https://api.z.itpub.net/download/file?st-usertoken=%s&id=%s"%(token,str(id))        print(download_url)        data = urlopen(download_url).read()        with open(path+category_name+'__'+name, 'wb') as f:            f.write(data)            print("finish download  ")if __name__ == '__main__':    homepage = "https://z.itpub.net/article/detail/5260C494873379BAA63BAB7C5CBD7A95"    path = "/Users/xxx/Downloads/DTCC/"    # download    category = visit_homepage(homepage)    for i in category:        download_pdf(i,path)

程序下载

1、cookie换成自己的

获取cookie办法:打开开发者模式(windows F12,mac opt+command+i) 打开开发者模式,访问:homepage,network里面有cookie

2、修改path为自己的目录

 

网盘下载

小编也把ppt放在了百度网盘,下载链接:

链接: https://pan.baidu.com/s/1kvEeRkybkA_y65oqeYfbSg  密码: 3bma

--来自百度网盘超级会员V7的分享

 

转载地址:http://aodpz.baihongyu.com/

你可能感兴趣的文章
Node-RED中使用function函式节点实现数值计算(相加计算)
查看>>
Node-RED中使用html节点爬取HTML网页资料之爬取Node-RED的最新版本
查看>>
Node-RED中使用JSON数据建立web网站
查看>>
Node-RED中使用json节点解析JSON数据
查看>>
Node-RED中使用node-random节点来实现随机数在折线图中显示
查看>>
Node-RED中使用node-red-browser-utils节点实现选择Windows操作系统中的文件并实现图片预览
查看>>
Node-RED中使用node-red-contrib-image-output节点实现图片预览
查看>>
Node-RED中使用node-red-node-ui-iframe节点实现内嵌iframe访问其他网站的效果
查看>>
Node-RED中使用Notification元件显示警告讯息框(温度过高提示)
查看>>
Node-RED中使用range范围节点实现从一个范围对应至另一个范围
查看>>
Node-RED中实现HTML表单提交和获取提交的内容
查看>>
Vue3+elementplus实现图片上传下载(最强实践)
查看>>
Node-RED中将CSV数据写入txt文件并从文件中读取解析数据
查看>>
Node-RED中建立TCP服务端和客户端
查看>>
Node-RED中建立Websocket客户端连接
查看>>
Node-RED中建立静态网页和动态网页内容
查看>>
Vue3+Element-ul学生管理系统(第二十二课)
查看>>
Node-RED中怎样让网站返回JSON数据
查看>>
Node-RED中根据HTML文件建立Web网站
查看>>
Node-RED中解析高德地图天气api的json数据显示天气仪表盘
查看>>