Github上的百度文库爬虫代码,拷贝下来学习

1. import os
   
2. import time
   
3. 
   
4. from selenium import webdriver
   
5. from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
   
6. from scrapy import Selector
   
7. import requests
   
8. from my_fake_useragent import UserAgent
   
9. import docx
   
10. from docx.shared import Inches
    
11. import cv2
    
12. from pptx import Presentation
    
13. from pptx.util import Inches
    
14. 
    
15. #dows是的chromedriver
    
16. chromedriver_path = "./chromedriver.exe"
    
17. #用ubuntu的chromedriver
    
18. # chromedriver_path = "./chromedriver"
    
19. 
    
20. doc_dir_path = "./doc"
    
21. ppt_dir_path = "./ppt"
    
22. # url = "https://wenku.baidu.com/view/4410199cb0717fd5370cdc2e.html?fr=search"# doc_txt p
    
23. # url = "https://wenku.baidu.com/view/4d18916f7c21af45b307e87101f69e314332fa36.html" # doc_txt span
    
24. # url = "https://wenku.baidu.com/view/dea519c7e53a580216fcfefa.html?fr=search" # doc_txt span br
    
25. # url = 'https://wk.baidu.com/view/062edabeb6360b4c2e3f5727a5e9856a5712262d?pcf=2&bfetype=new' # doc_img
    
26. # url = "https://wenku.baidu.com/view/2af6de34a7e9856a561252d380eb6294dd88228d"# vip限定doc
    
27. # url = "https://wenku.baidu.com/view/3de365cc6aec0975f46527d3240c844769eaa0aa.html?fr=search" #ppt
    
28. # url = "https://wenku.baidu.com/view/18a8bc08094e767f5acfa1c7aa00b52acec79c55"#pdf
    
29. # url = "https://wenku.baidu.com/view/bbe27bf21b5f312b3169a45177232f60dccce772"
    
30. # url = "https://wenku.baidu.com/view/5cb11d096e1aff00bed5b9f3f90f76c660374c24.html?fr=search"
    
31. # url = "https://wenku.baidu.com/view/71f9818fef06eff9aef8941ea76e58fafab045a6.html"
    
32. # url = "https://wenku.baidu.com/view/ffc6b32a68eae009581b6bd97f1922791788be69.html"
    
33. url = "https://wenku.baidu.com/view/d4d2e1e3122de2bd960590c69ec3d5bbfd0adaa6.html"
    
34. 
    
35. class DownloadImg():
    
36.     def __init__(self):
    
37.         self.ua = UserAgent()
    
38. 
    
39.     def download_one_img(self, img_url, saved_path):
    
40.         # 下载图片
    
41.         header = {
    
42.             "User-Agent": "{}".format(self.ua.random().strip()),
    
43.             'Connection': 'close'}
    
44.         r = requests.get(img_url, headers=header, stream=True)
    
45.         print("请求图片状态码　{}".format(r.status_code))  # 返回状态码
    
46.         if r.status_code == 200:  # 写入图片
    
47.             with open(saved_path, mode="wb") as f:
    
48.                 f.write(r.content)
    
49.             print("download {} success!".format(saved_path))
    
50.         del r
    
51.         return saved_path
    
52. 
    
53. 
    
54. class StartChrome():
    
55.     def __init__(self):
    
56.         mobile_emulation = {"deviceName": "Galaxy S5"}
    
57.         capabilities = DesiredCapabilities.CHROME
    
58.         capabilities['loggingPrefs'] = {'browser': 'ALL'}
    
59.         options = webdriver.ChromeOptions()
    
60.         options.add_experimental_option("mobileEmulation", mobile_emulation)
    
61.         self.brower = webdriver.Chrome(executable_path=chromedriver_path, desired_capabilities=capabilities,
    
62.                                        chrome_options=options)
    
63.         # 启动浏览器，打开需要下载的网页
    
64.         self.brower.get(url)
    
65.         self.download_img = DownloadImg()
    
66. 
    
67.     def click_ele(self, click_xpath):
    
68.         # 单击指定控件
    
69.         click_ele = self.brower.find_elements_by_xpath(click_xpath)
    
70.         if click_ele:
    
71.             click_ele[0].location_once_scrolled_into_view  # 滚动到控件位置
    
72.             self.brower.execute_script('arguments[0].click()', click_ele[0])  # 单击控件，即使控件被遮挡，同样可以单击
    
73. 
    
74.     def judge_doc(self, contents):
    
75.         # 判断文档类别
    
76.         p_list = ''.join(contents.xpath("./text()").extract())
    
77.         span_list = ''.join(contents.xpath("./span/text()").extract())
    
78.         # # if span_list
    
79.         # if len(span_list)>len(p_list):
    
80.         #     xpath_content_one = "./br/text()|./span/text()|./text()"
    
81.         # elif len(span_list)<len(p_list):
    
82.         #     # xpath_content_one = "./br/text()|./text()"
    
83.         #     xpath_content_one = "./br/text()|./span/text()|./text()"
    
84.         if len(span_list)!=len(p_list):
    
85.             xpath_content_one = "./br/text()|./span/text()|./text()"
    
86.         else:
    
87.             xpath_content_one = "./span/img/@src"
    
88.         return xpath_content_one
    
89. 
    
90.     def create_ppt_doc(self, ppt_dir_path, doc_dir_path):
    
91.         # 点击关闭开通会员按钮
    
92.         xpath_close_button = "//div[@class='na-dialog-wrap show']/div/div/div[@class='btn-close']"
    
93.         self.click_ele(xpath_close_button)
    
94.         # 点击继续阅读
    
95.         xpath_continue_read_button = "//div[@class='foldpagewg-icon']"
    
96.         self.click_ele(xpath_continue_read_button)
    
97.         # 点击取消打开百度ａｐｐ按钮
    
98.         xpath_next_content_button = "//div[@class='btn-wrap']/div[@class='btn-cancel']"
    
99.         self.click_ele(xpath_next_content_button)
    
100.         # 循环点击加载更多按钮，直到显示全文
     
101.         click_count = 0
     
102.         while True:
     
103.             # 如果到了最后一页就跳出循环
     
104.             if self.brower.find_elements_by_xpath("//div[@class='pagerwg-loadSucc hide']") or self.brower.find_elements_by_xpath("//div[@class='pagerwg-button' and @style='display: none;']"):
     
105.                 break
     
106.             # 点击加载更多
     
107.             xpath_loading_more_button = "//span[@class='pagerwg-arrow-lower']"
     
108.             self.click_ele(xpath_loading_more_button)
     
109.             click_count += 1
     
110.             print("第{}次点击加载更多!".format(click_count))
     
111.             # 等待一秒，等浏览器加载
     
112.             time.sleep(1.5)
     
113. 
     
114.         # 获取html内容
     
115.         sel = Selector(text=self.brower.page_source)
     
116.         #判断文档类型
     
117.         xpath_content = "//div[@class='content singlePage wk-container']/div/p/img/@data-loading-src|//div[@class='content singlePage wk-container']/div/p/img/@data-src"
     
118.         contents = sel.xpath(xpath_content).extract()
     
119.         if contents:#如果是ppt
     
120.             self.create_ppt(ppt_dir_path, sel)
     
121.         else:#如果是doc
     
122.             self.create_doc(doc_dir_path, sel)
     
123.         # a = 3333
     
124.         # return sel
     
125. 
     
126.     def create_ppt(self, ppt_dir_path, sel):
     
127.         # 如果文件夹不存在就创建一个
     
128.         if not os.path.exists(ppt_dir_path):
     
129.             os.makedirs(ppt_dir_path)
     
130. 
     
131.         SLD_LAYOUT_TITLE_AND_CONTENT = 6  # 6代表ppt模版为空
     
132.         prs = Presentation()  # 实例化ppt
     
133. 
     
134.         # # 获取完整html
     
135.         # sel = self.get_html_data()
     
136.         # 获取标题
     
137.         xpath_title = "//div[@class='doc-title']/text()"
     
138.         title = "".join(sel.xpath(xpath_title).extract()).strip()
     
139.         # 获取内容
     
140.         xpath_content_p = "//div[@class='content singlePage wk-container']/div/p/img"
     
141.         xpath_content_p_list = sel.xpath(xpath_content_p)
     
142.         xpath_content_p_url_list=[]
     
143.         for imgs in xpath_content_p_list:
     
144.             xpath_content = "./@data-loading-src|./@data-src|./@src"
     
145.             contents_list = imgs.xpath(xpath_content).extract()
     
146.             xpath_content_p_url_list.append(contents_list)
     
147. 
     
148.         img_path_list = []  # 保存下载的图片路径，方便后续图片插入ppt和删除图片
     
149.         # 下载图片到指定目录
     
150.         for index, content_img_p in enumerate(xpath_content_p_url_list):
     
151.             p_img_path_list=[]
     
152.             for index_1,img_one in enumerate(content_img_p):
     
153.                 one_img_saved_path = os.path.join(ppt_dir_path, "{}_{}.jpg".format(index,index_1))
     
154.                 self.download_img.download_one_img(img_one, one_img_saved_path)
     
155.                 p_img_path_list.append(one_img_saved_path)
     
156. 
     
157.             p_img_max_shape = 0
     
158.             for index,p_img_path in enumerate(p_img_path_list):
     
159.                 img_shape = cv2.imread(p_img_path).shape
     
160.                 if p_img_max_shape<img_shape[0]:
     
161.                     p_img_max_shape = img_shape[0]
     
162.                     index_max_img = index
     
163.             img_path_list.append(p_img_path_list[index_max_img])
     
164. 
     
165. 
     
166.         print(img_path_list)
     
167.         # 获取下载的图片中最大的图片的尺寸
     
168.         img_shape_max=[0,0]
     
169.         for img_path_one in img_path_list:
     
170.             img_path_one_shape = cv2.imread(img_path_one).shape
     
171.             if img_path_one_shape[0]>img_shape_max[0]:
     
172.                 img_shape_max = img_path_one_shape
     
173.         # 把图片统一缩放最大的尺寸
     
174.         for img_path_one in img_path_list:
     
175.             cv2.imwrite(img_path_one,cv2.resize(cv2.imread(img_path_one),(img_shape_max[1],img_shape_max[0])))
     
176.         # img_shape_path = img_path_list[0]
     
177.         # 获得图片的尺寸
     
178.         # img_shape = cv2.imread(img_shape_path).shape
     
179.         # 把像素转换为ppt中的长度单位emu,默认dpi是720
     
180.         # 1厘米=28.346像素=360000
     
181.         # 1像素 = 12700emu
     
182.         prs.slide_width = img_shape_max[1] * 12700  # 换算单位
     
183.         prs.slide_height = img_shape_max[0] * 12700
     
184. 
     
185.         for img_path_one in img_path_list:
     
186.             left = Inches(0)
     
187.             right = Inches(0)
     
188.             # width = Inches(1)
     
189.             slide_layout = prs.slide_layouts[SLD_LAYOUT_TITLE_AND_CONTENT]
     
190.             slide = prs.slides.add_slide(slide_layout)
     
191.             pic = slide.shapes.add_picture(img_path_one, left, right, )
     
192.             print("insert {} into pptx success!".format(img_path_one))
     
193.             # os.remove(img_path_one)
     
194. 
     
195.         for root,dirs,files in os.walk(ppt_dir_path):
     
196.             for file in files:
     
197.                 if file.endswith(".jpg"):
     
198.                     img_path = os.path.join(root,file)
     
199.                     os.remove(img_path)
     
200. 
     
201.         prs.save(os.path.join(ppt_dir_path, title + ".pptx"))
     
202.         print("download {} success!".format(os.path.join(ppt_dir_path, title + ".pptx")))
     
203. 
     
204.     def create_doc(self, doc_dir_path, sel):
     
205.         # 如果文件夹不存在就创建一个
     
206.         if not os.path.exists(doc_dir_path):
     
207.             os.makedirs(doc_dir_path)
     
208.         # # 获取完整html
     
209.         # sel = self.get_html_data()
     
210.         # 获取标题
     
211.         xpath_title = "//div[@class='doc-title']/text()"
     
212.         title = "".join(sel.xpath(xpath_title).extract()).strip()
     
213. 
     
214.         document = docx.Document()  # 创建word文档
     
215.         document.add_heading(title, 0)  # 添加标题
     
216. 
     
217.         # 获取文章内容
     
218.         xpath_content = "//div[contains(@data-id,'div_class_')]//p"
     
219.         # xpath_content = "//div[contains(@data-id,'div_class_')]/p"
     
220.         contents = sel.xpath(xpath_content)
     
221.         # 判断内容类别
     
222.         xpath_content_one = self.judge_doc(contents)
     
223.         if xpath_content_one.endswith("text()"):  # 如果是文字就直接爬
     
224.             for content_one in contents:
     
225.                 one_p_list = content_one.xpath(xpath_content_one).extract()
     
226.                 p_txt = ""
     
227.                 for p in one_p_list:
     
228.                     if p==" ":
     
229.                         p_txt += ('\n'+p)
     
230.                     else:
     
231.                         p_txt += p
     
232.                 # content_txt_one = '*'.join(content_one.xpath(xpath_content_one).extract())
     
233.                 pp = document.add_paragraph(p_txt)
     
234.             document.save(os.path.join(doc_dir_path, '{}.docx'.format(title)))
     
235.             print("download {} success!".format(title))
     
236.         elif xpath_content_one.endswith("@src"):  # 如果是图片就下载图片
     
237.             for index, content_one in enumerate(contents.xpath(xpath_content_one).extract()):
     
238.                 # 获取图片下载路径
     
239.                 content_img_one_url = 'https:' + content_one
     
240.                 # 保存图片
     
241.                 saved_image_path = self.download_img.download_one_img(content_img_one_url, os.path.join(doc_dir_path,
     
242.                                                                                                         "{}.jpg".format(
     
243.                                                                                                             index)))
     
244.                 document.add_picture(saved_image_path, width=Inches(6))  # 在文档中加入图片
     
245.                 os.remove(saved_image_path)  # 删除下载的图片
     
246.             document.save(os.path.join(doc_dir_path, '{}.docx'.format(title)))  # 保存文档到指定位置
     
247.             print("download {} success!".format(title))
     
248. 
     
249. 
     
250. if __name__ == "__main__":
     
251.     start_chrome = StartChrome()
     
252.     # start_chrome.create_doc_txt(doc_dir_path)
     
253.     start_chrome.create_ppt_doc(ppt_dir_path, doc_dir_path)

复制代码

大概看完了代码，很棒，要爬虫得做足功夫。

Starrry 发表于 2022-4-6 23:01
大概看完了代码，很棒，要爬虫得做足功夫。

我也觉得,虽然还暂时不能实现下载ppt格式,不过这个代码对我研究很有用