爬虫大佬们 帮我看看这个到底哪里没搞对

花菜大魔王

目的是根据电影名字爬取豆瓣ID  保存格式为文件夹名字  一个电影生产一个文件夹《电影名字,豆瓣ID》  
搞了好久都获取不到ID
下面还有一段 一起发说安全问题 发不出来...

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. import re
   
5. import time
   
6. 
   
7. # 搜索链接
   
8. search_url = "https://search.douban.com/movie/subject_search?search_text={}&cat=1002"
   
9. 
   
10. movies = [
    
11.     "毒舌律师",
    
12.     "满江红",
    
13.     "倒数说爱你",
    
14.     "别叫我“赌神”",
    
15.     "银河护卫队3",
    
16.     "温柔壳",
    
17.     "盟约",
    
18.     "检察风云",
    
19.     "消失的她",
    
20.     "蚁人与黄蜂女：量子狂潮",
    
21.     "惊声尖叫6",
    
22.     "荒原",
    
23.     "无名",
    
24.     "望道",
    
25.     "龙与地下城：侠盗荣耀",
    
26.     "小行星城",
    
27.     "交涉",
    
28.     "疾速追杀4",
    
29.     "茶啊二中",
    
30.     "中国乒乓之绝地反击",
    
31.     "再见，我的灵魂伴侣",
    
32.     "这么多年",
    
33.     "星条红与皇室蓝",
    
34.     "网络谜踪2",
    
35.     "蜘蛛侠：纵横宇宙",
    
36.     "变形金刚：超能勇士崛起",
    
37.     "小美人鱼",
    
38.     "我爱你！",
    
39.     "长沙夜生活",
    
40.     "人生路不熟"
    
41. ]
    

复制代码

花菜大魔王

无语   后面一段发不出来  就图片了

Far

代码交给gpt分分钟给你搞明白

花菜大魔王

Far 发表于 2024-7-18 23:01
代码交给gpt分分钟给你搞明白

就是gpt写的

wusir

数据在 window.__DATA__

花菜大魔王

wusir 发表于 2024-7-18 23:13
数据在 window.__DATA__

但是没获取到豆瓣ID

2569138941

花菜大魔王 发表于 2024-7-18 23:18
但是没获取到豆瓣ID

1. 
   
2. pattern = re.compile(r'https://movie.douban.com/subject/(\d+)/')
   
3. douban_id = pattern.findall(response.text)

   

复制代码

2569138941

2569138941 发表于 2024-7-18 23:32

注意我用 findall 返回的是一个 list 哦

花菜大魔王

2569138941 发表于 2024-7-18 23:36
注意我用 findall 返回的是一个 list 哦

老哥能给个全部的吗   搞一晚上没搞好  

2569138941

花菜大魔王 发表于 2024-7-18 23:58
老哥能给个全部的吗   搞一晚上没搞好

就去soup直接正则匹配就好
https://paste.ubuntu.com/p/v7pFZsbs9m/