import os path = ‘../pachong’ def get_file(path): # abspath获取目标文件夹的绝对路径 path = os.path.abspath(path) # listdir获取指定文件夹中的所有文件和文件夹组成的列表 files = os.listdi […]

from tqdm import tqdm import time,requests def downloadFILE(url,name): res = requests.get(url=url,stream=True) #stream=True的作用是仅让响应头被下载，连接保持打开状态， cont […]

前段时间买了个腾讯云的学生套餐ECS服务器，价格120一年，很划算，但是一直也没有拿来使用，刚好最近在学习python，就打算利用起来做爬虫的服务器。 ECS服务器我安装的是centos7.4的系统 然后安装anaconda包。这个包自带了python环境和很多相关的组件包，使用起来特方便 （这个安 […]

在命令行输入scrapy命令新建项目   scrapy startproject mrle (mrle改成你需要的项目名字)     在spiders目录下新建一个deal.py 的文件来处理整个爬取内容的数据 import scrapy import bs4 import csv from ..i […]

写脚本过程中用到了需要随机一段字符串的操作，查了一下资料，对于random.sample的用法，多用于截取列表的指定长度的随机数，但是不会改变列表本身的排序： list = [0,1,2,3,4] rs = random.sample(list, 2) print(rs) print(list) 》 […]

问题： w.writerow(“abcdef”) 结果：会一个字符占一个单元格 解决办法：加[] w.writerow([“abcdef”])

import requests import json userid = str(‘iamdu’) # 1 可以替换成任何长度小于32的字符串哦 apikey = str(‘A’) # 这里的A，记得替换成你自己的apikey哦～ # 创建post函数 def robot(content): # 图 […]

有道翻译有反爬虫机制，它使用了加密技术。如果你的程序报错，你可以通过搜索、查阅资料找到解决方案：尝试把访问的网址中“/translate_o”中的“_o”删除。服务器返回的内容，是json的格式。我们可以用处理列表、处理字典的手段来提取翻译。 import requests,json #调用了两个模 […]

import requests #引入requests。 url = ‘ https://wordpress-edu-3autumn.localprod.oc.forchange.cn/wp-login.php’ #把请求登录的网址赋值给url。 headers = { ‘User-Agent’:’ […]

import requests # 使用headers是一种习惯 headers={‘user-agent’:’Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/ […]