使用config()函数实现网页爬虫的参数配置

config()函数用于实现网页爬虫的参数配置。通过该函数可以设置爬虫的一些基本参数，如起始URL、请求头、请求方式、请求超时时间、代理等。

以下是一个使用config()函数的示例：

import requests
from fake_useragent import UserAgent

def config():
    ua = UserAgent()
    headers = {
        'User-Agent': ua.random
    }
    timeout = 10
    proxies = {
        'http': 'http://127.0.0.1:8080',
        'https': 'https://127.0.0.1:8080'
    }
    requests.config(headers=headers, timeout=timeout, proxies=proxies)

def spider(url):
    response = requests.get(url)
    print(response.text)

if __name__ == '__main__':
    config()
    url = 'http://example.com'
    spider(url)

在上述示例中，通过导入requests库和fake_useragent库来配置爬虫的参数。首先，在config()函数中使用fake_useragent生成一个随机的User-Agent，并将其设置为请求头的User-Agent字段。然后，设置请求超时时间为10秒，并配置了一个代理。

接下来，在spider()函数中使用requests.get()方法发送GET请求，并将返回的响应结果打印出来。

在主程序中，首先调用config()函数进行参数配置，然后使用spider()函数对指定的URL进行爬取。

通过使用config()函数，可以方便地统一设置爬虫的参数，提高爬虫的可配置性和灵活性。可以根据具体的需求设置更多的参数，如cookies、重试次数、设置请求方式等。