用Python构建命令行界面的网络爬虫工具

Python是一种强大的编程语言，广泛用于网络爬虫工具的开发。利用Python的命令行界面(CLI)功能，我们可以构建一个高效且易于使用的网络爬虫工具。

以下是一个使用Python的CLI网络爬虫工具的示例：

import requests
from bs4 import BeautifulSoup
import argparse

def get_html(url):
    response = requests.get(url)
    return response.text

def extract_links(html):
    soup = BeautifulSoup(html, 'html.parser')
    links = []
    for link in soup.find_all('a'):
        links.append(link.get('href'))
    return links

def crawl(url, depth):
    visited = set()
    queue = [(url, 0)]
    while queue:
        current_url, current_depth = queue.pop(0)
        if current_url not in visited and current_depth <= depth:
            visited.add(current_url)
            html = get_html(current_url)
            links = extract_links(html)
            print(f"Crawling {current_url} (Depth: {current_depth})")
            for link in links:
                queue.append((link, current_depth + 1))

def main():
    parser = argparse.ArgumentParser(description='A command-line web crawler tool')
    parser.add_argument('url', type=str, help='The URL to start crawling')
    parser.add_argument('-d', '--depth', type=int, default=2, help='The depth limit for crawling (default: 2)')
    args = parser.parse_args()
    crawl(args.url, args.depth)

if __name__ == '__main__':
    main()

以上代码中，我们使用了requests库来发送HTTP请求，使用了BeautifulSoup库来解析HTML页面。首先，get_html函数发送GET请求并返回页面的HTML文本。接下来，extract_links函数使用BeautifulSoup从HTML文本中提取所有的链接。

crawl函数是网络爬虫的核心功能。它使用广度优先搜索来遍历页面的链接。visited集合用于记录已经访问过的URL，queue列表用于保存需要访问的URL及其深度。在每一次循环中，我们从队列中取出一个URL，并检查它是否已被访问过且未达到深度限制。如果满足条件，我们发送请求获取页面的HTML文本，并提取页面中的所有链接。然后，我们将这些链接添加到队列中，并增加深度计数器。这个过程会重复进行，直到队列为空。

main函数使用argparse库来处理命令行参数。我们定义了一个url参数，用于指定要开始爬取的URL，以及一个可选的depth参数，用于指定爬取的深度限制。如果没有指定深度，默认为2。在main函数中，我们调用crawl函数开始爬取。

要使用这个CLI网络爬虫工具，打开终端并运行以下命令：

python crawler.py http://example.com -d 3

这将会从http://example.com开始爬取，深度限制为3。您可以根据需要指定任何其他的URL和深度。

这个示例只是一个基本的框架，您可以根据自己的需求进行更改和扩展。您可以添加错误处理、保存数据、使用多线程或异步处理等功能，以便使爬虫工具更加强大和灵活。