使用Python和Haskell编写的网络爬虫案例

Python和Haskell是两种常用的编程语言，它们都有强大的网络爬虫库可以用来实现网络爬虫。下面我将分别为你介绍Python和Haskell的网络爬虫案例，并给出使用例子。

Python是一种解释性、面向对象、动态数据类型的高级编程语言。Python有许多用于网络爬虫的库，其中最常用的是Beautiful Soup和Scrapy。

Beautiful Soup是一个用于解析HTML和XML文件的库，它提供了一种简洁的方式来获取和操作HTML结构。以下是一个使用Beautiful Soup的Python网络爬虫案例：

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# 获取所有的链接
links = soup.find_all("a")
for link in links:
    print(link.get("href"))

# 获取所有的段落文本
paragraphs = soup.find_all("p")
for paragraph in paragraphs:
    print(paragraph.text)

上述代码首先使用requests库发送GET请求获取网页内容，并使用Beautiful Soup解析网页。然后，通过find_all方法找到所有的链接和段落元素，并打印出它们的属性和文本内容。

Scrapy是一个用于构建和管理网络爬虫的框架，它提供了高度可配置的抓取规则和数据提取功能。以下是一个使用Scrapy的Python网络爬虫案例：

import scrapy

class MySpider(scrapy.Spider):
    name = "myspider"
    start_urls = ["https://example.com"]

    def parse(self, response):
        # 获取所有的链接
        for link in response.css("a::attr(href)").getall():
            print(link)

        # 获取所有的段落文本
        for paragraph in response.css("p::text").getall():
            print(paragraph)

上述代码定义了一个继承自scrapy.Spider的类，其中start_urls属性指定了爬虫的初始URL。然后，通过parse方法处理每个URL的响应，使用Scrapy提供的CSS选择器提取链接和段落文本，并打印出它们。

Haskell是一种函数式编程语言，它的类型系统和模式匹配特性使得在Haskell中编写网络爬虫也变得简单和安全。Haskell的网络爬虫库中，最常用的是http-client和html-conduit。

下面是一个使用Haskell的网络爬虫案例：

{-# LANGUAGE OverloadedStrings #-}

import Network.HTTP.Simple
import Text.HTML.DOM
import Text.XML.Cursor

main :: IO ()
main = do
    request <- parseRequest "GET https://example.com"
    response <- httpLBS request
    let cursor = fromDocument $ parseLBS_ def (getResponseBody response)

    -- 获取所有的链接
    print $ cursor $// element "a" >=> attribute "href"

    -- 获取所有的段落文本
    print $ cursor $// element "p" >=> content

上述代码使用http-client库发送GET请求获取网页内容，并使用html-conduit库将响应解析为XML文档。然后，通过Text.XML.Cursor库提供的选择器操作XML文档，使用XPath表达式提取链接和段落文本，并打印出它们。

无论是Python还是Haskell，都有丰富的网络爬虫库和相应的功能来满足各种需求。开发者可以根据自己的实际情况和编程偏好选择适合自己的语言和库来实现网络爬虫。