使用Python和Haskell实现网络爬虫

网络爬虫是一种自动化程序，用于从互联网上收集和获取信息。它通过自动化地发送HTTP请求，并解析和处理返回的HTML或其他类型的响应，来抓取网页数据。

Python是一种流行的编程语言，有许多库和框架可以用来构建网络爬虫。其中最常用的是requests和BeautifulSoup库。下面是一个使用Python编写的网络爬虫的例子，它使用requests库发送HTTP请求，并使用BeautifulSoup库解析和提取HTML页面中的数据：

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求并获取页面内容
response = requests.get('http://example.com')
html = response.text

# 使用BeautifulSoup库解析HTML页面
soup = BeautifulSoup(html, 'html.parser')

# 提取页面中的数据
title = soup.title.text
print('Page title:', title)

links = soup.find_all('a')
for link in links:
    href = link.get('href')
    text = link.text
    print('Link:', href)
    print('Text:', text)

Haskell是一种函数式编程语言，也可以用于编写网络爬虫。Haskell有一些库可以用来发送HTTP请求和解析HTML页面，如http-client和html-conduit。下面是一个使用Haskell编写的网络爬虫的例子，它使用http-client库发送HTTP请求，并使用html-conduit库解析和提取HTML页面中的数据：

import Network.HTTP.Client
import Text.HTML.DOM
import Text.XML.Cursor

main :: IO ()
main = do
    -- 创建一个HTTP请求管理器
    manager <- newManager defaultManagerSettings

    -- 发送HTTP请求并获取响应内容
    request <- parseRequest "http://example.com"
    response <- httpLbs request manager
    let html = responseBody response

    -- 使用html-conduit库解析HTML页面
    let cursor = fromDocument $ parseLBS html

    -- 提取页面中的数据
    let title = head $ cursor $// element "title" &| nodeText
    putStrLn $ "Page title: " ++ title

    let links = cursor $// element "a" >=> attribute "href"
    let texts = cursor $// element "a" &// content
    putStrLn "Links:"
    mapM_ putStrLn $ zipWith (\l t -> "Link: " ++ l ++ "
Text: " ++ t ++ "
") links texts

以上是使用Python和Haskell分别编写的网络爬虫的例子。两种语言都提供了方便的库和工具来处理HTTP请求和解析HTML页面，使得编写和运行网络爬虫变得简单而高效。无论是使用哪种编程语言，网络爬虫都可以用于从网页上收集和获取各种类型的数据，如文本、图片、视频等。