使用Python在Haskell中编写网络爬虫的案例

编写网络爬虫是一项非常有趣且实用的任务。我们可以使用Python来编写一个简单的网络爬虫，在Haskell中调用该爬虫并从中获取爬取到的数据。

首先，我们需要实现一个Python的网络爬虫。Python中有很多优秀的库可以用来实现网络爬虫，最常用的是requests和beautifulsoup4。我们可以使用requests来发送HTTP请求，获取网页的内容，然后使用beautifulsoup4来解析HTML文档。

以下是一个简单的Python网络爬虫的示例代码：

import requests
from bs4 import BeautifulSoup

def get_html_content(url):
    response = requests.get(url)
    return response.text

def get_links(html_content):
    soup = BeautifulSoup(html_content, 'html.parser')
    links = []
    for link in soup.find_all('a'):
        href = link.get('href')
        if href:
            links.append(href)
    return links

在上面的代码中，get_html_content()函数接受一个URL作为参数，使用requests库发送GET请求，并返回获取到的网页内容。get_links()函数接受一个HTML文档作为参数，使用beautifulsoup4库解析HTML文档，找到所有的链接，并将它们存储在一个列表中。

接下来，我们可以使用Haskell来调用上面的Python爬虫。Haskell中有一个很好的库Shelly，可以用来执行Shell命令。我们可以使用该库来执行Python脚本，并获取脚本的输出。

以下是一个在Haskell中调用Python网络爬虫的示例代码：

{-# LANGUAGE OverloadedStrings #-}

module Main where

import Shelly

main :: IO ()
main = shelly $ do
    let pythonScript = "python3 example.py"
    htmlContent <- run pythonScript [] -- 执行Python脚本
    let links = map toTextIgnore (lines htmlContent)
    liftIO $ print links

在上面的代码中，我们首先使用pythonScript变量指定我们要执行的Python脚本的路径。然后我们使用run函数来执行该Python脚本，并将其输出保存到htmlContent变量中。最后，我们将htmlContent按行划分，并将结果存储在links变量中。我们使用toTextIgnore函数将每一行转换为Text类型，以便稍后在Haskell中使用。

在上面的例子中，我们假设Python脚本的输出是一系列的链接，每个链接占据一行。你可以根据你的需求自定义Python脚本的输出格式，并在Haskell代码中进行适当的解析。

总结起来，使用Python编写网络爬虫，并在Haskell中调用它是一项非常有趣且实用的任务。通过使用Python的优秀的网络爬虫库和Haskell的强大的外部调用功能，我们可以轻松地实现一个强大的网络爬虫程序。