用Haskell实现一个简单的网络爬虫

以下是使用Haskell实现一个简单的网络爬虫的示例代码。这个爬虫将使用Haskell的网络库和HTML解析库来获取网页内容并提取感兴趣的信息。

module Main where

import Network.HTTP.Conduit
import Text.HTML.DOM
import Text.XML.Cursor
import qualified Data.Text as T
import Control.Monad.IO.Class

-- 网页爬取函数
crawl :: String -> IO [T.Text]
crawl url = do
  -- 发送HTTP请求获取网页内容
  response <- simpleHttp url
  -- 使用HTML解析库将内容转换为XML文档
  let doc = parseLBS response
      cursor = fromDocument doc
  -- 使用XPath语法提取感兴趣的信息
  return $ cursor $// element "a" >=> attribute "href" >>= attribute "title"

-- 主函数，定义要爬取的网址并调用爬取函数
main :: IO ()
main = do
  -- 定义要爬取的网址
  let url = "https://www.example.com"
  -- 调用爬取函数获取感兴趣的信息
  result <- crawl url
  -- 输出爬取结果
  liftIO $ mapM_ T.putStrLn result

在上面的示例代码中，crawl函数接受一个URL作为参数，使用simpleHttp函数从该URL发送HTTP请求并获取网页内容。然后，我们使用parseLBS函数将内容转换为XML文档，并使用XPath语法来提取感兴趣的信息。在这个示例中，我们提取了所有<a>标签的href属性和title属性。

main函数定义了要爬取的网址，并调用crawl函数来获取感兴趣的信息。最后，我们使用putStrLn函数来输出爬取的结果。

要使用这个爬虫，你需要在你的环境中安装Haskell的网络库和HTML解析库。你可以使用cabal工具来安装它们，或者在一个Haskell项目的配置文件中添加它们作为依赖项。

运行这个示例程序，你可以看到输出了从网页中提取的所有链接的URL和标题。你可以根据自己的需求修改crawl函数来提取不同的信息，或者对爬取到的内容进行其他操作。