Go语言开源搜索方案：构建高效站内搜索的爬虫与索引实践

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "net/url"
    "regexp"
    "time"

    "github.com/PuerkitoBio/gocrawl"
)

// MyExtender 实现了 gocrawl.Extender 接口，用于自定义爬虫行为
type MyExtender struct {
    gocrawl.DefaultExtender // 嵌入默认实现以简化
    targetHost string        // 目标域名
    urlFilter  *regexp.Regexp // 用于过滤特定路径的URL
}

// Init 在爬虫启动时进行初始化
func (e *MyExtender) Init(opts *gocrawl.Options) {
    // 从起始URL获取目标域名
    if len(opts.URLS) > 0 {
        if u, err := url.Parse(opts.URLS[0]); err == nil {
            e.targetHost = u.Host
        }
    }
    // 示例：只爬取 /articles/ 路径下的页面，根据实际需求调整
    // e.urlFilter = regexp.MustCompile(`^/articles/`)
}

// Visit 在访问URL后被调用，用于处理页面内容
func (e *MyExtender) Visit(ctx *gocrawl.URLContext, res *http.Response, err error) {
    if err != nil {
        log.Printf("Error visiting %s: %v\n", ctx.URL(), err)
        return
    }
    if res.StatusCode != 200 {
        log.Printf("Visited %s with status %s\n", ctx.URL(), res.Status)
        return
    }

    log.Printf("Visited: %s (Status: %s)\n", ctx.URL(), res.Status)

    // 读取响应体内容
    body, readErr := ioutil.ReadAll(res.Body)
    if readErr != nil {
        log.Printf("Error reading body for %s: %v\n", ctx.URL(), readErr)
        return
    }
    // 在这里处理网页内容：解析HTML、提取文本、存储到索引
    // 实际应用中，这里会将 body 解析并提取关键信息，然后传递给索引模块
    contentPreview := ""
    if len(body) > 0 {
        runes := []rune(string(body))
        if len(runes) > 100 {
            contentPreview = string(runes[:100]) + "..."
        } else {
            contentPreview = string(runes)
        }
    }
    log.Printf("  Content Length: %d bytes, Preview: %s\n", len(body), contentPreview)
}

// Filter 决定是否抓取某个URL
func (e *MyExtender) Filter(ctx *gocrawl.URLContext, isVisited bool) bool {
    // 仅爬取目标域名下的URL
    if ctx.URL().Host != e.targetHost {
        return false
    }
    // 仅爬取HTML页面
    if ctx.ContentType != "text/html" {
        return false
    }
    // 如果设置了urlFilter，则只爬取匹配该正则表达式的路径
    if e.urlFilter != nil && !e.urlFilter.MatchString(ctx.URL().Path) {
        return false
    }
    return true
}

func main() {
    // 替换为你的目标网站URL，请确保你有权爬取该网站
    // 注意：为了演示目的，这里使用了一个公共示例网站。实际使用时请替换为你的网站。
    seedURL := "http://example.com/" 

    ext := &MyExtender{}
    opts := gocrawl.NewOptions(ext)
    opts.CrawlDelay = 1 * time.Second          // 每次请求间隔，避免对目标网站造成过大压力
    opts.LogFlags = gocrawl.LogErrors          // 只记录错误日志
    opts.MaxVisits = 10                        // 最多访问10个页面，用于演示，实际可设置为0（无限制）
    opts.UserAgent = "MyGoSiteCrawler/1.0"     // 自定义User-Agent
    opts.RobotUserAgent = "MyGoSiteCrawler"    // 用于Robots.txt的User-Agent

    c := gocrawl.NewCrawler(opts)
    c.Run(seedURL)

    fmt.Println("Crawling finished.")
}