Go语言中实现并发定时任务与动态更新列表的安全实践

func (obj *MyObj) Poll() {
    for {
        for _, url := range obj.UrlList {
            // 下载URL内容并处理
            // ...
        }
        time.Sleep(30 * time.Minute)
    }
}

// 在其他地方启动
// go obj.Poll()

package main

import (
    "fmt"
    "time"
)

// harvester 结构体封装了定时轮询逻辑和URL列表管理
type harvester struct {
    ticker *time.Ticker // 周期性定时器
    add    chan string  // 接收新URL的通道
    urls   []string     // 当前要轮询的URL列表
    quit   chan struct{} // 用于控制harvester优雅退出的通道
}

// newHarvester 创建并启动一个新的harvester实例
func newHarvester(interval time.Duration) *harvester {
    rv := &harvester{
        ticker: time.NewTicker(interval),
        add:    make(chan string),
        urls:   make([]string, 0), // 初始化为空列表
        quit:   make(chan struct{}),
    }
    go rv.run() // 在新的goroutine中运行核心逻辑
    return rv
}

// run 方法包含harvester的核心逻辑，在一个独立的goroutine中运行
func (h *harvester) run() {
    for {
        select {
        case <-h.ticker.C:
            // 当定时器触发时，执行URL轮询
            fmt.Printf("[%s] 定时器触发，开始轮询 %d 个URL...\n", time.Now().Format("15:04:05"), len(h.urls))
            if len(h.urls) == 0 {
                fmt.Printf("[%s] URL列表为空，跳过轮询。\n", time.Now().Format("15:04:05"))
                continue
            }
            for _, u := range h.urls {
                // 模拟URL抓取操作
                harvest(u)
            }
            fmt.Printf("[%s] 轮询完成。\n", time.Now().Format("15:04:05"))

        case u := <-h.add:
            // 接收到新的URL，将其添加到列表中
            h.urls = append(h.urls, u)
            fmt.Printf("[%s] 添加新URL: %s (当前列表数量: %d)\n", time.Now().Format("15:04:05"), u, len(h.urls))

        case <-h.quit:
            // 收到退出信号，停止定时器并退出goroutine
            h.ticker.Stop()
            fmt.Println("Harvester 收到退出信号，正在停止...")
            return
        }
    }
}

// harvest 模拟实际的URL抓取操作
func harvest(url string) {
    // 实际应用中这里会包含网络请求、数据解析等逻辑
    fmt.Printf("  正在抓取: %s\n", url)
    time.Sleep(50 * time.Millisecond) // 模拟网络延迟
}

// AddURL 允许外部代码安全地向harvester添加新的URL
func (h *harvester) AddURL(u string) {
    h.add <- u
}

// Stop 优雅地停止harvester的运行
func (h *harvester) Stop() {
    close(h.quit) // 关闭quit通道发送退出信号
}

package main

import (
    "fmt"
    "time"
)

// harvester 结构体封装了定时轮询逻辑和URL列表管理
type harvester struct {
    ticker *time.Ticker // 周期性定时器
    add    chan string  // 接收新URL的通道
    urls   []string     // 当前要轮询的URL列表
    quit   chan struct{} // 用于控制harvester优雅退出的通道
}

// newHarvester 创建并启动一个新的harvester实例
func newHarvester(interval time.Duration) *harvester {
    rv := &harvester{
        ticker: time.NewTicker(interval),
        add:    make(chan string),
        urls:   make([]string, 0), // 初始化为空列表
        quit:   make(chan struct{}),
    }
    go rv.run() // 在新的goroutine中运行核心逻辑
    return rv
}

// run 方法包含harvester的核心逻辑，在一个独立的goroutine中运行
func (h *harvester) run() {
    for {
        select {
        case <-h.ticker.C:
            // 当定时器触发时，执行URL轮询
            fmt.Printf("[%s] 定时器触发，开始轮询