
本文介绍如何在 go 的 `http.client` 中通过自定义 `checkredirect` 函数,既保留重定向过程中的有效响应(如付费墙前的原始目标 url),又主动中止危险跳转(如进入 paywall 域),无需手动实现 `roundtripper`。
在 Go 的 HTTP 客户端中,CheckRedirect 回调函数常被误认为仅用于“放行”或“拒绝”重定向——实际上,它返回任意非 nil 错误时,Client.Get() 并不会静默失败,而是会返回*上一次成功请求得到的 `http.Response** 以及该错误(包装为*url.Error`)。这一行为是 Go 标准库明确承诺的特性,使我们能优雅地“截断”重定向链,同时获取关键中间 URL(例如短链接展开后、但尚未跳入付费页前的真实地址)。
以下是一个生产就绪的实践示例,展示了如何基于主机名黑名单提前终止重定向,并安全提取最终可达 URL:
package main
import (
"errors"
"fmt"
"io"
"net/http"
"net/url"
"strings"
)
// 自定义错误类型,用于标识“应中止且非异常”的重定向
var ErrPaywalled = errors.New("redirect blocked: would land on paywall")
// 需拦截的敏感域名(支持子域名匹配)
var blockedHosts = map[string]struct{}{
"registration.ft.com": {},
"paywall.example.com": {},
}
func isBlockedHost(host string) bool {
for blocked := range blockedHosts {
if strings.HasSuffix(host, blocked) || host == blocked {
return true
}
}
return false
}
var client = &http.Client{
CheckRedirect: func(req *http.Request, via []*http.Request) error {
// ✅ 防循环重定向(生产环境必备)
if len(via) > 10 {
return fmt.Errorf("too many redirects")
}
// ✅ 检查即将跳转的目标是否在黑名单中
if isBlockedHost(req.URL.Host) {
return ErrPaywalled
}
return nil // 允许继续重定向
},
}
func ResolveURL(target string) (*url.URL, error) {
resp, err := client.Get(target)
defer func() {
if resp != nil && resp.Body != nil {
io.Copy(io.Discard, resp.Body) // 清理响应体
resp.Body.Close()
}
}()
// ✅ 关键逻辑:区分“预期中止”与真实错误
if urlErr, ok := err.(*url.Error); ok {
if urlErr.Err == ErrPaywalled {
// 成功捕获了付费墙前的 URL!返回上一次请求的 URL(即 resp.Request.URL)
return resp.Request.URL, nil
}
// 其他 url.Error 视为真实错误
return nil, err
}
if err != nil {
return nil, err
}
// 无重定向或全部重定向均通过 → 返回最终 URL
return resp.Request.URL, nil
}
func main() {
finalURL, err := ResolveURL("http://on.ft.com/14pQBYE")
if err != nil {
fmt.Printf("Resolution failed: %v\n", err)
return
}
fmt.Printf("Resolved to: %s\n", finalURL.String())
}注意事项与最佳实践:
- ✅ 必须检查重定向循环:via 参数包含已执行的请求链,长度超限(如 >10)应主动报错,避免无限重定向导致资源耗尽;
- ✅ 主机匹配建议用 strings.HasSuffix:支持 www.ft.com → registration.ft.com 这类子域场景,比精确匹配更鲁棒;
- ✅ 始终关闭 resp.Body:即使重定向被中止,resp 仍有效,不关闭会导致连接泄漏;
- ✅ 错误处理需显式解包:*url.Error 的 Err 字段才是你 CheckRedirect 返回的原始错误,直接比较即可;
- ⚠️ 不要依赖 resp.StatusCode 判断:某些短链服务返回 302 但 Body 为空,真正目标 URL 只存在于 Location Header 或 resp.Request.URL 中。
通过此方案,你既能复用 Go 标准 http.Client 的健壮性与连接复用能力,又能精准控制重定向边界,在爬虫、链接预览、反短链等场景中兼顾效率与安全性。










