Google App Engine 跨服务任务调度策略与实践

挑战：跨服务任务执行的困境

gae的cloud tasks api在提交任务时，允许您指定任务的目标url（relative_uri 或 uri），但没有直接的参数来指定一个特定的gae服务名称作为任务的执行者。任务的执行服务通常由其触发的http请求的路由规则决定。这意味着，如果一个任务的 relative_uri 被路由到服务a，那么它就会在服务a中执行。因此，关键在于如何确保任务的 relative_uri 能够被gae的路由层正确地转发到预期的目标服务。

解决方案一：利用 dispatch.yaml 进行路径路由

dispatch.yaml 文件是GAE中用于定义请求路由规则的核心配置，它允许您根据URL模式将传入请求（包括由任务队列触发的请求）路由到特定的服务。通过精心配置 dispatch.yaml，我们可以让任务的 relative_uri 匹配到目标服务的路由规则，从而实现跨服务任务调度。

工作原理：

当一个App Engine任务被执行时，它会向指定的 relative_uri 发送一个HTTP请求。GAE的调度器会首先检查 dispatch.yaml 文件，根据请求的URL路径将请求路由到相应的服务。如果 dispatch.yaml 中定义了将特定路径路由到目标服务（例如Node.js服务）的规则，那么即使任务是从Python服务提交的，最终也会由Node.js服务来处理。

配置示例：

假设您有一个Python默认服务和一个名为 nodejs-service 的Node.js服务。您希望将路径 /nodejs-task-path/* 的所有请求都路由到 nodejs-service。

1. dispatch.yaml 配置: 在您的项目根目录下创建或修改 dispatch.yaml 文件：

   # dispatch.yaml
   dispatch:
     # 示例：将所有以 /python-task-path/ 开头的请求路由到默认（Python）服务
     - url: "*/python-task-path/*"
       service: default 
   
     # 关键：将所有以 /nodejs-task-path/ 开头的请求路由到 nodejs-service
     - url: "*/nodejs-task-path/*"
       service: nodejs-service 

   登录后复制

   部署此文件：gcloud app deploy dispatch.yaml

   

   百度·度咔剪辑

   度咔剪辑，百度旗下独立视频剪辑App

   3

   查看详情

2. Python 服务提交任务： 在您的Python服务代码中，使用 google.cloud.tasks_v2 客户端提交任务时，将 relative_uri 设置为与 dispatch.yaml 中Node.js服务路由规则匹配的路径。

   from google.cloud import tasks_v2
   import json
   import os
   
   # 假设您的项目ID和区域
   project = os.environ.get("GOOGLE_CLOUD_PROJECT") # 生产环境通常从环境变量获取
   location = os.environ.get("GAE_REGION") # 生产环境通常从环境变量获取
   queue = "default" # 任务队列名称，可以是任何已配置的队列
   
   # 目标Node.js服务的任务处理路径，必须与dispatch.yaml中的路由匹配
   # 例如，如果dispatch.yaml将 '/nodejs-task-path/*' 路由到 nodejs-service
   target_relative_uri = "/nodejs-task-path/process_data"
   
   # 任务负载数据
   payload_data = {"event_type": "user_registered", "user_id": "abc-123"}
   
   client = tasks_v2.CloudTasksClient()
   
   parent = client.queue_path(project, location, queue)
   
   # 构建任务请求
   task = {
       "http_request": {  # HTTP目标任务
           "http_method": tasks_v2.HttpMethod.POST, # 通常任务是POST请求
           "relative_uri": target_relative_uri,
           "body": json.dumps(payload_data).encode('utf-8'), # 请求体需要字节类型
           "headers": {"Content-Type": "application/json"},
       }
   }
   
   try:
       response = client.create_task(parent=parent, task=task)
       print(f"任务 {response.name} 已从Python服务提交到队列 {queue}，目标URI: {target_relative_uri}")
   except Exception as e:
       print(f"提交任务失败: {e}")

   登录后复制

3. Node.js 服务接收并处理任务： 在您的Node.js服务（例如 nodejs-service/app.js）中，设置一个与 relative_uri 匹配的路由来处理传入的任务请求。

   // nodejs-service/app.js
   const express = require('express');
   const app = express();
   app.use(express.json()); // 用于解析 JSON 格式的请求体
   
   // 这个路由必须与Python任务提交时使用的 relative_uri 匹配
   // 例如，如果 relative_uri 是 '/nodejs-task-path/process_data'
   app.post('/nodejs-task-path/process_data', (req, res) => {
       console.log('Node.js 服务接收到任务请求，数据:', req.body);
       // 在这里执行实际的任务逻辑，例如：
       // - 数据库操作
       // - 调用外部 API
       // - 数据处理等
       const { event_type, user_id } = req.body;
       console.log(`处理事件: ${event_type}，用户ID: ${user_id}`);
   
       res.status(200).send('任务已由 Node.js 服务成功处理');
   });
   
   const PORT = process.env.PORT || 8080;
   app.listen(PORT, () => {
       console.log(`Node.js 服务正在监听端口 ${PORT}`);
   });

   登录后复制

注意事项：

这种方法的核心在于 dispatch.yaml 的精确配置。请注意，此方法需要确保 relative_uri 的路径能够唯一且正确地路由到目标服务。在实际部署前，建议进行充分测试以验证路由行为。如果 dispatch.yaml 中存在复杂的路由规则（例如基于域名的路由），或者您需要更动态地决定目标服务，此方法可能不够灵活。

解决方案二：通过HTTP代理进行任务提交

当 dispatch.yaml 的配置变得复杂，或者您希望在目标服务中拥有更细粒度的任务提交控制权时，可以采用HTTP代理的方式。这种方法的核心思想是：提交任务的服务（Python）首先向目标服务（Node.js）发送一个普通的HTTP请求，将任务所需的数据传递过去。目标服务接收到这个HTTP请求后，再由它自己将任务提交到任务队列（通常是它自己默认处理的队列）。

工作原理：

1. Python服务: 作为发起方，向Node.js服务的一个特定HTTP端点发送一个POST请求，请求体中包含需要处理的任务数据。
2. Node.js服务: 接收到Python服务发来的HTTP请求。
3. Node.js服务: 解析请求体中的数据，然后使用其自身的Cloud Tasks客户端将一个新的任务提交到任务队列。这个新任务的 relative_uri 将指向Node.js服务内部的某个处理路径，从而确保任务最终由Node.js服务执行。

实现示例：

1. Python 服务发起 HTTP 请求： Python服务不再直接提交App Engine任务，而是向Node.js服务的API端点发送一个HTTP POST请求。

   import requests
   import json
   import os
   
   # 目标Node.js服务的URL
   # 在GAE内部，不同服务之间可以通过服务名称访问，例如：
   # http://<service-name>.<project-id>.<region>.r.appspot.com
   # 或者如果部署在同一个项目和区域，并且没有自定义域名，可以直接使用服务名称作为主机头
   # 例如：http://nodejs-service/submit_internal_task
   # 最稳妥的方式是使用完整的GAE服务URL或自定义域名
   nodejs_service_base_url = "https://nodejs-service-dot-your-gcp-project-id.appspot.com" # 替换为您的Node.js服务实际URL
   target_endpoint = f"{nodejs_service_base_url}/api/submit_task_relay"
   
   # 准备要传递给Node.js服务的数据，这些数据最终会成为Node.js提交的任务负载
   task_data_for_nodejs = {
       "operation": "generate_report",
       "report_id": "REP-2024-005",
       "parameters": {"format": "pdf", "email_to": "user@example.com"}
   }
   
   try:
       response = requests.post(
           target_endpoint,
           json=task_data_for_nodejs,
           headers={"Content-Type": "application/json"}
       )
       response.raise_for_status() # 如果HTTP请求失败，则抛出异常
       print(f"HTTP请求成功发送到Node.js服务。响应: {response.text}")
   except requests.exceptions.RequestException as e:
       print(f"发送HTTP请求失败: {e}")

   登录后复制

2. Node.js 服务接收 HTTP 请求并提交任务： Node.js服务监听一个特定的HTTP端点。当接收到请求时，它会解析数据，并使用 @google-cloud/tasks 客户端提交一个新的App Engine任务。

   // nodejs-service/app.js
   const express = require('express');
   const { CloudTasksClient } = require('@google-cloud/tasks');
   const app = express();
   app.use(express.json());
   
   const client = new CloudTasksClient();
   const project = process.env.GOOGLE_CLOUD_PROJECT;
   const location = process.env.GAE_REGION;
   const queue = 'default'; // Node.js服务使用的任务队列
   
   // 这个端点接收来自Python服务的HTTP请求
   app.post('/api/submit_task_relay', async (req, res) => {
       const taskPayload = req.body; // Python服务发送过来的数据
       console.log

   登录后复制

以上就是Google App Engine 跨服务任务调度策略与实践的详细内容，更多请关注php中文网其它相关文章！