本教程旨在解决google datastore gql投影查询中遇到的常见问题，特别是关于多属性查询失败及`__key__`无法投影的错误。文章将详细阐述投影查询的限制，强调仅索引属性可被投影，并指导如何通过`index.yaml`创建复合索引。同时，还将解释`__key__`的正确获取方式，确保用户能够高效、准确地执行datastore投影查询。
Google Datastore GQL投影查询：限制与解决方案
Google Cloud Datastore提供了一种强大的查询语言GQL，允许开发者灵活地检索存储的数据。其中，投影查询（Projection Queries）是一项重要的功能，它允许用户仅检索实体中特定属性的值，而非整个实体。这有助于减少数据传输量，提高查询效率和降低成本。然而，在实际使用中，开发者可能会遇到一些关于投影查询的限制，导致查询失败。本教程将深入探讨这些限制并提供相应的解决方案。
理解投影查询的基础与常见问题
当我们需要从Datastore中检索特定属性时，通常会使用SELECT
SELECT Subject, Comment FROM comment
然而，执行此类查询时，有时会遇到以下错误：
Error: The suggested index for this query is:
- kind: comment
properties:
- name: Comment
- name: Subject这表明Datastore无法执行该查询，并建议创建一个特定的索引。
另一个常见的问题是尝试将__key__属性包含在投影查询中：
SELECT __key__, Subject, Comment FROM comment
这会导致另一个错误：
Error: projections are not supported for the property: __key__
这些错误信息直接指出了投影查询的两个核心限制。
限制一：仅索引属性可被投影
Google Datastore的投影查询有一个关键限制：只有被索引的属性才能被投影。这意味着，如果你尝试投影一个或多个未被索引的属性，或者一个属性组合（复合属性）没有对应的复合索引，Datastore将无法执行该查询。
当Datastore返回“The suggested index for this query is...”这样的错误时，它实际上是在告诉你，为了执行SELECT Subject, Comment FROM comment这样的查询，你需要一个包含Comment和Subject这两个属性的复合索引。
解决方案：创建复合索引
要解决此问题，你需要在项目的index.yaml文件中手动定义所需的复合索引。index.yaml文件通常位于项目根目录下的WEB-INF（Java）或项目根目录（Go/Python）中。
以下是如何为comment实体创建Comment和Subject属性的复合索引：
# index.yaml 示例 indexes: - kind: comment properties: - name: Comment - name: Subject
步骤：
- 编辑 index.yaml： 将上述配置添加到你的index.yaml文件中。
- 部署索引： 使用gcloud datastore indexes create index.yaml命令或通过部署你的应用来上传并激活这些索引。
- 等待索引构建： Datastore需要时间来构建新的索引。对于大型数据集，这可能需要一些时间。在此期间，查询可能仍然失败。你可以在Google Cloud Console的Datastore页面下查看索引状态。
- 重新尝试查询： 一旦索引状态显示为Serving，你就可以成功执行SELECT Subject, Comment FROM comment这样的投影查询了。
注意事项：
- 索引的顺序： 在复合索引中，属性的顺序很重要，它会影响查询的性能和可用性。在本例中，Comment和Subject的顺序可以互换，因为投影查询不涉及范围过滤或排序。但对于包含WHERE子句和ORDER BY子句的复杂查询，属性顺序至关重要。
- 索引成本： 创建和维护索引会产生存储和写入操作的成本。请根据实际需求合理创建索引。
限制二：__key__无法直接投影
__key__是Datastore中每个实体唯一的标识符。虽然它是一个非常重要的属性，但它不能直接作为投影查询的一部分来检索。尝试在SELECT语句中包含__key__会导致“projections are not supported for the property: key”错误。
解决方案：通过API方法获取实体键
实体键应该通过Datastore客户端库提供的特定方法来获取，而不是通过GQL投影查询。大多数Datastore SDK都提供了获取查询结果中所有实体键的方法。
以Go语言为例，如果你执行一个查询并希望获取所有匹配实体的键，你可以使用GetAll方法：
package main
import (
"context"
"fmt"
"log"
"cloud.google.com/go/datastore"
)
type Comment struct {
Subject string
Comment string
}
func main() {
ctx := context.Background()
projectID := "your-gcp-project-id" // 替换为你的GCP项目ID
client, err := datastore.NewClient(ctx, projectID)
if err != nil {
log.Fatalf("Failed to create client: %v", err)
}
defer client.Close()
// 示例：插入一些数据
keys := []*datastore.Key{
datastore.NameKey("comment", "comment1", nil),
datastore.NameKey("comment", "comment2", nil),
}
comments := []*Comment{
{Subject: "Feedback", Comment: "Great service!"},
{Subject: "Bug Report", Comment: "App crashed."},
}
if _, err := client.PutMulti(ctx, keys, comments); err != nil {
log.Fatalf("Failed to put entities: %v", err)
}
fmt.Println("Entities inserted.")
// 构建一个投影查询，不包含__key__
q := datastore.NewQuery("comment").Project("Subject", "Comment")
var results []Comment
// 使用GetAll方法执行查询，并同时获取键
retrievedKeys, err := client.GetAll(ctx, q, &results)
if err != nil {
log.Fatalf("Failed to get all comments: %v", err)
}
fmt.Println("\nRetrieved Comments:")
for i, c := range results {
fmt.Printf("Key: %v, Subject: %s, Comment: %s\n", retrievedKeys[i].Name, c.Subject, c.Comment)
}
// 如果只需要键，可以只查询键
qKeysOnly := datastore.NewQuery("comment").KeysOnly()
keysOnly, err := client.GetAll(ctx, qKeysOnly, nil) // 传递nil给实体切片
if err != nil {
log.Fatalf("Failed to get keys only: %v", err)
}
fmt.Println("\nRetrieved Keys Only:")
for _, k := range keysOnly {
fmt.Printf("Key: %v\n", k.Name)
}
}
在上述Go代码示例中：
- 我们创建了一个投影查询q := datastore.NewQuery("comment").Project("Subject", "Comment")，它只投影Subject和Comment属性。
- client.GetAll(ctx, q, &results)不仅会将投影的属性填充到results切片中，还会返回一个包含所有匹配实体键的切片retrievedKeys。
- 如果你只需要获取键，可以使用KeysOnly()方法，例如qKeysOnly := datastore.NewQuery("comment").KeysOnly()，然后调用GetAll方法。
总结
Google Datastore的投影查询是优化数据检索的强大工具，但理解其内在限制至关重要。核心要点包括：
- 投影属性必须有索引： 任何用于投影的属性（或属性组合）都必须有相应的Datastore索引。当遇到投影查询错误时，请检查index.yaml并根据Datastore的建议创建或更新复合索引。
- __key__无法直接投影： 实体键不能作为投影查询的一部分。应使用Datastore客户端库提供的特定方法（如Go SDK的GetAll）来获取实体键。
通过遵循这些指导原则，开发者可以有效利用Datastore的投影查询功能，构建更高效、更具成本效益的应用程序。务必参考Google Cloud Datastore的官方文档，以获取最新的信息和最佳实践。
