什么是数据库的PolyBase？在C#中如何查询外部数据？-C#.Net教程-PHP中文网

什么是数据库的PolyBase？在C#中如何查询外部数据？

畫卷琴夢

发布： 2025-10-08 16:01:01

原创

432人浏览过

PolyBase 提供统一T-SQL接口实现跨源查询，支持Hadoop、Azure存储等外部数据源，通过创建外部表将远程数据虚拟化，C#可借助ADO.NET像查本地表一样查询外部数据，无需额外配置。

什么是数据库的polybase？在c#中如何查询外部数据？

PolyBase 是 SQL Server 和 Azure Synapse Analytics 中的一项技术，它允许你直接通过 T-SQL 查询跨多种数据源的外部数据，比如 Hadoop、Azure Blob Storage、Azure Data Lake Storage 以及 Cosmos DB 等。它把外部数据源“虚拟化”成类似数据库表的形式，这样你就可以像查询本地表一样使用 SELECT 语句访问远程数据，而无需将数据导入到本地数据库。

PolyBase 的核心特点

统一查询接口：使用标准 T-SQL 查询异构数据源。

数据虚拟化：不移动数据，只在需要时读取外部数据。

可扩展性：适合大数据场景，支持分布式查询处理。

支持的数据源包括：

Hadoop（Hortonworks, Cloudera）
Azure Blob Storage
Azure Data Lake Gen1/Gen2
SQL Server 远程实例（通过 PolyBase Gateway）
Cosmos DB（有限支持）

如何配置 PolyBase 查询外部数据

以 SQL Server 查询 Azure Blob Storage 中的 CSV 文件为例：

启用 PolyBase：在 SQL Server 实例上启用 PolyBase 功能。
创建数据库主密钥：用于保护凭据。
创建数据库范围凭据：存储访问 Azure 存储的密钥。
创建外部数据源：指定 Azure Blob 容器地址。
创建外部文件格式：定义 CSV 或 Parquet 格式。
创建外部表：映射远程文件结构。

示例 T-SQL：

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'your_password';
<p>CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential<br />
WITH IDENTITY = 'storageaccountname', Secret = 'storageaccountkey';</p><p>CREATE EXTERNAL DATA SOURCE AzureBlobStorage
WITH (
TYPE = BLOB_STORAGE,
LOCATION = '<a href="https://www.php.cn/link/52238db3e51471b5f923a3481975f65d">https://www.php.cn/link/52238db3e51471b5f923a3481975f65d</a>',
CREDENTIAL = AzureStorageCredential
);</p><p>CREATE EXTERNAL FILE FORMAT CsvFormat
WITH (
FORMAT_TYPE = DELIMITEDTEXT,
FORMAT_OPTIONS (FIELD_TERMINATOR = ',', STRING_DELIMITER = '"')
);</p><p>CREATE EXTERNAL TABLE [dbo].[ExternalSalesData] (
[Id] INT,
[ProductName] NVARCHAR(100),
[Price] DECIMAL(10,2)
)
WITH (
LOCATION = '/salesdata.csv',
DATA_SOURCE = AzureBlobStorage,
FILE_FORMAT = CsvFormat
);</p>

登录后复制

之后你可以直接查询：

阿里云-虚拟数字人

阿里云-虚拟数字人是什么？ ...

查看详情

SELECT * FROM ExternalSalesData WHERE Price > 100;

登录后复制

在 C# 中查询外部数据（通过 PolyBase）

PolyBase 本身运行在 SQL Server 内部，C# 不直接调用 PolyBase API，而是通过普通的 ADO.NET 调用已配置好的外部表或视图。

也就是说，你在 C# 中的操作和查询普通 SQL 表完全一样。

C# 示例：查询 PolyBase 外部表

使用 SqlConnection 和 SqlCommand 查询已暴露的外部表：

using System;
using System.Data.SqlClient;
<p>class Program
{
static void Main()
{
string connectionString = "Server=your_server;Database=your_db;User Id=your_user;Password=your_password;";</p><pre class='brush:php;toolbar:false;'>    using (var connection = new SqlConnection(connectionString))
    {
        connection.Open();
        string query = "SELECT Id, ProductName, Price FROM ExternalSalesData WHERE Price > 100";

        using (var command = new SqlCommand(query, connection))
        {
            using (var reader = command.ExecuteReader())
            {
                while (reader.Read())
                {
                    Console.WriteLine($"Product: {reader["ProductName"]}, Price: {reader["Price"]}");
                }
            }
        }
    }
}

登录后复制

}