解决AWS Java SDK EC2连接重置与XML解析错误：切换至异步客户端-java教程-PHP中文网

解决AWS Java SDK EC2连接重置与XML解析错误：切换至异步客户端

本文旨在解决使用AWS Java SDK访问EC2服务时遇到的“Unable to execute HTTP request: Connection reset”及“XMLStreamException: ParseError”错误。通过分析问题现象，指出同步客户端在处理潜在大型响应时可能存在的局限性，并提供解决方案：将AmazonEC2ClientBuilder替换为AmazonEC2AsyncClientBuilder，以优化EC2 API调用的稳定性和响应处理能力。

问题描述与分析

在使用aws java sdk进行开发时，开发者可能需要通过编程方式与aws服务进行交互，例如列出s3存储桶或ec2实例。在某些情况下，尽管s3相关的api调用能够正常执行并返回预期结果，但针对ec2服务的api调用（例如describeimages()）却可能抛出unable to execute http request: javax.xml.stream.xmlstreamexception: parseerror at [row,col]:[29070,4] message: connection reset的错误。

这种错误通常表明在尝试执行HTTP请求时，底层网络连接被意外重置，导致从AWS服务接收到的响应流不完整或损坏。随后的XMLStreamException: ParseError则进一步确认了这一点，即XML解析器在处理接收到的数据时遇到了非法的或不完整的XML结构。

导致此问题的原因可能包括：

网络不稳定性或超时： 在数据传输过程中，网络连接可能不稳定，或者请求/响应时间超出了默认的超时设置，导致连接被中断。
响应数据量过大： describeImages()等操作在某些AWS账户中可能会返回非常庞大的数据量。同步客户端在处理这些大型响应时，可能会因为缓冲区限制、内存压力或处理时间过长而导致连接断开。
客户端内部处理机制： 同步客户端（如AmazonEC2ClientBuilder构建的客户端）采用阻塞I/O模型。在处理耗时或数据量大的操作时，可能会长时间占用线程，影响资源释放或导致连接超时。

解决方案：切换至异步客户端

针对上述问题，一个有效的解决方案是使用AWS Java SDK提供的异步客户端。异步客户端（如AmazonEC2AsyncClientBuilder构建的客户端）采用非阻塞I/O模型，能够更好地处理网络延迟、大量数据传输以及并发请求，从而提高应用程序的响应性和稳定性。

将同步的AmazonEC2ClientBuilder替换为异步的AmazonEC2AsyncClientBuilder可以有效规避因连接重置和XML解析错误导致的问题。

立即学习“Java免费学习笔记（深入）”；

代码示例

以下是原始代码中构建EC2客户端的部分，以及修改后使用异步客户端的对比：

原始代码（可能导致问题）：

import com.amazonaws.services.ec2.AmazonEC2;
import com.amazonaws.services.ec2.AmazonEC2ClientBuilder;
// ... 其他导入

// ...
AmazonEC2 amazonEC2 = AmazonEC2ClientBuilder
        .standard()
        .withCredentials(new AWSStaticCredentialsProvider(awsCreds))
        .withRegion("us-east-1")
        .build();
List<Image> listEc2s = amazonEC2.describeImages().getImages();
// ...

登录后复制

修复后的代码（使用异步客户端）：

import com.amazonaws.services.ec2.AmazonEC2Async; // 注意这里是 AmazonEC2Async
import com.amazonaws.services.ec2.AmazonEC2AsyncClientBuilder; // 注意这里是 AmazonEC2AsyncClientBuilder
// ... 其他导入

// ...
AmazonEC2Async amazonEC2Async = AmazonEC2AsyncClientBuilder // 构建异步客户端
        .standard()
        .withCredentials(new AWSStaticCredentialsProvider(awsCreds))
        .withRegion("us-east-1")
        .build();

// 对于异步客户端，API调用返回的是 Future 对象
// 需要通过 .get() 方法阻塞等待结果，或者使用回调函数处理
// 示例：阻塞等待结果
List<Image> listEc2s = amazonEC2Async.describeImages().getImages();
// ...

登录后复制

完整示例（基于原问题代码进行修改）：

package com.aws.demo;

import java.util.List;
import java.util.concurrent.ExecutionException; // 引入用于处理 Future 异常

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.ec2.AmazonEC2Async; // 引入异步EC2客户端接口
import com.amazonaws.services.ec2.AmazonEC2AsyncClientBuilder; // 引入异步EC2客户端构建器
import com.amazonaws.services.ec2.model.Image;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.Bucket;

@SpringBootApplication
public class AwsApplication {

    public static void main(String[] args) {
        SpringApplication.run(AwsApplication.class, args);

        final String aws_access_key_id = "YOUR_ACCESS_KEY_ID"; // 替换为实际的访问密钥
        final String aws_secret_access_key = "YOUR_SECRET_ACCESS_KEY"; // 替换为实际的秘密访问密钥

        BasicAWSCredentials awsCreds = new BasicAWSCredentials(aws_access_key_id, aws_secret_access_key);

        try {           
            // S3客户端保持不变，因为其操作可能不受此问题影响
            AmazonS3 s3 = AmazonS3ClientBuilder.standard()
                    .withCredentials(new AWSStaticCredentialsProvider(awsCreds))                  
                    .withRegion("us-east-1")
                    .build();           
            List<Bucket> buckets = s3.listBuckets();

            buckets.stream().forEach(bucket ->{
                System.out.println("Bucket Name : "+ bucket.getName()+", Bucket Owner : "+bucket.getOwner().getDisplayName()
                +", Bucket Creation Date: "+ bucket.getCreationDate());
            });

            // 将 AmazonEC2ClientBuilder 替换为 AmazonEC2AsyncClientBuilder
            AmazonEC2Async amazonEC2Async = AmazonEC2AsyncClientBuilder
                    .standard()
                    .withCredentials(new AWSStaticCredentialsProvider(awsCreds))
                    .withRegion("us-east-1")
                    .build();

            // 调用异步方法，并使用 .get() 阻塞等待结果
            // 在生产环境中，推荐使用回调或CompletableFuture等非阻塞方式处理异步结果
            List<Image> listEc2s = amazonEC2Async.describeImages().get().getImages(); 

            listEc2s.stream().forEach(image->{
                System.out.println("Image id : "+image.getImageId()+" Image owner : "+image.getImageOwnerAlias());
            });
            System.out.println("Image list size: " + listEc2s.size()); // 打印列表大小以确认成功获取
        }
        catch (Exception e) { // 捕获更具体的异常，如 AmazonServiceException, ExecutionException
            System.err.println("Error accessing AWS services: " + e.getMessage());
            // 对于 ExecutionException，可以进一步获取其真实原因
            if (e instanceof ExecutionException) {
                System.err.println("Underlying cause: " + e.getCause().getMessage());
            }
            e.printStackTrace(); // 打印完整的堆栈跟踪以供调试
        }
    }
}

登录后复制

pom.xml 文件（无需修改，aws-java-sdk-ec2已包含异步客户端）：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.13</version>
        <relativePath/>
    </parent>
    <groupId>com.aws-services</groupId>
    <artifactId>aws</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>aws</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>17</java.version>
    </properties>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>com.amazonaws</groupId>
                <artifactId>aws-java-sdk-bom</artifactId>
                <version>1.11.379</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
        </dependency>

        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-ec2</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

登录后复制

注意事项与最佳实践

异步操作的正确处理：

降重鸟
要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。

113

查看详情
- 异步客户端的方法通常返回java.util.concurrent.Future对象。这意味着方法调用会立即返回，而实际的结果会在后台线程中获取。
- 要获取Future中的结果，需要调用其get()方法。此方法会阻塞当前线程，直到异步操作完成并返回结果。
- 在生产环境中，为了充分利用异步优势，应避免直接使用get()阻塞主线程。可以考虑使用Future的isDone()、isCancelled()方法检查状态，或者结合CompletableFuture、回调函数（如AsyncHandler）来非阻塞地处理异步结果。
- 例如，使用AsyncHandler：
```
amazonEC2Async.describeImagesAsync(new DescribeImagesRequest(), new AsyncHandler<DescribeImagesRequest, DescribeImagesResult>() {
    @Override
    public void onError(Exception exception) {
        System.err.println("Async call failed: " + exception.getMessage());
    }

    @Override
    public void onSuccess(DescribeImagesRequest request, DescribeImagesResult result) {
        result.getImages().forEach(image -> {
            System.out.println("Image id : " + image.getImageId() + " Image owner : " + image.getImageOwnerAlias());
        });
    }
});
// 应用程序可以继续执行其他任务，直到异步操作完成
```
  登录后复制
AWS凭证管理：
- 在生产环境中，切勿将AWS访问密钥和秘密访问密钥硬编码到代码中。这会带来严重的安全风险。
- 推荐使用以下更安全的凭证管理方式：
  - IAM角色（推荐）： 对于运行在EC2实例、ECS、Lambda等AWS服务上的应用程序，应使用IAM角色。应用程序会自动获取临时凭证，无需在代码中管理密钥。
  - 环境变量： AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY。
  - Java系统属性： aws.accessKeyId和aws.secretKey。
  - 凭证文件： ~/.aws/credentials（对于开发环境）。
区域一致性：
- 确保所有AWS客户端（S3、EC2等）都配置了正确的AWS区域。不一致的区域配置可能导致资源找不到或连接问题。
异常处理：
- 针对AWS SDK操作，应捕获更具体的异常类型，如AmazonServiceException（AWS服务返回的错误）和AmazonClientException（客户端内部错误）。
- 对于异步操作，Future.get()方法可能会抛出InterruptedException或ExecutionException。ExecutionException的getCause()方法会返回实际导致异步操作失败的异常。

总结

当AWS Java SDK在访问EC2服务时遇到“Connection reset”和“XMLStreamException”错误，特别是当describeImages()等操作可能返回大量数据时，将同步客户端AmazonEC2ClientBuilder切换到异步客户端AmazonEC2AsyncClientBuilder通常能有效解决问题。异步客户端通过非阻塞I/O模型，更好地处理网络波动和大数据量传输，从而提升应用的健壮性和性能。同时，务必遵循AWS凭证管理的最佳实践，并对异步操作的结果进行恰当的异常处理，以构建安全、高效的云应用程序。

以上就是解决AWS Java SDK EC2连接重置与XML解析错误：切换至异步客户端的详细内容，更多请关注php中文网其它相关文章！