解决Scala中JSON字符串上传S3显示[value: string]的问题

import com.amazonaws.services.s3.AmazonS3ClientBuilder
import com.amazonaws.services.s3.model.{ObjectMetadata, PutObjectRequest}
import com.amazonaws.regions.Regions
import java.io.ByteArrayInputStream
import java.nio.charset.StandardCharsets

// 假设JSONdata已经通过spark.sql().toJSON生成
val query = "[My SQL query]";
val results = spark.sql(query);
val JSONdata = results.toJSON;

// 将Dataset[String]转换为单个JSON字符串。
// 注意：results.toJSON返回的是Dataset[String]，需要收集并合并成一个完整的JSON字符串
// 如果JSONdata已经是期望的单个JSON字符串，则直接使用。
// 否则，需要进行适当的转换，例如：
val fullJSONString: String = JSONdata.collect().mkString("[", ",", "]") // 如果toJSON返回多行JSON，合并成一个JSON数组
// 或者如果JSONdata.toString()已经包含了所有有效JSON，直接使用
// val fullJSONString: String = JSONdata.toString // 这是一个常见的误区，toJSON.toString()可能不是实际的JSON内容
// 实际操作中，通常需要将Dataset[Row] map到JSON字符串，然后collect或coalesce
// 假设 fullJSONString 已经包含了正确的、完整的JSON数据
// 例如：
// val fullJSONString: String = results.toJSON.collect().mkString("\n") // 每行一个JSON对象
// 或者为了生成一个有效的JSON数组：
// val fullJSONString: String = s"[${results.toJSON.collect().mkString(",")}]"

// 为了演示，我们假设 fullJSONString 已经就绪
val exampleJsonString = """{"id": 1, "name": "Alice", "age": 30}
                          |{"id": 2, "name": "Bob", "age": 25}""".stripMargin // 示例多行JSON
// 实际使用时，请确保fullJSONString是您期望上传的JSON内容
val finalJSONContent: String = results.toJSON.collect().mkString("\n") // 假设每行一个JSON对象，用换行符分隔

println(s"准备上传的JSON内容:\n$finalJSONContent")
println(s"JSON内容类型: ${finalJSONContent.getClass}")

val bucketName = "your-s3-bucket-name"
val objectKey = "path/to/your/data.json"

// 创建S3客户端
// 推荐使用AmazonS3ClientBuilder来构建客户端
val s3Client = AmazonS3ClientBuilder.standard()
  .withRegion(Regions.DEFAULT_REGION) // 根据您的S3桶区域进行修改，例如Regions.AP_SOUTHEAST_1
  // .withCredentials(new AWSStaticCredentialsProvider(new BasicAWSCredentials("YOUR_ACCESS_KEY", "YOUR_SECRET_KEY"))) // 如果不使用IAM角色，需要配置凭证
  .build()

try {
  // 1. 将字符串转换为字节数组
  val contentBytes = finalJSONContent.getBytes(StandardCharsets.UTF_8)

  // 2. 创建一个ByteArrayInputStream
  val inputStream = new ByteArrayInputStream(contentBytes)

  // 3. 创建ObjectMetadata对象并设置内容长度和内容类型
  val metadata = new ObjectMetadata()
  metadata.setContentLength(contentBytes.length)
  metadata.setContentType("application/json") // 明确指定内容类型为JSON

  // 4. 构建PutObjectRequest
  val putRequest = new PutObjectRequest(bucketName, objectKey, inputStream, metadata)

  // 5. 执行上传
  val result = s3Client.putObject(putRequest)
  println(s"文件上传成功，ETag: ${result.getETag}")

} catch {
  case e: Exception => println(s"上传S3时发生错误: ${e.getMessage}")
  e.printStackTrace()
} finally {
  // 在实际应用中，如果inputStream是手动创建的，需要确保其被关闭
  // 对于ByteArrayInputStream，通常不需要显式关闭，因为它不持有外部资源
}

// ... (与方法一相同的JSON数据准备和S3客户端初始化部分) ...

val bucketName = "your-s3-bucket-name"
val objectKey = "path/to/your/data_byte_array.json"

try {
  val contentBytes = finalJSONContent.getBytes(StandardCharsets.UTF_8)

  val metadata = new ObjectMetadata()
  metadata.setContentLength(contentBytes.length)
  metadata.setContentType("application/json")

  // 构建PutObjectRequest，直接传入字节数组和元数据
  val putRequest = new PutObjectRequest(bucketName, objectKey, new ByteArrayInputStream(contentBytes), metadata)
  // 或者更简洁地，直接使用putObject的重载方法（如果SDK版本支持）
  // val putRequest = new PutObjectRequest(bucketName, objectKey, new String(contentBytes, StandardCharsets.UTF_8), metadata) // 这种方式又回到了字符串，不推荐
  // 实际上，没有直接接受byte[]的putObject重载，都是通过InputStream或者File。
  // 所以，即使是字节数组，也通常需要包装成ByteArrayInputStream。

  val result = s3Client.putObject(putRequest)
  println(s"文件上传成功 (通过字节数组), ETag: ${result.getETag}")

} catch {
  case e: Exception => println(s"上传S3时发生错误 (通过字节数组): ${e.getMessage}")
  e.printStackTrace()
}