.NET : 如何将大文件写入到数据库中

最近利用空闲时间自己在写一个文件备份工具，因为我磁盘上的很多文件很重要，例如很多PPT和讲义。所以需要经常备份，而且因为这些文件很多，所以需要增量备份。 我尝试用过windows自带的ntbackup工具，但感觉不是很爽。它不支持压缩备份，而且界面也有点复杂

最近利用空闲时间自己在写一个文件备份工具，因为我磁盘上的很多文件很重要，例如很多ppt和讲义。所以需要经常备份，而且因为这些文件很多，美国空间，所以需要增量备份。

我尝试用过windows自带的ntbackup工具，但感觉不是很爽。它不支持压缩备份，而且界面也有点复杂。

为了响应伟大领袖的“自力更生，丰衣足食”的号召，咱决定自己写一个工具，专门备份到数据库。支持压缩，支持加密，支持增量。

本文分享一下其中一些重点的技术细节

其中一个关键的技术就是将文件使用二进制的方式存放在数据库的varbinary(max)的字段中。该字段最大允许的长度为2GB。

对于一些小文件，我们可以一次性读取它的所有字节，香港虚拟主机，然后一次提交到数据库

///

            conn.Open();
            cmd.ExecuteNonQuery();
            conn.Close();
        }
    }
}

但是，上面的方法有几个问题，主要体现在如果文件比较大的话

1. 它需要一次性很大的内存，具体数据等同于文件大小。因为File.ReadAllBytes方法是将所有字节全部读入到内存。

2. 它会导致提交失败，就是因为数据太大了。数据库也会拒绝。

发卡宝-卡密寄售系统

发卡宝是一个专业的软件卡密等虚拟商品在线交易平台,拥有多种兑换方式,费率低,结算快,正规企业平台一直稳定运营,24小时不间断提供自动发卡服务。【模板说明】试用版自带一套模板（响应式）【环境支持】PHP环境 / 200M或以上空间大小 / 开启父路径 / 设置index.php为默认首页 / 目录写入权限需要开启【数据库】MySQL【安装步骤】将文件上传至空间目录，运行“http://域名/inst

1

查看详情

那么，我就对这个方法做了一下改进，将文件拆分为5MB一段，也就是说，此时每次申请的内存只有5MB。这就大大地提高了可用性。

///

      byte[] buffer = new byte[5 * 1024 * 1024];
      int readCount;
      using (SqlConnection conn = new SqlConnection("server=(local);database=demo;integrated security=true"))
      {
          conn.Open();

          while ((readCount = fs.Read(buffer, 0, buffer.Length)) > 0)
          {

              using (SqlCommand cmd = conn.CreateCommand())
              {
                  cmd.CommandText = "INSERT INTO Files(FileName,FileContents) VALUES(@fileName,@fileContents)";
                  cmd.Parameters.AddRange(
                      new[]
                  {
                      new SqlParameter("@fileName",file),
                      new SqlParameter("@fileContents",buffer)
                  });

                  cmd.ExecuteNonQuery();
              }

          }

          conn.Close();

      }
  }

这样的话，有一个后果就是一个文件，可能在数据库中会有多条记录。所以在读取的时候，我们需要对其进行合并