.NET/C# 高性能将多个文件合并成一个文件

小渣渣

需求：在使用大文件分块上传的时候，后端需要将不同块按照顺序合并成一个文件，或者在切割归档文件的时候，将切割后的文件合并成源文件。

Linux 使用 split 文件切割拆分
https://www.itsvse.com/thread-10716-1-1.html

首先，准备两个 100M 的文件进行测试，命令如下：

登录可见。

Windows 下创建指定大小的文件
https://www.itsvse.com/thread-10732-1-1.html

代码如下：

登录可见。

测试了两种不同的 merge 合并方案。如下图：



使用 VS 2022 调试 -> 性能探查器 -> 勾选“.NET 对象分配跟踪”开始测试：



merge1 总大小为：16,778,034，merge2 总大小为：164,270，通过总分配可以看出 merge1 比 merge2 分配大了 102 倍，越大证明性能越差。

使用 PerfView 分别查看 CPU Stacks、GC Heap Net Mem Stacks 分析，如下图：



备注：Inc%-包含成本表示为所有样本总成本的百分比（对于ROOT节点为100%）。可以按其进行排序。

小渣渣

使用 VS 2022 调试 -> 性能探查器 -> 勾选“内存使用率”进行测试：

• merge1 执行的时候占用 808MB
• merge2 执行的时候占用 12MB
  

如果单独执行 merge2 方法，程序启动占用 6MB，在函数执行过程中以及完成后，程序始终占用 6MB。

小渣渣

优化写法

登录可见。