VUE上传大文件的三种解决方案

article/2025/9/30 0:09:23

最近遇见一个需要上传超大大文件的需求,调研了七牛和腾讯云的切片分段上传功能,因此在此整理前端大文件上传相关功能的实现。

在某些业务中,大文件上传是一个比较重要的交互场景,如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大,或者网络条件不好时,上传的时间会比较长(要传输更多的报文,丢包重传的概率也更大),用户不能刷新页面,只能耐心等待请求完成。

下面从文件上传方式入手,整理大文件上传的思路,并给出了相关实例代码,由于PHP内置了比较方便的文件拆分和拼接方法,因此服务端代码使用PHP进行示例编写。

本文相关示例代码位于github上,主要参考

聊聊大文件上传

大文件切割上传

文件上传的几种方式

首先我们来看看文件上传的几种方式。

普通表单上传

使用PHP来展示常规的表单上传是一个不错的选择。首先构建文件上传的表单,并指定表单的提交内容类型为enctype="multipart/form-data",表明表单需要上传二进制数据。

然后编写index.php上传文件接收代码,使用move_uploaded_file方法即可(php大法好…)

form表单上传大文件时,很容易遇见服务器超时的问题。通过xhr,前端也可以进行异步上传文件的操作,一般由两个思路。

文件编码上传

第一个思路是将文件进行编码,然后在服务端进行解码,之前写过一篇在前端实现图片压缩上传的博客,其主要实现原理就是将图片转换成base64进行传递

varimgURL = URL.createObjectURL(file);

ctx.drawImage(imgURL, 0, 0);

// 获取图片的编码,然后将图片当做是一个很长的字符串进行传递

vardata= canvas.toDataURL( "image/jpeg", 0.5);

在服务端需要做的事情也比较简单,首先解码base64,然后保存图片即可

$imgData = $_REQUEST[ 'imgData'];

$base64 = explode( ',', $imgData)[ 1];

$img = base64_decode($base64);

$url = './test.jpg';

if(file_put_contents($url, $img)) {

exit(json_encode( array(

url => $url

)));

}

base64编码的缺点在于其体积比原图片更大(因为Base64将三个字节转化成四个字节,因此编码后的文本,会比原文本大出三分之一左右),对于体积很大的文件来说,上传和解析的时间会明显增加。

更多关于base64的知识,可以参考Base64笔记。

除了进行base64编码,还可以在前端直接读取文件内容后以二进制格式上传

// 读取二进制文件

functionreadBinary(text){

vardata = newArrayBuffer(text.length);

varui8a = newUint8Array(data, 0);

for( vari = 0; i < text.length; i++){

ui8a[i] = (text.charCodeAt(i) & 0xff);

}

console.log(ui8a)

}

varreader = newFileReader;

reader. = function{

readBinary( this.result) // 读取result或直接上传

}

// 把从input里读取的文件内容,放到fileReader的result字段里

reader.readAsBinaryString(file);

formData异步上传

FormData对象主要用来组装一组用 发送请求的键/值对,可以更加灵活地发送Ajax请求。可以使用FormData来模拟表单提交。

letfiles = e.target.files // 获取input的file对象

letformData = newFormData;

formData.append( 'file', file);

axios.post(url, formData);

服务端处理方式与直接form表单请求基本相同。

iframe无刷新页面

在低版本的浏览器(如IE)上,xhr是不支持直接上传formdata的,因此只能用form来上传文件,而form提交本身会进行页面跳转,这是因为form表单的target属性导致的,其取值有

_self,默认值,在相同的窗口中打开响应页面

_blank,在新窗口打开

_parent,在父窗口打开

_top,在最顶层的窗口打开

framename,在指定名字的iframe中打开

如果需要让用户体验异步上传文件的感觉,可以通过framename指定iframe来实现。把form的target属性设置为一个看不见的iframe,那么返回的数据就会被这个iframe接受,因此只有该iframe会被刷新,至于返回结果,也可以通过解析这个iframe内的文本来获取。

functionupload{

varnow = + newDate

varid = 'frame'+ now

$( "body").append( `<iframe style="display:none;" name="${id}" id="${id}" />`);

var$form = $( "#myForm")

$form.attr({

"action": '/index.php',

"method": "post",

"enctype": "multipart/form-data",

"encoding": "multipart/form-data",

"target": id

}).submit

$( "#"+id).on( "load", function{

varcontent = $( this).contents.find( "body").text

try{

vardata = JSON.parse(content)

} catch(e){

console.log(e)

}

})

}

大文件上传

现在来看看在上面提到的几种上传方式中实现大文件上传会遇见的超时问题,

表单上传和iframe无刷新页面上传,实际上都是通过form标签进行上传文件,这种方式将整个请求完全交给浏览器处理,当上传大文件时,可能会遇见请求超时的情形

通过fromData,其实际也是在xhr中封装一组请求参数,用来模拟表单请求,无法避免大文件上传超时的问题

编码上传,我们可以比较灵活地控制上传的内容

大文件上传最主要的问题就在于:在同一个请求中,要上传大量的数据,导致整个过程会比较漫长,且失败后需要重头开始上传。试想,如果我们将这个请求拆分成多个请求,每个请求的时间就会缩短,且如果某个请求失败,只需要重新发送这一次请求即可,无需从头开始,这样是否可以解决大文件上传的问题呢?

综合上面的问题,看来大文件上传需要实现下面几个需求

支持拆分上传请求(即切片)

支持断点续传

支持显示上传进度和暂停上传

接下来让我们依次实现这些功能,看起来最主要的功能应该就是切片了。

文件切片

参考: 大文件切割上传

编码方式上传中,在前端我们只要先获取文件的二进制内容,然后对其内容进行拆分,最后将每个切片上传到服务端即可。

在Java中,文件FIle对象是Blob对象的子类,Blob对象包含一个重要的方法slice,通过这个方法,我们就可以对二进制文件进行拆分。

下面是一个拆分文件的示例,对于up6来说开发者不需要关心拆分的细节,由控件帮助实现,开发者只需要关心业务逻辑即可。

控件上传的时候会为每一个文件块数据添加相关的信息,开发者在服务端接收到数据后可以自已进行处理。

服务器接收到这些切片后,再将他们拼接起来就可以了,下面是PHP拼接切片的示例代码

对于up6来说,开发人员不需要进行拼接,up6已经提供了示例代码,已经实现了这个逻辑。

保证唯一性,控件会为每一个文件块添加信息,如块索引,块MD5,文件MD5

断点续传

up6自带续传功能,up6在服务端已经保存了文件的信息,在客户端也保存了文件的进度信息。在上传时控件会自动加载文件进度信息,开发者不需要关心这些细节。在文件块的处理逻辑中只需要根据文件块索引来识别即可。

此时上传时刷新页面或者关闭浏览器,再次上传相同文件时,之前已经上传成功的切片就不会再重新上传了。

服务端实现断点续传的逻辑基本相似,只要在getUploadSliceRecord内部调用服务端的查询接口获取已上传切片的记录即可,因此这里不再展开。

此外断点续传还需要考虑切片过期的情况:如果调用了mkfile接口,则磁盘上的切片内容就可以清除掉了,如果客户端一直不调用mkfile的接口,放任这些切片一直保存在磁盘显然是不可靠的,一般情况下,切片上传都有一段时间的有效期,超过该有效期,就会被清除掉。基于上述原因,断点续传也必须同步切片过期的实现逻辑。

续传效果

上传进度和暂停

通过xhr.upload中的progress方法可以实现监控每一个切片上传进度。

上传暂停的实现也比较简单,通过xhr.abort可以取消当前未完成上传切片的上传,实现上传暂停的效果,恢复上传就跟断点续传类似,先获取已上传的切片列表,然后重新发送未上传的切片。

由于篇幅关系,上传进度和暂停的功能这里就先不实现了。

实现效果:

小结

目前社区已经存在一些成熟的大文件上传解决方案,如七牛SDK,腾讯云SDK等,也许并不需要我们手动去实现一个简陋的大文件上传库,但是了解其原理还是十分有必要的。

本文首先整理了前端文件上传的几种方式,然后讨论了大文件上传的几种场景,以及大文件上传需要实现的几个功能

通过Blob对象的slice方法将文件拆分成切片

整理了服务端还原文件所需条件和参数,演示了PHP将切片还原成文件

通过保存已上传切片的记录来实现断点续传

还留下了一些问题,如:合并文件时避免内存溢出、切片失效策略、上传进度暂停等功能,并没有去深入或一一实现,继续学习吧

视频演示:

Web大文件上传下载断点续传-asp.net-IIS Express-SQL Server-测试教程

控件源码下载:

asp.net源码下载,jsp-springboot源码下载,jsp-eclipse源码下载,jsp-myeclipse源码下载,php源码下载,csharp-winform源码下载,vue-cli源码下载,c++源码下载

详细配置信息及思路


http://chatgpt.dhexx.cn/article/iZAjeIWs.shtml

相关文章

大文件怎样实现快速上传?

前言 大文件快速上传的方案&#xff0c;相信你也有过了解&#xff0c;其实无非就是将 文件变小&#xff0c;也就是通过 压缩文件资源 或者 文件资源分块 后再上传。 本文只介绍资源分块上传的方式&#xff0c;并且会通过 前端&#xff08;vue3 vite&#xff09; 和 服务端&…

大文件夹上传

目前没有这样的标准&#xff0c;可以把文件夹打包上传大文件。 webkitdirectory Booleanwebkitdirectory属性&#xff08;如果存在&#xff09;指示用户在文件选择器界面中只能选择目录。有关HTMLInputElement.webkitdirectory其他详细信息和示例&#xff0c;请参阅。 虽然最初…

往GitHub上传大文件

1.下载Git Git - Downloads 2.下载GitLFS https://git-lfs.github.com/ 3.复制URL 4.在本地创建文件夹&#xff0c;右键Git Bash Here 5.粘贴URL进行下载--下载到本地 git clone URL 6.转到克隆到本地的文件夹内&#xff0c;运行git lfs track--进行文件定位 若要查找所有…

上传大文件的解决方案

上传大文件的解决方案 需求&#xff1a;项目要支持大文件上传功能&#xff0c;经过讨论&#xff0c;初步将文件上传大小控制在500M内&#xff0c;因此自己需要在项目中进行文件上传部分的调整和配置&#xff0c;自己将大小都以501M来进行限制。 第一步&#xff1a; 前端修改 由…

大文件上传解决方案

之前仿造uploadify写了一个HTML5版的文件上传插件&#xff0c;没看过的朋友可以点此先看一下~得到了不少朋友的好评&#xff0c;我自己也用在了项目中&#xff0c;不论是用户头像上传&#xff0c;还是各种媒体文件的上传&#xff0c;以及各种个性的业务需求&#xff0c;都能得到…

GitHub上传大文件(100MB以上)

GitHub上传大文件(100MB以上) Github桌面端和网站上都无法直接上传大于100MB的文件&#xff0c;此时就要借助 GitLFS才能实现大文件的上传。 文章目录 GitHub上传大文件(100MB以上)准备工作上传 准备工作 将GitLFS安装到Git的bin文件夹下 GitLFS下载链接&#xff1a;https:/…

大文件如何快速上传

之前仿造uploadify写了一个HTML5版的文件上传插件&#xff0c;没看过的朋友可以点此先看一下~得到了不少朋友的好评&#xff0c;我自己也用在了项目中&#xff0c;不论是用户头像上传&#xff0c;还是各种媒体文件的上传&#xff0c;以及各种个性的业务需求&#xff0c;都能得到…

如何在GitHub上传大文件(≥100M)

学习工作中&#xff0c;有时会遇到需要将一些资源上传到GitHub的仓库&#xff08;repository&#xff09;上去&#xff0c;比如一些训练完的模型。但GitHub对于直接上传的文件有大小限制&#xff0c;超过100M的文件需要使用Git LFS才能上传。以下是我根据各位大神和自己的实操经…

大文件上传+解决方案

一、 功能性需求与非功能性需求 要求操作便利&#xff0c;一次选择多个文件和文件夹进行上传&#xff1b; 支持PC端全平台操作系统&#xff0c;Windows,Linux,Mac 支持文件和文件夹的批量下载&#xff0c;断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。 支持文件…

前端上传大文件的解决方案

最近遇见一个需要上传超大大文件的需求&#xff0c;调研了七牛和腾讯云的切片分段上传功能&#xff0c;因此在此整理前端大文件上传相关功能的实现。 在某些业务中&#xff0c;大文件上传是一个比较重要的交互场景&#xff0c;如上传入库比较大的Excel表格数据、上传影音文件等…

JAVA上传大文件的三种解决方案

我们平时经常做的是上传文件&#xff0c;上传文件夹与上传文件类似&#xff0c;但也有一些不同之处&#xff0c;这次做了上传文件夹就记录下以备后用。 首先我们需要了解的是上传文件三要素&#xff1a; 1.表单提交方式:post (get方式提交有大小限制,post没有) 2.表单的enct…

大文件如何快速上传?

前言 大文件快速上传的方案&#xff0c;相信你也有过了解&#xff0c;其实无非就是将 文件变小&#xff0c;也就是通过 压缩文件资源或者 文件资源分块 后再上传。 本文只介绍资源分块上传的方式&#xff0c;并且会通过 前端&#xff08;vue3 vite&#xff09; 和 服务端&…

Java如何上传大文件

1 背景 用户本地有一份txt或者csv文件&#xff0c;无论是从业务数据库导出、还是其他途径获取&#xff0c;当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候&#xff0c;首先要将本地文件上传至ODPS&#xff0c;普通的小文件通过浏览器上传至服务器&#xf…

Github上传大文件(>25MB)教程

Github上传大文件&#xff08;>25MB&#xff09;教程 Github上传大文件&#xff08;>25MB&#xff09;教程安装git安装Git Large File Storage实例踩坑点1&#xff1a;failed to push some refs to踩坑点2&#xff1a;main与master踩坑点3&#xff1a;Failed to connect …

如何高效的上传大文件?

业务场景&#xff1a;在很多业务中会涉及到文件上传&#xff0c;对于上传的文件大小要求也相对比较广&#xff0c;对于小文件而言我们使用MultipartFile上传就能解决&#xff0c;对于大文件来说可能也就将文件拆分成多份&#xff0c;一份一份的上传&#xff0c;大部分业务是足以…

请问:怎么实现大文件快速上传?

关注公众号 前端开发博客&#xff0c;领27本电子书 回复加群&#xff0c;自助秒进前端群 前言 大文件快速上传的方案&#xff0c;相信你也有过了解&#xff0c;其实无非就是将 文件变小&#xff0c;也就是通过 压缩文件资源 或者 文件资源分块 后再上传。 本文只介绍资源分块上…

超大文件上传解决方案

一、 功能性需求与非功能性需求 要求操作便利&#xff0c;一次选择多个文件和文件夹进行上传&#xff1b; 支持PC端全平台操作系统&#xff0c;Windows,Linux,Mac 支持文件和文件夹的批量下载&#xff0c;断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。 支持文件…

上传大文件(10G)的解决方案

需求&#xff1a; 项目要支持大文件上传功能&#xff0c;经过讨论&#xff0c;初步将文件上传大小控制在20G内&#xff0c;因此自己需要在项目中进行文件上传部分的调整和配置&#xff0c;自己将大小都以20G来进行限制。 PC端全平台支持&#xff0c;要求支持Windows,Mac,Linu…

linux操作系统实用教程课后答案,Linux操作系统案例教程课后习题答案

Linux操作系统案例教程课后习题答案 (3页) 本资源提供全文预览&#xff0c;点击全文预览即可全文预览,如果喜欢文档就下载吧&#xff0c;查找使用更方便哦&#xff01; 11.90 积分 &#xfeff;Linux操作系统案例教程课后习题答案第一章一 1.(D) 2.(B,C) 3.(A,B,D)4.(A,C,D ) …

第一章 Linux操作系统概述

接下来我将根据《Linux C编程完全解密》这本书&#xff0c;整理Linux系列相关笔记&#xff0c;并写成文章。本文将是该系列文章的第一篇。 第1章 Linux操作系统概述 1.1 认识Linux操作系统 1.1.1 Linux操作系统发展背景 Linux操作系统核心最早是由芬兰的Linus Torvalds于199…