温江做网站
新网创想网站建设，新征程启航
为企业提供网站建设、域名注册、服务器等服务
base64编码处理大文件
在做项目的时候遇到需要将文件转为base64编码，并存储在文件中。
创新互联建站坚持“要么做到，要么别承诺”的工作理念，服务领域包括：网站设计、成都做网站、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的资兴网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！
在将文件转为base64编码是会将文件读入内存，进行base64编码，输出到文件中。代码入下：
1 2 3 4 5 6 7 8 9 10 | FileInputStream stream = new FileInputStream("D:\\桌面\\程序员-第4版.pdf"); ByteArrayOutputStream out = new ByteArrayOutputStream(1024); byte[] b = new byte[1024]; int n; while ((n = stream.read(b)) != -1) { out.write(b, 0, n); } stream.close(); out.close(); System.out.println(new String(Base64.encodeBase64(out.toByteArray()))); |
但是大文件在进行base64编码的时候就会遇到OOM（OOM为out of memory的简称，称之为内存溢出）。
产生OOM的原因：
文件太大，超出了内存
文件可以正常读入内存，由于base64编码后的文件比原来的文件大1/3，在编码的过程中超出内存
由于3个常规字符可以转换为4个base64编码字符，所以使用3的公倍数作为缓冲区大小。
所以在对大文件进行base64编码时可以采用分段编码，进行输出。代码入下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | //使用分段上传的读取文件的方式将大文件转换为base64编码数据 官网 www.1b23.com ByteArrayOutputStream os1 = new ByteArrayOutputStream(); InputStream file1 = new FileInputStream("D:\\桌面\\程序员-第4版.pdf"); byte[] byteBuf = new byte[3 * 1024 * 1024]; byte[] base64ByteBuf; int count1; //每次从文件中读取到的有效字节数 while ((count1 = file1.read(byteBuf)) != -1) { if (count1 != byteBuf.length) {//如果有效字节数不为3*1000，则说明文件已经读到尾了，不够填充满byteBuf了 byte[] copy = Arrays.copyOf(byteBuf, count1); //从byteBuf中截取包含有效字节数的字节段 base64ByteBuf = Base64.encodeBase64(copy); //对有效字节段进行编码 } else { base64ByteBuf = Base64.encodeBase64(byteBuf); } os1.write(base64ByteBuf, 0, base64ByteBuf.length); os1.flush(); } file1.close(); System.out.println(os1.toString()); |
以上代码是将编码后的数据输出至控制台。其实最好是将文件分段进行编码，分段输出，这样不管文件多大，都可以进行编码，并且不会OOM。以下是将文件输出至txt文档中：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | ByteArrayOutputStream os1 = new ByteArrayOutputStream(); InputStream file1 = new FileInputStream("D:\\桌面\\程序员-第4版.pdf"); byte[] byteBuf = new byte[3 * 1024 * 1024]; byte[] base64ByteBuf; int count1; //每次从文件中读取到的有效字节数 File file = new File("D:\\1.txt"); while ((count1 = file1.read(byteBuf)) != -1) { if (count1 != byteBuf.length) {//如果有效字节数不为3*1000，则说明文件已经读到尾了，不够填充满byteBuf了 byte[] copy = Arrays.copyOf(byteBuf, count1); //从byteBuf中截取包含有效字节数的字节段 base64ByteBuf = Base64.encodeBase64(copy); //对有效字节段进行编码 } else { base64ByteBuf = Base64.encodeBase64(byteBuf); } FileUtils.writeByteArrayToFile(file, base64ByteBuf, true); // 将转换后的数据写入文件中，该方法会自动创建文件 os1.flush(); } file1.close(); |
本文题目：base64编码处理大文件
网页网址：http://wjwzjz.com/article/jjgohp.html