charset.encode返回结果的疑问

Question

按照老师给出的思路，写了用长度有限的Buffer去循环处理中文乱码，在调试过程中发现一个奇怪的事，就是“长坂桥头杀气生，横枪立马眼圆睁。一声好似轰雷震，独退曹家百万兵。”这句话生产的字节数组长达143字节，而且最后有若干个0，比较奇怪。

虽然这么多的0不影响最终结果的输出，但是对这个0比较有疑问

Answer 1

求老仙 2021-03-10 23:32:14

麻烦再确认下，看上去是buffer没有用完。

• 提问者 慕粉4331336 #1

  上面的截图是charset.encode("长坂坡...").array()的返回结果

• 求老仙 回复 提问者 慕粉4331336 #2

  查了下源代码，因为java是在不断尝试分配内存转码。每次乘2，冗余系数1.1。感兴趣看下charsetencoder的源代码，见encode函数。

• 提问者 慕粉4331336 回复 求老仙 #3

  棒，谢老仙，我去理解下

点开查看后面2条评论

Answer 2

求老仙 2021-03-10 23:53:16

分析下：JVM的开发团队不想为每个CharSet都编写一套算法，于是每个字符到底对应几个byte是不确定的，只有一个个转义。 于是就有了下面这段不断分配的程序。 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

public final ByteBuffer encode(CharBuffer in)        throws CharacterCodingException    {        int n = (int)(in.remaining() * averageBytesPerChar());        ByteBuffer out = ByteBuffer.allocate(n);          if ((n == 0) && (in.remaining() == 0))            return out;        reset();        for (;;) {            CoderResult cr = in.hasRemaining() ?                encode(in, out, true) : CoderResult.UNDERFLOW;            if (cr.isUnderflow())                cr = flush(out);              if (cr.isUnderflow())                break;            if (cr.isOverflow()) {                n = 2*n + 1;    // Ensure progress; n might be 0!                ByteBuffer o = ByteBuffer.allocate(n);                out.flip();                o.put(out);                out = o;                continue;            }            cr.throwException();        }        out.flip();        return out;    }

  

• poxige #1

  1. 那这个场景下是不是用 raw.getBytes(charset)； 更好处理？这个返回的是byte[]长度是96，那charset.encode(raw) 什么时候用，有什么优势
  
  2. 如果用 charset.encode(raw) 来读取，对于这些 0 要怎么判断？ 是碰到0就意味着往后的位置不会有数据，可以认为处理结束  return 了么。 （即意味着对于字符串的 byte[] 中间不可能出现0对吧）