按照字节截取字符串的函数_截取指定字符之后的字符串

按照字节截取字符串的函数_截取指定字符之后的字符串按照字节截取字符串?字节和编码到底有什么不可告人的秘密 扯开他们的遮羞布 哈哈哈,让大家看看有什么洪水猛兽

🤯起因

银行开户接口,要求参数通讯地址不能超过152个字节,但是通讯地址字符串的组成,可能包含中文+英文或者其他的字符,且中文在不同的编码所占的字节数又不一样,所以需要根据编码来截取不同长度的字符串,且不能截取到半个汉字出现乱码

🤯编码

各种编码由来

ASCII:美国信息交换标准码,标准ASCII码为7位,扩充ASCII码为8位,在处理时都按照1个字节处理,所以:

  • 标准ASCII码只能表示128个字符,扩充ASCII码能表示128个字符,非常有限

  • 1个字母占1个字节

ANSI:为了扩充ASCII码,显示其他非英语的语言字符而产生的新编码方式,不同国家有不同的编码,下面为中文的编码:

  • GB2312:简单可以理解为简体中文编码表示,采用94行94列的方阵,对每一行称为一个“区”,每一列称为一个“位”,所以字符在矩阵中就有了唯一的位置,且需要用2个字节表示,一个表示区,一个表示位,所以理论上GB2312最多能存储256*256个汉字。
  • GBK:扩展GB2312,支持古文生僻字的编码
  • Big5:繁体字的编码(台湾、香港、澳门用的居多)

Unicode:为了统一ANSI的多种编码方式的统一编码,但是效率不高

UTF-8:为了解决Unicode的效率问题,出现了UTF-8;

Base64:8Bit字节代码的编码方式之一,用于传输8Bit字节代码,适用于http传输

汉字到底怎么占位?

编码 一个汉字占位 一个英文占位
GB2312 2 1
GBK 2 1
Unicode 4 4
UTF-8 3/4 1

🤯汉字二进制转换成10进制值范围?

GB2312 和 GBK 的编码方式一致,具体为:

  • 对于 ASCII 字符,使用一个字节存储,并且该字节的最高位是 0,这和 ASCII 编码是一致的,所以说 GB2312 完全兼容 ASCII
  • 对于中国的字符,使用两个字节存储,并且规定每个字节的最高位都是 1

UTF-8存储方式:

  • UTF-8区分每个字符的开始是根据字符的高位字节来区分的,比如用一个字节表示的字符,第一个字节高位以“0”开头;用两个字节表示的字符,第一个字节的高位为以“110”开头,后面一个字节以“10开头”;用三个字节表示的字符,第一个字节以“1110”开头,后面俩字节以“10”开头;用四个字节表示的字符,第一个字节以“11110”开头,后面的三个字节以“10”开头

综上所述:无论GBK、GB2312、UTF-8二进制表示的高位都是1,所以每个字节转换成有符号的十进制都小于0,我们就有了思路,当遇到汉字时,转成的byte值是小于0的

🤯如何实现按字节截取呢?

  1. 先定义编码枚举,主要管理不同编码下,一个汉字所占用的字节数量

    /** * 编码 enum */
    @AllArgsConstructor
    @Getter
    public enum ChartSet {
        GBK("GBK", 2),
        GB2312("GB2312", 2),
        UTF8("UTF-8", 3),
        UNICODE("Unicode", 4),
        ;
        private String value;
        /* 中文所占字节 */
        private int bytes;
    }
    

    代码100分

按照编码方式会有不同的存储字节数量(UTF-8中大多数中文字都是占3位,所以这里按照3位处理)

  1. 截取方法

    代码100分/** * 不同编码中,按字节截取字符串 * * @param str 待截取字符串 * @param chartSet 截取的字节长度 * @param len * @return * @throws UnsupportedEncodingException */
    public static String subStringByByte(String str, ChartSet chartSet, int len) throws UnsupportedEncodingException {
        if (StringUtils.isBlank(str)) {
            return str;
        }
        byte[] bytes = str.getBytes(chartSet.getValue());
        int num = 0;
        for (int i = len - 1; i >= 0; i--) {
            if (bytes[i] < 0) {
                num++;
            } else {
                break;
            }
        }
        int sub = num % chartSet.bytes;
        return sub == 0
                ? new String(bytes, 0, len, StandardCharsets.UTF_8)
                : new String(bytes, 0, len - sub, StandardCharsets.UTF_8);
    }
    

主要思想:

  1. 按照编码把字符串转换成byte[]
  2. 根据截取字节长度,从数组截取处向前循环直到遇到正数后break,计算负数的个数,此负数个数的作用是,用来判断截取处,最后一个汉字是否完全被截取到:
  • 如果完全截取到,则截取byte[]的长度为(0, len)
  • 如果截取了一部分,则应该截取byte[]的长度为(0, len – (负数的个数 % 一个汉字占用字节))

参考:

  • GB2312编码和GBK编码,将中文存储到计算机
  • # utf-8中一个汉字是3个字节,你知道吗?

😈如果有错误请不吝赐教吼~~

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/11337.html

(0)
上一篇 2023-03-02
下一篇 2023-03-02

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注