百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

分布式架构设计实践:全局ID生成方案

lipiwang 2024-11-12 13:17 11 浏览 0 评论

什么是全局ID

在分布式系统高并发的情况下,避免在不同的机器上出现重复ID,从而设置一种能够进行唯一标识的ID。

此唯一的全局ID需具备如下特点

  • 全局唯一性。最基本的要求,必须是唯一不重复的。
  • 趋势递增。尽量使用有序的ID。
  • 安全性。设置ID的规则越复杂越好,不让恶意用户轻易破解识别。

全局ID的实现方案

没有完美的实现方案,只有适合自己所处具体业务的方案。

1、利用UUID生成

优点:本地代码生成,实现简单,性能非常好。

缺点:

  • 生成后的字符串太长,查询效率非常低,并且占用存储空间大;
  • 无序的,不能保证趋势递增。

2、数据库自动递增生成

优点:

  • 能够保证唯一性;
  • 能够保证趋势递增。

缺点:

  • 可用性难以保证,数据库的常见架构是一主多从,读写分离,存在单点故障风险,如果主库挂了,就会出现获取重复ID的情况。

3、Redis生成ID

当数据库生成ID的方案不能满足系统要求时,可以尝试使用Redis来生成ID。因为Redis是单线程的,所以它天生可以保证数据的原子性,生成的ID保障了唯一性。

实现生成全局ID,使用Redis的原子操作INCR和INCRBY,来设置初始值和自增步长,轻松做到趋势增长。

优点:

  • 性能优于数据库;
  • 使用Redis集群可以防止单点故障的风险。

缺点:

  • 如果系统架构没有Redis组件,还需引入新组件,增加了系统的复杂度;
  • 需要编码和配置的工作量比较大。

5、snowflake(雪花算法)方案生成ID

snowflake是Twitter开源的分布式ID生成算法,结果是一个long类型整数。

snowflake的结构如下,一共64位,每部分用“-”分隔,划分为4部分:

  • 第一部分:在Java中long的最高位是符号位,整数是0,负数是1。一般生成的ID为整数,所以为0;
  • 第二部分:41位的时间戳部分,精确到毫秒级,存储的是由当前时间戳减去设置的开始时间戳(由我们程序来指定的startTime字段),得到的时间戳。得到的41位的长度的时间戳可以使用69年;
  • 第三部分:10位的节点部分,前5位为机器标识,后5位为数据中心标识,可以部署1024个节点;
  • 第四部分:12位的序列号部分,序列号即一系列的自增id,可以支持同一节点同一毫秒生成多个ID序号,12位的计数序列号支持每个节点每毫秒产生4096个ID序号。

用Java实现snowflake(雪花算法)方案生成ID的工具类

/**
 * 工具类:snowflake(雪花算法)方案生成ID
 * @author 杨工
 * @date 2020/7/4 20:35
 */
public class SnowflakeIdWorker {
    /**
     * 开始时间截
     */
    private final long startTime = 1480166465631L;
    /**
     * 机器标识所占的位数,5位
     */
    private final long machineBits = 5L;
    /**
     * 数据中心标识所占的位数,5位
     */
    private final long dataCenterBits = 5L;
    /**
     * 序列号占的位数,12位
     */
    private final long sequenceBits = 12L;
    /**
     * 机器标识部分支持的最大值,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
     */
    private final long maxMachineNum = -1L ^ (-1L << machineBits);
    /**
     * 数据中心标识部分支持的最大值,结果是31
     */
    private final long maxDataCenterNum = -1L ^ (-1L << dataCenterBits);
    /**
     * 序列号部分支持的最大值
     */
    private final long maxSequenceNum = -1L ^ (-1L << sequenceBits);
    /**
     * 数据标识部分向左移17位(12+5)
     */
    private final long dataCenterLeft = sequenceBits + machineBits;
    /**
     * 时间截部分向左移22位(17+5)
     */
    private final long timestampLeft = dataCenterLeft + dataCenterBits;
    /**
     * 机器部分向左移动12位
     */
    private final long machineLeft = sequenceBits;
    /**
     * 机器ID(0~31)
     */
    private long machineId;
    /**
     * 数据中心ID(0~31)
     */
    private long dataCenterId;
    /**
     * 毫秒内序列(0~4095)
     */
    private long sequence = 0L;
    /**
     * 上次生成ID的时间截
     */
    private long lastTimestamp = -1L;

    /**
     * 构造函数
     * @param machineId 机器ID (0~31)
     * @param dataCenterId 数据中心ID (0~31)
     */
    public SnowflakeIdWorker(long machineId, long dataCenterId) {
        if (machineId > maxMachineNum || machineId < 0) {
            throw new IllegalArgumentException(String.format("machineId can't be greater than %d or less than 0", maxMachineNum));
        }
        if (dataCenterId > maxDataCenterNum || dataCenterId < 0) {
            throw new IllegalArgumentException(String.format("dataCenterId can't be greater than %d or less than 0", maxDataCenterNum));
        }
        this.machineId = machineId;
        this.dataCenterId = dataCenterId;
    }

    /**
     * 获得下一个ID (该方法是线程安全的)
     * @return SnowflakeId
     */
    public synchronized long nextId() {
        long timestamp = timeGen();
        //如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常
        if (timestamp < lastTimestamp) {
            throw new RuntimeException(
                    String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
        }
        //如果是同一时间生成的,则进行毫秒内序列
        if (lastTimestamp == timestamp) {
            sequence = (sequence + 1) & maxSequenceNum;
            //毫秒内序列溢出
            if (sequence == 0) {
                //阻塞到下一个毫秒,获得新的时间戳
                timestamp = tilNextMillis(lastTimestamp);
            }
        }
        //时间戳改变,毫秒内序列重置
        else {
            sequence = 0L;
        }
        //上次生成ID的时间截
        lastTimestamp = timestamp;
        //移位并通过或运算拼到一起组成64位的ID
        return ((timestamp - startTime) << timestampLeft)
                | (dataCenterId << dataCenterLeft)
                | (machineId << machineLeft)
                | sequence;
    }

    /**
     * 阻塞到下一个毫秒,直到获得新的时间戳
     * @param lastTimestamp 上次生成ID的时间截
     * @return 当前时间戳
     */
    protected long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    /**
     * 返回以毫秒为单位的当前时间
     * @return 当前时间(毫秒)
     */
    protected long timeGen() {
        return System.currentTimeMillis();
    }
}

测试方法:

public static void main(String[] args) {
    //机器ID和数据中心ID必须唯一,这样就能保证每个节点生成的全局ID是唯一的
    //比如数据中心第2个机房的第10台机器
    SnowflakeIdWorker idWorker = new SnowflakeIdWorker(10, 2);
    for (int i = 0; i < 10; i++) {
        //输出18位long类型的数字
        System.out.println(idWorker.nextId());
    }
}

打印的全局ID如下,这些ID是唯一的,并且是趋势递增的:

476906745114173440
476906745114173441
476906745114173442
476906745114173443
476906745118367744
476906745118367745
476906745118367746
476906745118367747
476906745118367748
476906745118367749

这种方式也是实际开发最常用的分布式全局ID生成方案。请大家参考。


作者:杨工,北京互联网公司在职Java开发,专注分享写作干货。欢迎关注我,期待你的点赞评论。

相关推荐

前端入门——css 网格轨道详细介绍

上篇前端入门——cssGrid网格基础知识整体大概介绍了cssgrid的基本概念及使用方法,本文将介绍创建网格容器时会发生什么?以及在网格容器上使用行、列属性如何定位元素。在本文中,将介绍:...

Islands Architecture(孤岛架构)在携程新版首页的实践

一、项目背景2022,携程PC版首页终于迎来了首次改版,完成了用户体验与技术栈的全面升级。作为与用户连接的重要入口,旧版PC首页已经陪伴携程走过了22年,承担着重要使命的同时,也遇到了很多问题:维护/...

HTML中script标签中的那些属性

HTML中的<script>标签详解在HTML中,<script>标签用于包含或引用JavaScript代码,是前端开发中不可或缺的一部分。通过合理使用<scrip...

CSS 中各种居中你真的玩明白了么

页面布局中最常见的需求就是元素或者文字居中了,但是根据场景的不同,居中也有简单到复杂各种不同的实现方式,本篇就带大家一起了解下,各种场景下,该如何使用CSS实现居中前言页面布局中最常见的需求就是元...

CSS样式更改——列表、表格和轮廓

上篇文章主要介绍了CSS样式更改篇中的字体设置Font&边框Border设置,这篇文章分享列表、表格和轮廓,一起来看看吧。1.列表List1).列表的类型<ulstyle='list-...

一文吃透 CSS Flex 布局

原文链接:一文吃透CSSFlex布局教学游戏这里有两个小游戏,可用来练习flex布局。塔防游戏送小青蛙回家Flexbox概述Flexbox布局也叫Flex布局,弹性盒子布局。它决定了...

css实现多行文本的展开收起

背景在我们写需求时可能会遇到类似于这样的多行文本展开与收起的场景:那么,如何通过纯css实现这样的效果呢?实现的难点(1)位于多行文本右下角的展开收起按钮。(2)展开和收起两种状态的切换。(3)文本...

css 垂直居中的几种实现方式

前言设计是带有主观色彩的,同样网页设计中的css一样让人摸不头脑。网上列举的实现方式一大把,或许在这里你都看到过,但既然来到这里我希望这篇能让你看有所收获,毕竟这也是前端面试的基础。实现方式备注:...

WordPress固定链接设置

WordPress设置里的最后一项就是固定链接设置,固定链接设置是决定WordPress文章及静态页面URL的重要步骤,从站点的SEO角度来讲也是。固定链接设置决定网站URL,当页面数少的时候,可以一...

面试发愁!吃透 20 道 CSS 核心题,大厂 Offer 轻松拿

前端小伙伴们,是不是一想到面试里的CSS布局题就发愁?写代码时布局总是对不齐,面试官追问兼容性就卡壳,想跳槽却总被“多列等高”“响应式布局”这些问题难住——别担心!从今天起,咱们每天拆解一...

3种CSS清除浮动的方法

今天这篇文章给大家介绍3种CSS清除浮动的方法。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。首先,这里就不讲为什么我们要清楚浮动,反正不清除浮动事多多。下面我就讲3种常用清除浮动的...

2025 年 CSS 终于要支持强大的自定义函数了?

大家好,很高兴又见面了,我是"高级前端进阶",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发!1.什么是CSS自定义属性CSS自...

css3属性(transform)的一个css3动画小应用

闲言碎语不多讲,咱们说说css3的transform属性:先上效果:效果说明:当鼠标移到a标签的时候,从右上角滑出二维码。实现方法:HTML代码如下:需要说明的一点是,a链接的跳转需要用javasc...

CSS基础知识(七)CSS背景

一、CSS背景属性1.背景颜色(background-color)属性值:transparent(透明的)或color(颜色)2.背景图片(background-image)属性值:none(没有)...

CSS 水平居中方式二

<divid="parent"><!--定义子级元素--><divid="child">居中布局</div>...

取消回复欢迎 发表评论: