大并发场景中，写入数据库操作经常遇到的一个问题是重复数据插入问题。假设接口服务接收到三个插入数据请求，实际三个请求要插入的数据是同一份数据(部分核心字段构造惟一条件)，这个时候常规做法很难保证数据不重复插入。

常规做法是，插入数据之前，查询数据库，判断数据是否存在，不存在则插入。

long time = System.currentTimeMillis() ;        for (int i = 0; i < 10000; i++) {            // 连续10次循环将生成相同用户名，以模拟重复插入情况            final String username = String.format("U%04d" ,i / 10 + 1);            if(!userService.exists(username)) {                userService.save(username ,"111111" ,new Date());            }        }        System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);

在上述示例代码中，插入数据库之前，先查询，如果是单线程情况下，程序是没问题的，不会重复插入，但如果是并发执行的场景下，判断数据是否存在与插入首先不是原子操作，再者集群环境下也无法依靠事务和Lock等方式来控制重复插入问题。

long time = System.currentTimeMillis() ;        ExecutorService exec = Executors.newFixedThreadPool(100) ;        for (int i = 0; i < 10000; i++) {            // 连续10次循环将生成相同用户名，以模拟重复插入情况            final String username = String.format("U%04d" ,i / 10 + 1);            exec.execute(new Runnable() {                @Override                public void run() {                    if(!userService.exists(username)) {                        userService.save(username ,"111111" ,new Date());                    }                }            });        }        exec.shutdown();        while (!exec.isTerminated()) ;        System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);

上述代码证明了这一点，在测试中，每10条插入操作，插入的用户名是相同的，也就是重复记录，在并发情况下，实际测试结果证明先查询再写入的方式是不可行的。

解决该问题的办法有很多，使用队列、分布式锁等都可以解决。队列方式虽然能解决重复写入问题，但部分场景下不适用，如程序要求写入后需要用到插入的数据，比如数据主键等，虽然可以通过主键生成器，插入之前生成主键，但由于可能是重复插入，生成的主键在插入操作判断出重复而丢弃插入请求时，主键将失效，由于是异步程序，接口并不到及时得到反馈，以致于使用了错误的主键参与后续业务，造成问题。所以这里使用分布式锁来解决重复插入问题，分布式锁常用的有zookeeper、redis，这里简单起见使用redis的SETNX命令来实现。

SETNX命令在成功写入数据时，返回1，未成功写入时，返回0，并且该操作是原子的，根据此特性可以实现基于该命令的分布式锁，关于该命令的分布式锁网上有很多资料，涉及到锁的获取和释放，这里没有这么复杂，采用了一种取巧的办法，目的仅用于控制重复数据插入。

@Test    public void test_multi_insert() {        long time = System.currentTimeMillis() ;        ExecutorService exec = Executors.newFixedThreadPool(100) ;        for (int i = 0; i < 10000; i++) {            // 连续10次循环将生成相同用户名，以模拟重复插入情况            final String username = String.format("U%04d" ,i / 10 + 1);            exec.execute(new Runnable() {                @Override                public void run() {                    if(!exists(username) && !userService.exists(username)) {                        userService.save(username ,"111111" ,new Date());                    }                }            });        }        exec.shutdown();        while (!exec.isTerminated()) ;        System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);    }    private boolean exists(String username) {        final String key = "lock:" + username ;        Jedis jedis = null ;        try {            jedis = jedisPool.getResource() ;            Long reply = jedis.setnx(key ,"1") ;            if (reply != null && reply.equals(1L)) {                // 由于只是为了解决瞬时并发写入重复问题，所以缓存生存时间定为30秒                jedis.expire(key ,30) ;                return false ;            }        } catch (Exception e) {            e.printStackTrace();        } finally {            if (jedis != null) {                jedis.close();            }        }        return true ;    }

这里采用了取巧的办法，并不需要关注锁的释放问题，所以这里的锁释放(设置过期时间)操作并不严谨，但对于本案例来说，即使锁不释放，也不会有太大问题(浪费点Redis存储空间)，因为相同数据一旦写入，后面再也不应该再次写入，所以即使本例锁不释放也不会造成什么问题。

代码地址：

仅以此记录测试过程，个人备忘，不严谨之处欢迎指出。