Java缓存技术 Java本地缓存与分布式缓存实现-java教程-PHP中文网

java缓存技术通过将频繁访问的慢速数据存储在高速访问的介质中提升效率，分为本地缓存和分布式缓存两类。1. 本地缓存将数据存储在jvm内存中，速度快但共享性差，常用工具如caffeine，支持过期策略、淘汰算法和异步加载；2. 分布式缓存以独立服务形式存在，支持多服务共享，典型代表redis，具备高可用和扩展性，常通过spring data redis集成。选型时需权衡数据共享需求、一致性要求、性能、数据量和运维复杂度，可结合使用形成多级缓存。缓存策略需解决失效与一致性问题，包括ttl、tti、主动失效和容量淘汰，同时应对缓存穿透、击穿和雪崩等挑战。性能优化包括合理序列化、批量操作、数据模型优化及淘汰策略选择。监控方面需关注命中率、未命中率、淘汰率、内存使用、网络延迟等指标，通过jmx、redis info、prometheus等工具实现，确保缓存系统稳定高效运行。

Java缓存技术 Java本地缓存与分布式缓存实现

Java缓存技术，说白了，就是把那些经常要用但又比较慢才能拿到的数据，先存到一个访问速度快的地方。这样一来，每次要用的时候，就不用再去慢吞吞地数据库或者远程服务那里取了，直接从这个“快车道”里拿，效率一下子就上去了。它主要分为两大类：本地缓存，数据就存在你应用自己的内存里，速度快到飞起，但容量和共享性受限；另一种是分布式缓存，它是一个独立的服务，多个应用都能共享数据，虽然会多一次网络传输，但胜在数据一致性和高可用性。

解决方案

要实现Java的缓存，无论是本地还是分布式，核心思路都是一致的：拦截数据请求，先查缓存，没有再查数据源，然后把数据放回缓存。

本地缓存实现

立即学习“Java免费学习笔记（深入）”；

本地缓存通常就是把数据放在JVM的堆内存里。最简单的实现可以用ConcurrentHashMap，但更专业的做法是使用成熟的缓存库，它们提供了更完善的过期策略、淘汰算法（如LRU、LFU）、容量限制和并发控制。

目前我个人比较推荐的是Caffeine。它基于Google Guava Cache的经验，性能极佳，功能丰富，而且是Spring Cache默认的实现之一。

一个Caffeine的简单使用例子，你可能写成这样：

LoadingCache<String, User> userCache = Caffeine.newBuilder()
    .maximumSize(10_000) // 最大缓存条目数
    .expireAfterWrite(10, TimeUnit.MINUTES) // 写入后10分钟过期
    .build(key -> fetchUserFromDatabase(key)); // 缓存未命中时如何加载数据

// 使用缓存
User user = userCache.get("userId_123");

登录后复制

这里的fetchUserFromDatabase就是你的实际数据加载逻辑。Caffeine的强大在于它内置了各种精妙的淘汰算法和异步加载机制，能让你在不牺牲太多性能的前提下，优雅地管理本地内存。

分布式缓存实现

分布式缓存则完全是另一回事，它是一个独立的服务器集群，通过网络提供缓存服务。它的优势在于多服务共享数据，解决了本地缓存数据不一致的问题，并且能承载更大的数据量。

当前最流行的分布式缓存无疑是Redis。它支持多种数据结构（字符串、哈希、列表、集合、有序集合），并且提供了持久化、主从复制、哨兵模式和集群等高级特性，确保了高可用和可伸缩性。

在Java应用中集成Redis，通常会用到Spring Data Redis，它提供了一套抽象，让你能方便地操作Redis。底层客户端可以选择Jedis或Lettuce。

一个使用Spring Data Redis的例子：

@Autowired
private RedisTemplate<String, Object> redisTemplate;

public void cacheUserData(String userId, User user) {
    redisTemplate.opsForValue().set("user:" + userId, user, 1, TimeUnit.HOURS); // 缓存1小时
}

public User getUserFromCache(String userId) {
    return (User) redisTemplate.opsForValue().get("user:" + userId);
}

登录后复制

这里需要注意的是，User对象需要进行序列化。常用的有JDK默认序列化、JSON序列化（如Jackson）、或者更高效的二进制序列化（如Protobuf、Kryo）。通常我会选择JSON，因为它可读性好，跨语言也方便。

存了个图

视频图片解析/字幕/剪辑，视频高清保存/图片源图提取

查看详情

本地缓存与分布式缓存，我该如何抉择？

这确实是个让人头疼的问题，没有银弹，完全取决于你的具体场景和需求。我个人在做技术选型时，会从几个核心维度去权衡：

数据共享需求： 如果你的应用是单体架构，或者即使是微服务，但某个数据只在单个服务实例内部使用，且对数据一致性要求不是那么极致，那本地缓存简直是性能神器。数据就在内存里，连网络IO都省了。但如果数据需要被多个服务实例甚至多个服务类型共享和同步，那么分布式缓存就是唯一的选择。比如用户登录状态、商品库存这类需要全局一致的数据。
数据量与内存限制： 本地缓存受限于单台服务器的内存大小。如果你要缓存的数据量非常庞大，或者数据更新频率很高，导致内存频繁抖动，那本地缓存可能就不太合适了。分布式缓存则可以横向扩展，通过增加节点来提升存储容量。
一致性要求： 本地缓存最大的痛点就是多实例间的数据一致性问题。当数据源更新后，如何通知所有本地缓存失效是个难题，通常需要复杂的广播机制。分布式缓存天生就是为了解决多实例数据共享和一致性而生，虽然也有最终一致性的问题，但解决方案成熟得多。
性能极限追求： 如果你的业务对响应时间有着毫秒级的苛刻要求，并且数据可以容忍短暂的不一致（比如一些非核心的统计数据），那么本地缓存的性能是无与伦比的。分布式缓存虽然快，但总归有网络延迟。
运维复杂度： 本地缓存基本不需要额外运维，就是你应用的一部分。分布式缓存则需要独立部署、监控、扩容、高可用配置，复杂度显然更高。

我的经验是，很多时候，两者并不是非此即彼的关系，而是可以结合使用，形成“多级缓存”策略。例如，将热点数据先放在本地缓存，如果本地没有，再去分布式缓存查，如果分布式也没有，最后才去数据库。这样既保证了极致的性能，又兼顾了数据一致性。

缓存失效与一致性：那些你不得不面对的挑战

缓存不是万能药，它引入了新的复杂性，尤其是数据一致性问题。这也是我工作中遇到最多的坑。

缓存失效策略

定时过期（TTL - Time To Live）： 最简单粗暴的方式，设置一个固定的过期时间。比如“这个用户数据，缓存1小时”。时间一到，不管有没有人用，直接过期。优点是简单，缺点是可能缓存了很久没人用的数据，或者刚过期就又被访问了。
惰性过期（TTI - Time To Idle）： 在TTL的基础上，如果缓存项在某个时间段内没有被访问，才过期。比如“这个用户数据，如果10分钟没被访问，就过期”。这种方式更智能，能保留热点数据。
主动失效： 当源数据发生变化时，主动通知缓存系统将对应的缓存项删除。这通常是保证强一致性的首选。比如，用户修改了昵称，我们立即调用缓存API删除该用户的缓存数据。
容量淘汰： 当缓存达到最大容量时，根据一定的算法（如LRU、LFU、FIFO）淘汰掉一些缓存项。

数据一致性挑战

最常见也是最让人头疼的就是缓存和数据库之间的数据不一致。

读写分离下的更新问题： 假设你先更新了数据库，然后删除了缓存。如果在删除缓存之前，有另一个请求读取了旧的缓存数据，并写入了缓存，那么你的缓存就又脏了。一种常见的策略是“先更新数据库，再删除缓存”，这种情况下，如果删除缓存失败，可能会导致短时间不一致。更严谨的做法是“双删”，即更新数据库前删一次，更新数据库后延时再删一次，但这又引入了新的复杂性。
缓存穿透（Cache Penetration）： 查询一个根本不存在的数据，导致每次请求都穿透缓存，直接打到数据库上，对数据库造成巨大压力。比如恶意请求查询一个不存在的userId。解决方案通常是：
1. 缓存空值： 如果数据库返回空，也把这个空结果缓存起来，并设置一个较短的过期时间。
2. 布隆过滤器（Bloom Filter）： 在缓存层之前加一个布隆过滤器，快速判断某个数据是否存在。如果布隆过滤器说不存在，那就直接返回空，不再查询缓存和数据库。
缓存击穿（Cache Breakdown）： 一个热点数据突然失效，大量请求同时涌入数据库，导致数据库压力骤增甚至宕机。解决方案：
1. 互斥锁（Mutex Lock）： 当缓存失效时，只有一个线程去数据库加载数据，其他线程等待。比如Redis的SETNX命令。
2. 永不失效： 对特别热点的数据，设置永不过期，只通过主动更新或删除来维护。
缓存雪崩（Cache Avalanche）： 大量缓存数据在同一时间失效，导致所有请求都打到数据库上。解决方案：
1. 随机过期时间： 给缓存的过期时间加上一个随机值，避免集中失效。
2. 多级缓存： 结合本地缓存和分布式缓存。
3. 服务降级/熔断： 在数据库压力过大时，牺牲一部分功能，保护核心服务。

处理这些问题，没有一劳永逸的方法，很多时候需要结合业务场景和对数据一致性的容忍度来选择最合适的策略。

不仅仅是存取：缓存的性能优化与监控

缓存的价值远不止于简单的存取，如何让它发挥最大效能，并确保其稳定运行，是每个开发者和运维人员都需要关注的。

性能优化

选择合适的序列化方式： 对于分布式缓存，数据在网络传输前需要序列化。Java默认的序列化方式效率不高，体积也大。我通常会推荐使用JSON（如Jackson或Fastjson），它可读性好，跨语言兼容性强。如果对性能有极致要求，且数据结构固定，可以考虑二进制序列化，如Protobuf或Kryo，它们序列化后的数据体积更小，速度更快。
批量操作： 无论是本地缓存还是分布式缓存，批量存取操作通常比单个操作效率更高。例如，Redis支持MGET、MSET等命令，可以将多个键值对一次性发送到服务器，减少网络往返时间（RTT）。
数据模型优化： 缓存的数据结构应该尽量扁平化，避免存储过于复杂的对象图。如果一个对象包含大量嵌套对象，每次存取都需要进行深度序列化和反序列化，会消耗大量CPU和网络带宽。考虑将大对象拆分成多个小对象，按需加载。
缓存穿透和击穿的防御： 这不仅仅是稳定性问题，更是性能优化。有效的防御机制能显著降低对后端数据源的压力。
合理设置淘汰策略和容量： 过小的容量会导致缓存命中率低，形同虚设；过大的容量则可能浪费内存或导致GC压力（本地缓存）。淘汰策略的选择也要根据数据的访问模式来定，LRU通常是很好的通用选择。

缓存监控

一个健康的缓存系统离不开有效的监控。我们需要关注以下几个关键指标：

缓存命中率（Hit Rate）： 这是最重要的指标，直接反映了缓存的有效性。命中率 = 命中次数 / (命中次数 + 未命中次数)。如果命中率过低，说明缓存策略有问题，或者缓存的数据不适合缓存。
缓存未命中率（Miss Rate）： 与命中率互补，未命中率高意味着大量请求穿透到后端。
淘汰率（Eviction Rate）： 本地缓存尤其需要关注。高淘汰率可能意味着缓存容量不足，或者过期时间设置不合理，导致频繁地从缓存中移除数据。
缓存大小/内存使用： 确保缓存没有超出预期内存限制，特别是对于本地缓存，要警惕内存溢出（OOM）。对于分布式缓存，则要监控其集群的整体内存使用情况。
网络延迟/响应时间： 对于分布式缓存，网络延迟是影响性能的关键因素。监控缓存服务器的响应时间，确保其在可接受范围内。
CPU使用率： 缓存服务器的CPU使用率过高可能表明存在热点键、复杂的脚本执行或序列化/反序列化开销大。

工具选择

本地缓存： Caffeine提供了JMX MBean，可以通过JConsole或VisualVM进行监控。
分布式缓存： Redis自带INFO命令，可以查看大量运行时信息。专业的监控工具如Prometheus + Grafana可以集成Redis Exporter，提供丰富的图表和告警功能。很多云服务商也提供了托管Redis的监控面板。

通过持续的监控和分析，我们可以及时发现缓存系统的问题，并进行有针对性的优化，确保缓存真正成为提升系统性能的利器，而不是一个潜在的风险点。毕竟，任何技术都是一把双刃剑，用好了事半功倍，用不好则可能成为系统的瓶颈。

以上就是Java缓存技术 Java本地缓存与分布式缓存实现的详细内容，更多请关注php中文网其它相关文章！