本站资源是站长搜集整理而成，版权均归原作者所有,若无意中侵犯到您的版权利益，请来信联系我们删除！ 本站所有资源只用于研究学习，不得作为商业用途、非法谋取暴利，否则，一切后果均由自己承担！

首页 > 文档

Hot Key和Big Key引发的问题怎么应对？

  • slbcun
  • 2024-05-30
  • 1327 ℃

问题描述

第六个经典问题是 Hot key。对于大多数互联网系统，数据是分冷热的。比如最近的新闻、新发表的微博被访问的频率最高，而比较久远的之前的新闻、微博被访问的频率就会小很多。而在突发事件发生时，大量用户同时去访问这个突发热点信息，访问这个 Hot key，这个突发热点信息所在的缓存节点就很容易出现过载和卡顿现象，甚至会被 Crash。

原因分析

Hot key 引发缓存系统异常，主要是因为突发热门事件发生时，超大量的请求访问热点事件对应的 key，比如微博中数十万、数百万的用户同时去吃一个新瓜。数十万的访问请求同一个 key，流量集中打在一个缓存节点机器，这个缓存机器很容易被打到物理网卡、带宽、CPU 的极限，从而导致缓存访问变慢、卡顿。

业务场景

引发 Hot key 的业务场景很多，比如明星结婚、离婚、出轨这种特殊突发事件，比如奥运、春节这些重大活动或节日，还比如秒杀、双12、618 等线上促销活动，都很容易出现 Hot key 的情况。

解决方案

要解决这种极热 key 的问题，首先要找出这些 Hot key 来。对于重要节假日、线上促销活动、集中推送这些提前已知的事情，可以提前评估出可能的热 key 来。而对于突发事件，无法提前评估，可以通过 Spark，对应流任务进行实时分析，及时发现新发布的热点 key。而对于之前已发出的事情，逐步发酵成为热 key 的，则可以通过 Hadoop 对批处理任务离线计算，找出最近历史数据中的高频热 key。


TAG: 程序开发 在线学习

上一篇：CPU 过载保护设计：如何在服务层面确保系统稳定？

下一篇：JS 的数据类型你了解多少？

相关内容

文章评论 （0）

    • 这篇文章还没有收到评论，赶紧来抢沙发吧~


系统推荐

阅读排行

热门标签

Top