热讯:解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
(相关资料图)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录
判断该Key在Redis的记录是否符合条件
符合条件的则去重,不符合条件的则重新塞进Redis更新记录
为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
相关文章
热讯:解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内
世界热消息:走出来真好三百字左右的作文_走出来真好三百字左右的作文 例文
欢迎观看本篇文章,小升来为大家解答以上问题。走出来真好三百字左右的作文,走出来真好三百字左右的作文例文很多人还不知道,
【独家焦点】4月4日基金净值:融通先进制造混合A最新净值0.9973,跌1.48%
4月4日,融通先进制造混合A最新单位净值为0 9973元,累计净值为1 0993元,较前一交易日下跌1 48%。历史数据显示该基金近1个月下跌2 02%,近3个
焦点热门:圈11到圈20怎么打excel_圈11到圈20
1、1 先输入数字。2、在菜单里面有“格式”-----“中文版式”----“带圈字符”就成了2 一、可用插入图片的方式
观热点:一季度居民消费和投资意愿上升,未来愿意在这些地方花钱
华声在线4月4日讯(全媒体记者潘显璇)4月3日,中国人民银行发布了2023年第一季度城镇储户问卷调查报告,居民收入信心
天天播报:杭州2023年cfa考试时间是什么时候?
2023年2月:cfa一级:2月14日-2月20日;cfa三级:2月21日-2月23日;2023年5月:cfa一级:5月16日-5月22日;cfa二级:5月23日-5月27日;2023年8
前沿热点:江西省赣州市2023-04-04 18:30发布雷电黄色预警
一、江西省赣州市天气预报1、全南县气象台2023年04月04日18时28分继续发布雷电黄色预警信号。2、预计未来6小时内
微资讯!高新区宋营镇荣傲家园社区开展清明节风筝彩绘主题活动
石家庄高新区宋营镇荣傲家园社区党支部联合荣园小区、傲湖小区物业于4月2日举办“民族文化齐传承,手绘纸鸢寄清明”风筝彩绘主题活动。
焦点速递!南方电网公司植物油变压器系列成果通过鉴定
南方电网公司植物油变压器系列成果通过鉴定3月21日,中国机械工业联合会组织召开了由广东电网公司广州供电局等单位完成的“电力变压器高品...
世界报道:新能源车、医美、通信服务、未成年网游充值……一季度江苏消费投诉热点有这些
4月4日,江苏省消保委发布《2023年第一季度江苏省消保委消费投诉与维权舆情分析》。一季度,江苏全省消保委系统受理投诉65645件,接待消费者来
焦点日报:金钟云李赫宰(金钟云)
1、艺声在队里是少数跟所有队员都合得来的人,你可以去看看队员参加的综艺节目,神童银赫利特圭贤都说过艺声对成员都很好,特别是神童,不止一
环球看点!监狱学院园动漫在线观看完整版园动漫全集
1、监狱学院每年都有狱警召考,参加每年公开召考就可以。2、监狱学园动漫在线观看完整版监狱学园之,也叫绅士学园3、监狱学园动漫全集看到这个
世界滚动:我国首个农业农村低碳发展报告发布
在近日举行的中国农业农村低碳发展论坛暨第十六届农业环境峰会上,中国农业科学院发布了《2023中国农业农村低碳发展报告》(以下简称“报告...
每日讯息!离婚债务归男方女方还需要承担吗?离婚了还需要承担对方的债务吗?
一、离婚了还需要承担对方的债务吗离婚了没有特别约定的是不需要承担对方的债务的。法律规定,只有属于夫妻共同债务的部分才需要夫妻共同偿
当前快播:三星 Galaxy Z Fold 5 可折叠手机信息曝光:不内嵌 S Pen 插槽
IT之家4月4日消息,根据国外科技媒体SamMyFans报道,GalaxyZFold5机身重量为250克,与ZFold4相比减少了13克。IT之家从报道中获悉,三星内部…
天天观速讯丨综述摘要怎么写论文_综述摘要怎么写
1、摘要,一定要用自己的话写,也就是简单的写上自己论文的内容、目的、意义,比综述要短,一般有个100-300字就可以了,
热消息:光遇4月4日每日任务怎么做
光遇4月4日每日任务怎么做?光遇今天的季节蜡烛在雨林地图,额外大蜡烛在暮土地图,每日任务要求玩家向一位朋友招手,在雨林重温先祖的美好回忆
世界百事通!北向资金昨日净买入5.79亿元,重点增持证券行业,东方财富买入超8亿元(名单)
昨日A股三大指数集体收涨,沪指涨0 72%,深成指涨1 39%,创业板指涨1 7%。沪深两市今日成交额12530亿,较上个交易日放量2997亿,创年内新高。南财
环球热点!索尼为PS5版PlayStation商店添加辅助功能标签
索尼互动娱乐SIE日前宣布PlayStation商店将推出一项新功能——辅助标签(AccessibilityTags)。这个新功能已在PlayStation官方博客中进行
天天观焦点:4月3日基金净值:交银多策略回报灵活配置混合A最新净值1.47,涨0.14%
4月3日,交银多策略回报灵活配置混合A最新单位净值为1 47元,累计净值为1 602元,较前一交易日上涨0 14%。历史数据显示该基金近1个月下跌0 27%
【世界聚看点】外媒:俄副外长称,俄将加强西北部军事力量以回应芬兰加入北约
【环球网报道记者李诗睿】路透社当地时间4月3日援引俄新社消息称,俄罗斯外交部副部长格鲁什科表示,俄罗斯将加强其西部和西北部地区的军事力
当前快看:小学生洗手“比赛” 迎世界卫生日
4月3日,湖北省十堰市郧阳区柳陂镇中心小学举行洗手“比赛”活动,该校通过洗手“比赛”、上卫生知识教育课等方式,教育小学生从小养成良好...
【当前热闻】随着美联储和欧洲央行取消前瞻指引,市场将重新聚焦经济数据 ;
随着美联储和欧洲央行取消前瞻指引,市场将重新聚焦经济数据;国际投资公司Muzinich?&Co称,进入4月和第二季度,资
当前热文:6岁自闭症女童小区玩耍“失踪” 民警依托“全民安防平台”15分钟寻回
前天下午1时40分许,浦东公安分局康桥派出所接到辖区俞女士的报警求助,称其患有自闭症的6岁女儿在梓康路小区内玩耍后找不到了。
世界快消息!集美家居北苑商场春季家装节启幕
一年之计在于春!春天是装饰装修的旺季,很多市民开始东奔西走,选择心仪的家居用品,忙活装修、装饰爱家。4月1日-9日,集美
全球动态:无纺布种类及主要用途
无纺布根据生产工艺的不同可以分为:1、水刺无纺布是将高压微细水流喷射到一层或多层纤维网上,使纤维相互缠结在一起,从而使纤网得以加固而具
世界通讯!“最美天路”来了!滇藏铁路云南段预计年内开通运营
记者4月1日从云南铁路部门了解到,滇藏铁路全线重点控制性工程哈巴雪山隧道建设进入冲刺阶段。按照计划,滇藏铁路丽江至香格里拉段将于今年内