Soul Api网关技术选型

前言 最近公司中台api有用到网关的需求,特整理了下网关的基本功能以及Soul网关系统的功能架构设计, 记录于此。 最终选择了Soul网关系统还是因为其架构设计清晰,基于spring boot而且提供了Admin管理后台,而且底层使用spring webflux响应式编程,基于zk的本地缓存设计支持分布式多实例部署,性能问题就不无需多虑了 网关有哪些功能需求? 网关需求 限流 为了保护后端服务的稳定,不...

阅读全文 »

Klcok分布式锁新增锁超时处理策略支持

Klcok分布式锁新增锁超时处理策略支持

klock简介 Klock是博主基于redis开发的分布式锁spring-boot starter组件,使得项目拥有分布式锁能力变得异常简单,支持spring boot,和spirng mvc等spring相关项目。基于注解驱动,支持spring Spel,方便的定义锁的key的粒度。项目已开源,这次主要新增了锁等待超时和锁释放超时的处理策略。 项目地址: https://gitee.com/kekingcn/spring-boot-klock-starter 本次更新内容 本次更新主要新增了【锁等待超时】和【...

阅读全文 »

改造Skywalking支持阿里云等带Http Basic的Elasticsearch服务

改造Skywalking支持阿里云等带Http Basic的Elasticsearch服务

前言 最近公司skywalking服务经常出现大盘空白的情况,经查明,是由于ES的写入瓶颈造成线程阻塞,数据没有落地到ES造成。后综合运维成本等方面考虑,准备使用阿里云提供的Elasticsearch服务,阿里云的ES无论内外网都加上了Http Basic认证,但是skywalking6.x提供的RestHighLevelClient客户端并没有适配带Http Basic基础认证的ES服务,所以需要稍加改动下skywalking源码。 skywalking项目结构 项目从github...

阅读全文 »

kkfileView使用问题年终答疑篇

kkfileView使用问题年终答疑篇

kkfileview...

阅读全文 »

Windows环境下Flink消费Kafka实现热词统计

Windows环境下Flink消费Kafka实现热词统计

前言碎语 昨天博主写了 《windows环境下flink入门demo实例》 实现了官方提供的最简单的单词计数功能,今天升级下,将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分,一是kafka环境的搭建,二是如何使用官方提供的flink-connector-kafka_2.12来消费kafka消息,其他的逻辑部分和上文类似。 进入正题 本篇博文涉及到的软件工具以及下载地...

阅读全文 »

windows环境下flink入门实例

windows环境下flink入门实例

前言碎语 为了应对凯京科技集团的飞速发展,凯京科技研发中心2019定下了数据中台的目标。数据处理我们选择了批处理+流处理结合的大数据应用软件新秀Apache Flink,前几天阿里又发出好信息称将开源Blink(Flink早期分支迁出迭代优化),所以今天来近距离认识下Flink。博主之前没接触过大数据相关的东西,所以不细究其设计概念了。目标就是跑一个最简单的流处理的例子,后面慢慢深...

阅读全文 »

分布式事务fescar的设计

分布式事务fescar的设计

前言碎语 继昨天fescar发布后,官方又给出了Fescar的详细设计文档。博主看了总结下来,fescar区别于传统xa分布式事务就在于将资源管理从数据库层面支持转移到应用层面来管理了。核心的原理还是依赖本地事务的管理,fescar接管了本地事务资源管理,在本地事务提交前通过对sql的解析,生成回滚的sql保存事务日志。当全局事务管理器通知需要回滚时,在通过全局事务xid查询到回滚日志...

阅读全文 »