超大流量分布式系统架构解决方案 人人都是架构师2.0
本文共 989 字，大约阅读时间需要 3 分钟。
超大流量分布式系统架构解决方案 人人都是架构师2.0
ISBN: 978-7-121-38505-6
推荐指数: ★★★★★ 作者：高翔龙 阅读时间: 2021-05-09 页数: 223
适合架构师阅读的书籍之一，
实战性也是有的，原理性的讲解也有。 先从问题引入，然后带入解决方案，有理有据。
第一章 老生常谈，先从架构入手，从单机到集群再到微服务化。
微服务和服务化两个概念完全一样。
集群和分布式的区别
假设你厨艺高超，声名远播，周末盛情邀请了几个小伙伴来你家聚餐，你一个人负责买菜、切菜、炒菜、上菜，这便是单机架构；而某一天更多朋友来你家做客，你发现似乎力不从心，这时你需要几个人一起帮忙，提高效率，这就是集群架构；假设你家大业大，有上百位朋友都约你家里吃饭，你会需要更多的人来协作帮忙，并且相互之间要明确职责分工，A组负责买菜，B组负责洗菜，C组负责炒菜，D组负责上菜，这就是分布式+集群架构。第二章 全链路压测
压测数据进行打标：URL上打标，或者在HTTP的header中打标
然后进行拦截判断，打标数据进入测试逻辑。
第三章 流控方案
应对高并发、大流量的常规手段：
- 扩容
- 静态化
- 限流
- 缓存
- 队列
Nginx+Lua实现接入层限流 基于时间分片削峰 基于消息队列
第四章 读写优化方案
缓存技术
本地缓存会共享JVM有限内存资源。 off-heap（堆外内存）技术：内存数据库MapDB 高性能分布式缓存Redis 路由算法：Hash算法、Consistent Hash算法、分槽算法。 多级缓存方案：本地缓存+分布式缓存 RedisCluster模式一主多从读/写分离方案。 缓存穿透思考？ Lua脚本库存减扣方案。 基于AliSQL数据库提升并发写性能
第五章 分库分表
读写分离
垂直分库：将原本冗余在单库中的数据表拆分到不同业务库中。 水平分库：把同一个表的数据按一定规则拆到不同的数据库中，每个库可以放在不同的服务器上。 垂直分表：大字段分出来单独成表。 水平分表：MySQL单表超过500万行读操作会成为瓶颈。写操作并不受影响。实现以上的功能需要用到Sharding中间件
常见的有：Cobar，MyCat，TDDL，Shark 分布式事务问题? 数据库HA方案.
线上定位问题
常用工具:
jps async-profiler arthas
转载地址：http://dbeiz.baihongyu.com/
你可能感兴趣的文章
Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
查看>>
NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
查看>>
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_处理器介绍_处理过程说明---大数据之Nifi工作笔记0019
查看>>
NIFI大数据进阶_Json内容转换为Hive支持的文本格式_操作方法说明_01_EvaluteJsonPath处理器---大数据之Nifi工作笔记0031
查看>>
NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka消费者处理器_来消费kafka数据---大数据之Nifi工作笔记0037
查看>>
NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka生产者---大数据之Nifi工作笔记0036
查看>>
NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
查看>>
NIFI大数据进阶_NIFI监控功能实际操作_Summary查看系统和处理器运行情况_viewDataProvenance查看_---大数据之Nifi工作笔记0026
查看>>
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
查看>>
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
查看>>
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
查看>>
NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
查看>>
NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028
查看>>
NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
查看>>
NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
查看>>