Zhang Huirui Blog

花开堪折直须折,莫待无花空折枝。

《大规模分布式存储系统》

原理解析与架构实战

Kubernetes 大规模分布式存储系统 前言 1 分布式存储 分布式存储系统是大量普通PC服务器通过Internet互联,对外作为一个整体提供存储服务。 特性可扩展、低成本、高性能和易用。 挑战数据、状态信息的持久化,要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。 涉及技术 数据分布:分布均匀,实现跨服务器读写。 ...

Prometheus

Prometheus

Prometheus 是一款开源的系统监控和报警套件。它可以通过 Pull 或 Push 采集被监控系统的监控项,存入自身的时序数据库中。并且通过丰富的多维数据查询语言,满足用户的不同数据展示需求。 Prometheus Prometheus 是一款开源的系统监控和报警套件。它可以通过 Pull 或 Push 采集被监控系统的监控项,存入自身的时序数据库中。并且通过丰富的多维数据...

Kubernetes

Kubernetes

Kubernetes Kubernetes

Azkaban

Book List

Azkaban is a distributed Workflow Manager, implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that needed to run in order, from ETL jobs to data analytics produ...

数据同步

数据同步

数据同步 数据同步 实时增量 Kafka-connector Confluent Platform 由confluence公司围绕kafka开发的一款数据异构组件,社区也支持了不少插件来充实异构功能,本身思想就是以log形式做流式数据,而kafka随着版本升级,在性能、可靠性、安全性上有很大提升 优点:source / sink也是完全解耦的,可以随时更新source...

Cloudera

Cloudera

Azkaban is a distributed Workflow Manager, implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that needed to run in order, from ETL jobs to data analytics produ...

Azkaban

Book List

Azkaban is a distributed Workflow Manager, implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that needed to run in order, from ETL jobs to data analytics produ...

Apache Superset

Apache Superset

Apache Superset Apache Superset

Python

Python

Python Python

TiDB

TiDB

TiDB TiDB