Newegg的事件中心之Event Hub

万事皆事件

事件是信息的一种承载媒介，描述特定对象某一瞬间的非持续性变化，与唯一时刻和唯一对象关联。例如：某台计算机从运行状态变更为关机，程序运行开始和结束，办公大楼停电等。事件是对象在两个不同状态中的变更瞬间的记录。

对于事件，我们关注时间点，什么事件，什么状态。在企业中存在大量的事件，系统事件，监控事件，业务事件等，通过对事件的治理和挖掘，能够发现很多价值，解决切实的痛点。基于以上思考，我们构建了Event Hub。

Event Hub简介

Event Hub是一个高度可缩放、分布式、基于时间序列的事件中心，能够实时的处理流式事件并进行告警和提醒。

Event Hub作为Newegg事件信息中枢，产品化新蛋各产品资源及平台底层基础设施服务生命周期与运转中的重要事件信息，并构建完善的事件消费渠道与流程，支撑线上监控与运维。

Event Hub产品化提供的事件信息，由Newegg内部各产品模块与底层基础设施服务获取，经过聚合，判定和收敛再最终呈现。信息源来自各模块底层的系统日志与监控项，保障客户透传客户的信息准确性与价值。

目前应用场景

Java NIO扫盲篇

概述

对于java世界，想了解高性能网络编程。那么就必须了解NIO,和常用的网络编程框架，以及高性能的网络编程模式。这里面缺一不可，本篇只是管中窥豹，将自己学习的过程和笔记记录下来，希望给工作中很难接触这方面的同学带来一点点帮助！

Java NIO是什么？

NIO 是一种同步非阻塞的 I/O 模型，在 Java 1.4 中引入了 NIO 框架，对应 java.nio 包，提供了 Channel 、Selector、Buffer 等抽象。

NIO 中的 N 可以理解为 Non-blocking，不单纯是 New。它支持面向缓冲的，基于通道的 I/O 操作方法。 NIO 提供了与传统 BIO 模型中的 Socket 和 ServerSocket 相对应的 SocketChannel 和 ServerSocketChannel 两种不同的套接字通道实现,两种通道都支持阻塞和非阻塞两种模式。阻塞模式使用就像传统中的支持一样，比较简单，但是性能和可靠性都不好；非阻塞模式正好与之相反。对于低负载、低并发的应用程序，可以使用同步阻塞 I/O 来提升开发速率和更好的维护性；对于高负载、高并发的（网络）应用，应使用 NIO 的非阻塞模式来开发。

NIO 的基本流程

通常来说 NIO 中的所有 IO 都是从 Channel（通道） 开始的。

• 从通道进行数据读取 ：创建一个缓冲区，然后请求通道读取数据。
• 从通道进行数据写入 ：创建一个缓冲区，填充数据，并要求通道写入数据。

NIO 核心组件

只是记录自己不知道的知识点，或者经常容易忘的内容,想知道更多的信息建议看课程或者找我聊天交换技能。在课程的内容基础之上，补充了一些自己知道的知识点。

Kafka的认知

• 分布式消息引擎平台
• 分布式实时流式处理平台

早期Kafka社区对Kafka的定位为⼀个分布式、分区化且带备份功能的提交⽇志（Commit Log）服务,近期在官网彻底更改为分布式实时流式处理平台。

Kafka流式处理框架的优势

• 更容易实现端到端的正确性（Correctness）
• 轻量型，嵌入式流式计算的定位

避免不必要的Rebalance

• session.timeout.ms
• heartbeat.interval.ms
• max.poll.interval.ms
• GC参数

session.timout.ms决定了Consumer存活性的时间间隔

概要

记录线上Zookeeper集群和Kafka集群部署过程，操作系统配置，以及一些参数的设置。给大家部署提供一些宝贵意见和参考。部署一个集群，按照官方社区的文档，很容易就搭建一个集群，但是为了更好的发挥集群的性能，有很多设置是可以避免产生不必要的问题，都是在惨痛的教训中产生的经验。

本文内容来自Newegg及 Confluent 产线上Kafka cluster运维经验，仅供参考。

Newegg 产线Kafka版本选择Confluent发行版本,版本对照表：

Docker镜像列表：

Zookeeper Cluster

硬件

内存至少4GB，Zookeeper对swap敏感，应当避免swap。

前言

本篇文章介绍生成一个自签名SSL证书以及使用Nginx docker 代理一个https服务。

SSL证书验证安全连接，有两种验证模式：

1. 仅客户端验证服务器的证书，客户端自己不提供证书；
2. 客户端和服务器都互相验证对方的证书。

显然第二种更安全，一般web采用第一种，比较简单。

创建自签名证书

创建步骤

1. 创建Key；
2. 创建签名请求；
3. 将Key的口令移除；
4. 用Key签名证书。

创建脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

#!/bin/sh

# create self-signed server certificate:

read -p "Enter your domain [www.example.com]: " DOMAIN

echo "Create server key..."

openssl genrsa -des3 -out $DOMAIN.key 2048

echo "Create server certificate signing request..."

SUBJECT="/C=US/ST=Mars/L=iTranswarp/O=iTranswarp/OU=iTranswarp/CN=$DOMAIN"

openssl req -new -subj $SUBJECT -key $DOMAIN.key -out $DOMAIN.csr

echo "Remove password..."

mv $DOMAIN.key $DOMAIN.origin.key
openssl rsa -in $DOMAIN.origin.key -out $DOMAIN.key

echo "Sign SSL certificate..."

openssl x509 -req -days 3650 -in $DOMAIN.csr -signkey $DOMAIN.key -out $DOMAIN.crt

echo "TODO:"
echo "Copy $DOMAIN.crt to /etc/nginx/ssl/$DOMAIN.crt"
echo "Copy $DOMAIN.key to /etc/nginx/ssl/$DOMAIN.key"
echo "Add configuration in nginx:"
echo "server {"
echo "    ..."
echo "    listen 443 ssl;"
echo "    ssl_certificate     /etc/nginx/ssl/$DOMAIN.crt;"
echo "    ssl_certificate_key /etc/nginx/ssl/$DOMAIN.key;"
echo "}"

Kafka Summit 2020 -Apache Kafka - The Next 10 Years

前言

Kafka在Confulent成立后发展很快，很明显的变化是发布了很多重大的版本。了解未来的规划，对于我们学习和使用kafka有很大的意义。

Kafka Summit 2020 已经在8-24召开，最近抽出时间看了一些视频，由于自己英语是二把刀，因此本文是自己对该主题的自己理解，尽可能还原Gwen Shapira 的分享（Apache Kafka - The Next 10 Years），中文全网唯一。

Kafka 设计原则

High Performance from First Principles

Principles in Action: Elasticity

Principles in Action: Scalability

Principles in Action: Operationally Friend

Design Considerations in Action

ice-scripts到ice.js实战迁移之路

为什么要升级？

如果你看了这个对比还无法决定，那么说一说我迁移的原因：

1. ice-scripts官方不维护，查找文档较难
2. 解决技术债
3. 我想使用一些新的功能，例如：Hooks and Function Components(当然并不是说不升级就不能用)
4. 新的前端工程方式，我之所以这么命名，因为我不是一个专业的前端开发，无法将自己的注意力集中在前端领域，只好跟着大厂，这样就不会迷路。这次新版本配置的eslint prettier挺有用。
5. 前端权限的简洁化（之前推荐的是ant deisgn auth真心不好用）
6. 布局的简介化

Hooks and Function Components扫盲

快速一览

props非必须，两种方式：

1
2
3
4

const Example = (props) => {
  // You can use Hooks here!
  return <div />;
}

设计模式总结

创建型

创建型模式主要解决对象的创建问题，封装复杂的创建过程，解耦对象的创
建代码和使⽤代码。

单例模式⽤来创建全局唯⼀的对象。

⼯⼚模式⽤来创建不同但是相关类型的对象（继承同⼀⽗类或者接⼝的⼀组⼦类），由给定的参数来决定创建哪种类型的对象。

建造者模式是⽤来创建复杂对象，可以通过设置不同的可选参数，“定制化”地创建不同的对象。

原型模式针对创建成本⽐较⼤的对象，利⽤对已有对象进⾏复制的⽅式进⾏创建，以达到节省创建时间的⽬的。

单例模式

懒汉

1
2
3
4
5
6
7
8
9
10
11
12
13

public class LazySingleton {
    private static volatile LazySingleton instance = null;

    private LazySingleton() {
    }

    public synchronized LazySingleton getInstance() {
        if (instance == null) {
            instance = new LazySingleton();
        }
        return instance;
    }
}

语法

特殊声明

_用法

• 用在import _ "github.com/go-sql-driver/mysql"

  程序默认执行init方法

• 用在函数返回值 _, err := client.Do(req)

  忽略相应的返回值

new函数

内建的new函数也是一种创建变量的方法，new(type)表示创建一个type类型的匿名变量，并初始化为type类型的零值，返回变量的地址，指针类型为*type。

1
2
3
4

p := new(int)   	// p, *int 类型, 指向匿名的 int 变量
fmt.Println(*p) 	// 0
*p = 2          	// 设置 int 匿名变量的值为 2
fmt.Println(*p) 	// 2

如下函数完成同样的功能：创建变量，返回变量地址

1
2
3
4
5
6
7

func newA() *int {
    return new(int)
}
func newB() *int {
    var i int
    return &i
}

基本类型

开源项目KafkaCenter 版本持续集成（CI）实践

开篇

本文简单介绍开源项目KafkaCenter 版本持续集成（CI）实践方案，主要解决了三个问题：

1. 前后端项目编译
2. 发布Github release包
3. 制作docker镜像

希望能给你带来一点参考。

详细信息可以参考 https://github.com/xaecbd/KafkaCenter

正文

版本管理

KafkaCenter 后端服务是java,使用maven管理的，有多个module，为了做到版本一致，我们使用了${revision}。这个是maven3.5+ 才支持，主要是为了对CI友好。

例如：