[skip ci] remove useless tag (#7591)

Signed-off-by: ThyeeZz <jialian.ji@zilliz.com>
This commit is contained in:
ThyeeZz 2021-09-09 18:10:09 +08:00 committed by GitHub
parent d5f7e358aa
commit fa9fc850ce
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23

View File

@ -2,8 +2,6 @@
Datanode 发送 timetick msg 需要有 channel 的信息DataCoord 根据 channel 来检查 segment 是否可以 seal 和 flush
### 服务发现
DataCoord 启动时检查是否有新的或重启过的 DataNode如果有重启过的重新注册 channel并 seek 到上次记录的位置
@ -28,12 +26,13 @@ DataNode如果由于网络原因与etcd断开应该重启服务发现DataC
1. 内存状态恢复:
1. 基本组件启动meta etcd 等)
2. 恢复 segment allocator 和 cluster 状态
3.
2. 与 DataNode 节点交互:
1. 启动 stats/segment flush channel并 seek 到上次记录的位置
2. 启动 timetick channel
3. 与 Master 交互:
1. 启动时不需要和 Master 交互Collection 信息为空,需要用到时向 Master 请求并缓存
2. 启动 new segment channel
@ -49,12 +48,8 @@ DataNode如果由于网络原因与etcd断开应该重启服务发现DataC
这样保证了一个 channel 只向一个 DataNode 注册,如果 DataNode 挂掉或者与 etcd 断开,如果需要重新分配到其他 DataNode这些 entry 也跟着变。
DataCoord 模块中,有些策略是可能频繁改变的,比如 channel 对 DataNode 的分配策略,可以是随机/顺序/平均/根据 collection 分散等等策略,比如检测到 DataNode 创建和下线,可能会不处理/balance/将下线节点的 channel 转移到其他节点等。比如 segment allocation 可能会根据文件大小/条数等来确定是否关闭。实现应该把这些策略相关抽出来,方便以后修改。
### TODO:
1. segment allocation 信息持久化及恢复
@ -64,4 +59,3 @@ DataCoord模块中有些策略是可能频繁改变的比如channel对Data
5. 服务注册与发现,以及对应事件的处理逻辑
6. timetick channel 的改动以及 segment 关闭逻辑改动
7. datanode 上报的 binlog 信息持久化及恢复