Druid配置S3深存储

回顾

上篇文章介绍了imply的单机安装，细心的小伙伴可以注意到，默认安装的imply中的Druid-UI界面是没有Amazon S3图标的，是灰色，这就意味着你没有配置S3深存储的配置信息，接下来我就给大家操作一遍配置流程。

Configure Druid to Use Zenko CloudServer (Scality S3 Server) as Deep Storage

配置Druid

➜  imply-3.2.0 ls
bin     conf     conf-quickstart    dist     quickstart    quickstart.log  var

我们进入imply安装包目录可以看到里面的文件

在这个包中，你会发现：

bin/* - 为包含的软件运行脚本。
conf/* - 群集设置的模板配置。
conf-quickstart/* - 此快速入门的配置。
dist/* - 所有附带的软件。
quickstart/* - 对此快速入门有用的文件。
quickstart.log - 项目运行输出日志。
var/* - 配置项输出日志信息等。

开始配置

➜  _common cd conf-quickstart/druid/_common
➜  _common ls
common.runtime.properties    log4j2.xml

我们可以看到_common文件夹下面有两个文件，

首先我们配置common.runtime.properties文件

Add “druid-s3-extensions” to druid.extensions.loadList

druid.extensions.loadList=["druid-histogram", "druid-datasketches", "imply-utility-belt", "druid-kafka-indexing-service", "druid-s3-extensions"]

然后下面可以看到S3的一些信息，把#去掉

配置你们minio的配置信息

#
# Deep storage
#

# For S3:
druid.storage.type=s3
druid.storage.bucket=you_minio_name
druid.storage.baseKey=druid/segments
druid.s3.accessKey=minioadmin
druid.s3.secretKey=minioadmin

配置S3日志信息

#
# Indexing service logs
#
# For S3:
druid.indexer.logs.type=s3
druid.indexer.logs.s3Bucket=you_minio_name
druid.indexer.logs.s3Prefix=druid/indexing-logs

此时是不是觉得已经配好了，错。。。。

还差最后一步，因为minio的地址以及端口号没有配置呢，大家是不是没有看到类似的配置选项。。。额。。。

用于深度存储的S3扩展使用了jets3t。您需要创建一个jets3t。我们创建一个新文件jets3t。还是在当前目录下面conf-quickstart/druid/_common

目录中的属性如下:

s3service.s3-endpoint=localhost  # s3地址
s3service.s3-endpoint-http-port=9000 # 端口号
s3service.disable-dns-buckets=true # 是否开启dns
s3service.https-only=false # 是否开启https

保存推出，重启imply服务，大功告成。

遇到的坑

本以为项目能安全启动没想到Druid-UI竟然报错了，欲哭无泪

Failed to get overlord modules: Unable to determine destination for [/proxy/overlord/status]; is your coordinator/overlord running?

慌的一批，项目要上线啦快

查看日志。。。啪啪啪。。果然看到了报错信息

overlord出错了

查阅资料，原来是jvm.config配置时区原因

➜  softwore cd imply-3.2.0/conf-quickstart/druid/overlord
➜  overlord ls
jvm.config         main.config        runtime.properties
➜  overlord vim jvm.config

在最后面添加-Daws.region=us-east-1

➜  overlord vim jvm.config 
-server
-Xms128m
-Xmx128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
-Daws.region=us-east-1

:wq重启服务，搞定。。。。