0%

安装

# 下载GraalVM
https://www.graalvm.org/downloads/#

# 解压

# 配置PATH,这里需要将 GraalVM\bin 目录配置到PATH
setx /M PATH "C:\Progra~1\Java\<graalvm>\bin;%PATH%"
# 同时,JAVA_HOME 也需要配置成 GraalVM\bin ,这样才能使用 GraalVM 提供的JDK,否则编译不通过。
setx /M JAVA_HOME "C:\Progra~1\Java\<graalvm>"

# 安装 Visual Studio ,在官网下载最新的Visual Studio 并参考 GraalVM 的说明安装必要的组件。
https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/
https://www.graalvm.org/jdk17/docs/getting-started/windows/#install-visual-studio-build-tools-and-windows-sdk

# 重启机器

# 测试
PS D:\gitee\demo> gu.cmd list
ComponentId              Version             Component name                Stability                     Origin 
---------------------------------------------------------------------------------------------------------------------------------
graalvm                  23.0.5              GraalVM Core                  Supported
native-image             23.0.5              Native Image                  Early adopter

# 如果没有可以在线安装
gu.cmd install native-image

native-image.cmd --version

springboot3 集成 GraalVM

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.2.0</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>demo</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>17</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <!-- 添加graalvm插件 -->
            <plugin>
                <groupId>org.graalvm.buildtools</groupId>
                <artifactId>native-maven-plugin</artifactId>
            </plugin>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>

        </plugins>
    </build>

</project>

手动 maven 编译命令,编译成功后在 target 目录下就会生成可执行文件。

mvn clean -Pnative native:compile -DskipTests

说明

Oracle JDK 在 1.8 之后商业版本需要按人头收费,所以基本需要选择 OpenJDK。OpenJDK 有很多版本可以选择,本文选择官方 OpenJDK 17

安装

# 下载地址
https://download.java.net/java/GA/jdk17.0.2/dfd4a8d0985749f896bed50d7138ee7f/8/GPL/openjdk-17.0.2_windows-x64_bin.zip

# 下载好了之后解压,配置JAVA_HOME和PATH即可。

# 通过命令 java -version 打印出是你下载的版本即可安装正确。

containerd

sudo systemctl enable --now containerd

nerdctl

containerd 自带的 ctr 命令用不习惯,可以安装 nerdctl ,nerdctl 命令同 docker 风格一致的 containerd 客户端工具.

# 安装
wget https://github.com/containerd/nerdctl/releases/download/v1.7.6/nerdctl-1.7.6-linux-amd64.tar.gz
tar -zxvf nerdctl-1.7.6-linux-amd64.tar.gz
cp nerdctl /usr/local/bin/
# 测试,如果没有安装 buildkit 会提示没有 buildctl 命令
nerdctl version
# 使用
nerdctl ps
nerdctl images

buildkit

nerdctl build:从 Dockerfile 构建镜像,需要安装 buildkit

wget https://github.com/moby/buildkit/releases/download/v0.9.0/buildkit-v0.9.0.linux-amd64.tar.gz
tar -zxvf buildkit-v0.9.0.linux-amd64.tar.gz
# 将解压出来的 bin 文件全部复制
cp bin/* /usr/local/bin/

使用 Systemd 来管理 buildkitd, cat /etc/systemd/system/buildkit.service

[Unit]
Description=BuildKit
Documentation=https://github.com/moby/buildkit

[Service]
ExecStart=/usr/local/bin/buildkitd --oci-worker=false --containerd-worker=true

[Install]
WantedBy=multi-user.target

启动/停止

systemctl daemon-reload
systemctl enable --now buildkit
systemctl status buildkit

kafka服务端

kafka默认的消息大小限制为1MB,如果有需要可以修改大一点。

  • server.properties
# 100M
message.max.bytes=104857600
  • 修改单个topic配置
# 修改配置
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic
  --alter --add-config max.message.bytes=128000

# 检查配置
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic --describe

# 删除配置
bin/kafka-configs.sh --bootstrap-server localhost:9092  --entity-type topics --entity-name my-topic
  --alter --delete-config max.message.bytes

客户端

  • go: sarama
kafkaConfig := sarama.NewConfig()
kafkaConfig.Producer.MaxMessageBytes = 104857600 //最大消息大小限制: 100M

kafka-connect

kafka-connectkafka 自带的一个用于数据集成工具,包含两类 connector: source connectorsink connector,顾名思义一个是作为数据源往 kafka 写数据,一个是从 kafka 读数据。

# 数据流
jdbc/file/mqtt/http/...  ->  source connector  ->  kafka cluster  -> sink connector  ->  jdbc/file/mqtt/http/es/...

kafka-connect 有两个模式:单机 standalone 和分布式 distributed,本文以单机模式从一个文件经过 connector 同步到另一个文件为例进行测试。

测试

进入到 kafka 安装的根目录:

  1. 修改 standalone 配置:config/connect-standalone.properties
# kakfa 节点
bootstrap.servers=172.16.20.152:9092
# file connector 路径,官方自带的 jar 包
plugin.path=/root/kafka_2.13-3.7.1/libs/connect-file-3.7.1.jar
  1. Source file connector 配置:config/connect-file-source.properties
# connector 名称
name=local-file-source
connector.class=FileStreamSource
tasks.max=1
# kafka 根目录下 test.txt 文件
file=test.txt
topic=connect-test
  1. Sink file connector 配置:config/connect-file-sink.properties
name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
# 同步到目标文件名
file=test.sink.txt
topics=connect-test
  1. 启动
bin/connect-standalone.sh config/connect-standalone.properties  config/connect-file-source.properties config/connect-file-sink.properties
  1. 测试
# 往 test.txt 文件里追加写数据
echo "data1" >> test.txt
echo "data2" >> test.txt
echo "data3" >> test.txt

# 可以看到另一个文件内容也跟着改变
tail -f test.sink.txt

其他

部署

准备三台服务器,每台机器都需要安装 java 环境 、 zookeeper 、kafka。

  1. java 环境

    Your local environment must have Java 8+ installed.

yum install java-1.8.0-openjdk-devel -y 
java -version
  1. 下载 kafka
# https://kafka.apache.org/downloads, 推荐下载 Scala 2.13 版本
wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

tar -xzf kafka_2.13-3.7.1.tgz
cd kafka_2.13-3.7.1
  1. 配置 config/zookeeper.properties
dataDir=/home/zookeeper/data
dataLogDir=/home/zookeeper/log
clientPort=2181
tickTime=2000
initLimit=10
syncLimit=5
# 3台服务器IP
server.1=172.16.20.152:2888:3888
server.2=172.16.20.153:2888:3888
server.3=172.16.20.154:2888:3888

dataDir 目录下创建 myid 文件,3 台机器分别写 1, 2, 3.

[root@data9 kafka_2.13-3.7.1]# cat /home/zookeeper/data/myid 
1
  1. 启动zookeeper
# 前台启动
bin/zookeeper-server-start.sh config/zookeeper.properties
# 后台启动
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
  1. 配置 config/server.properties
# 3 台机器分别 0 1 2
broker.id=0
listeners=PLAINTEXT://:9092
# 填本机IP
advertised.listeners=PLAINTEXT://172.16.20.154:9092
# 修改日志目录
log.dirs=/home/kafka/kafka-logs
# 修改存储时间,默认7天
log.retention.hours=24
# 修改  zookeeper 地址
zookeeper.connect=172.16.20.152:2181,172.16.20.153:2181,172.16.20.154:2181
  1. 启动kafka
# 前台启动
bin/kafka-server-start.sh config/server.properties
# 后台启动
bin/kafka-server-start.sh -daemon config/server.properties
  1. 测试kafka
# 连任意节点创建一个主题:quickstart-events
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server 172.16.20.152:9092
# 查看主题状态
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server 172.16.20.152:9092
# 消费主题消息
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server 172.16.20.152:9092

# 从任意节点生产消息
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server 172.16.20.154:9092
  1. 修改kafka内存使用上限
vim bin/kafka-server-start.sh
# 修改 -Xmx(最大堆内存)和 -Xms(初始堆内存)
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

# 重启
bin/kafka-server-stop.sh
bin/kafka-server-start.sh -daemon config/server.properties