Compatibility of minio s3

[dysf888]

plugin-s3:

provided was not well-formed or did not validate against our published schema. (Service: Amazon S3; Status Code: 400; Error Code: MalformedXML; Request ID: 1737ADDDFC1CD09E; S3 Extended Request ID: d3c94e9b-0fc0-4928-b225-358535eeec50; Proxy: null)

minio:

API: SYSTEM()
Time: 09:21:15 UTC 01/06/2023
DeploymentID: d3c94e9b-0fc0-4928-b225-358535eeec50
Error: XML syntax error on line 12: invalid character entity & (no semicolon) (*xml.SyntaxError)
       6: internal/logger/logger.go:258:logger.LogIf()
       5: cmd/handler-utils.go:53:cmd.parseLocationConstraint()
       4: cmd/auth-handler.go:349:cmd.authenticateRequest()
       3: cmd/auth-handler.go:451:cmd.checkRequestAuthTypeCredential()
       2: cmd/bucket-handlers.go:732:cmd.objectAPIHandlers.PutBucketHandler()
       1: net/http/server.go:2109:http.HandlerFunc.ServeHTTP()

[longjuan]

我这边测试出来一个问题#9
请等待我PR #10 合进去了以后再次测试

[dysf888]

我这边测试出来一个问题#9 请等待我PR #10 合进去了以后再次测试

3q docker快速测试环境

docker run -d \
 	-p 127.0.0.1:9000:9000 \
	-p 127.0.0.1:9090:9090 \
	--name minio \
	-v /mnt/block:/mnt/data \
                -v /opt/minio/config.env:/etc/config.env \
	-e "MINIO_CONFIG_ENV_FILE=/etc/config.env" \
	--restart=always \
   quay.io/minio/minio server /data --console-address ":9090"

cat /opt/minio/config.env

MINIO_ROOT_USER=XXXXXXXXXX
MINIO_ROOT_PASSWORD=XXXXXXX
MINIO_VOLUMES="/mnt/data"

[longjuan]

docker run -d
-p 127.0.0.1:9000:9000
-p 127.0.0.1:9090:9090
--name minio
-v /mnt/block:/mnt/data
-v /opt/minio/config.env:/etc/config.env
-e "MINIO_CONFIG_ENV_FILE=/etc/config.env"
--restart=always
quay.io/minio/minio server /data --console-address ":9090"

不知道你有没有其他机器访问minio的需求，这边这个命令需要把-p 127.0.0.1:9000:9000 -p 127.0.0.1:9090:9090中的127.0.0.1:去掉才能让其他机器访问。

---

这边使用https://github.com/halo-sigs/plugin-s3/actions/runs/3861551085 修复后的插件能上传部分文件
我的配置方式如下：


其中Access Key和Access Secret为MINIO_ROOT_USER和MINIO_ROOT_PASSWORD

---

但是这个版本仍然存在问题：当Endpoint 访问协议为HTTP时上传部分文件会出现Unable to reset stream after calculating AWS4 signature的错误，无法上传
原因是http的endpoint需要计算签名，而目前插件不能提供文件大小给到sdk，导致出现错误，详见aws/aws-sdk-java#1748

不过好消息是新的分部上传模式能解决该问题，请关注#7 的动态

如果你急需上传功能且能忍受部分文件不能上传的问题，可以去https://github.com/halo-sigs/plugin-s3/releases/tag/1.2.1 下载Pre-release

[dysf888]

嗯嗯 感谢 docker的 127.0.0.1 是我特意绑定的 走的 cloudflare tunnel 零信任服务，尽量减少端口暴露

[dysf888]

docker run -d
-p 127.0.0.1:9000:9000
-p 127.0.0.1:9090:9090
--name minio
-v /mnt/block:/mnt/data
-v /opt/minio/config.env:/etc/config.env
-e "MINIO_CONFIG_ENV_FILE=/etc/config.env"
--restart=always
quay.io/minio/minio server /data --console-address ":9090"

不知道你有没有其他机器访问minio的需求，这边这个命令需要把-p 127.0.0.1:9000:9000 -p 127.0.0.1:9090:9090中的127.0.0.1:去掉才能让其他机器访问。

这边使用https://github.com/halo-sigs/plugin-s3/actions/runs/3861551085 修复后的插件能上传部分文件 我的配置方式如下： 其中Access Key和Access Secret为MINIO_ROOT_USER和MINIO_ROOT_PASSWORD

但是这个版本仍然存在问题：当Endpoint 访问协议为HTTP时上传部分文件会出现Unable to reset stream after calculating AWS4 signature的错误，无法上传 原因是http的endpoint需要计算签名，而目前插件不能提供文件大小给到sdk，导致出现错误，详见aws/aws-sdk-java#1748

不过好消息是新的分部上传模式能解决该问题，请关注#7 的动态

如果你急需上传功能且能忍受部分文件不能上传的问题，可以去https://github.com/halo-sigs/plugin-s3/releases/tag/1.2.1 下载Pre-release

我目前使用https://s3browser.com/ 上传文件替代 这个使用起来是完全没有问题的，等plugin-s3完美后切过去
使用nginx HTTP2反代 9000 s3browser设置TLS没有问题

cat nginxconf/alloss.conf 

server {
listen 8443 ssl http2;      
server_name  *.xxxxx.xxx;
 # To allow special characters in headers
 ignore_invalid_headers off;
 # Allow any size file to be uploaded.
 # Set to a value such as 1000m; to restrict file size to a specific value
 client_max_body_size 0;
 # To disable buffering
 proxy_buffering off;
ssl_certificate  /root/nginxconf/xpem;
ssl_certificate_key      /root/nginxconf/x.key;
#ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3;
        location / {
 proxy_set_header X-Real-IP $remote_addr;
   proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
   proxy_set_header X-Forwarded-Proto $scheme;
   proxy_set_header Host $http_host;

plugin-s3:

Internal Server Error: . (Service: Amazon S3; Status Code: 400; Error Code: AuthorizationHeaderMalformed; Request ID: 17381281D5E5DEB3; S3 Extended Request ID: 95a438ec-bdef-45c6-81d3-b7153ade1f8f; Proxy: null)

or

Internal Server Error: The request to the service failed with a retryable reason, but resetting the request input stream has failed. See exception.getExtraInfo or debug-level logging for the original failure that caused this retry.; If the request involves an input stream, the maximum stream buffer size can be configured via request.getRequestClientOptions().setRe

不使用nginx套TLS ：

应该是：但是这个版本仍然存在问题：当Endpoint 访问协议为HTTP时上传部分文件会出现Unable to reset stream after calculating AWS4 signature的错误，无法上传
Internal Server Error: Unable to reset stream after calculating AWS4 signature

[longjuan]

Hi @dysf888 ，最新的代码已修复minio兼容的相关问题，欢迎测试。
可在https://github.com/halo-sigs/plugin-s3/actions/runs/4039856684 最下面下载测试版（有效期一天），或者自己拉取最新源码编译，可参考https://github.com/halo-sigs/plugin-s3/blob/main/README.md#%E9%85%8D%E7%BD%AE%E6%8C%87%E5%8D%97 进行配置。
如果可以用，我将发布新版本。

[dysf888]

Hi @dysf888 ，最新的代码已修复minio兼容的相关问题，欢迎测试。 可在https://github.com/halo-sigs/plugin-s3/actions/runs/4039856684 最下面下载测试版（有效期一天），或者自己拉取最新源码编译，可参考https://github.com/halo-sigs/plugin-s3/blob/main/README.md#%E9%85%8D%E7%BD%AE%E6%8C%87%E5%8D%97 进行配置。 如果可以用，我将发布新版本。

感谢，经过测试 已完全可用，以下说明写给不会配置翻到此issue的用户 绑定域名（CDN域名） 组成需要是 域名+/桶名称，如果没有泛解析endpoint域名 需要选择Endpoint 访问风格 为 path style

[dysf888]

哦哦你给了 readme 我没看 抱歉 =,=