llama.cpp需求

[hipudding]

• 优化图顺序，多流并行 #15850
• ROPE算子：MROPE模式支持
• ROPE算子：VISION模式支持
• ROPE算子：支持部分headSize旋转（n_dims <= src0->ne0）
• CONV_TRANSPOSE_1D算子：支持 (op->src[0]->ne[0] - 1) > 255 场景
• OUT_PROD算子：新算子支持
• GATED_LINEAR_ATTN算子：新算子支持
• L2_NORM算子：新算子支持
• CROSS_ENTROPY_LOSS算子：新算子支持
• RWKV_WKV6算子：新算子支持
• RWKV_WKV7算子：新算子支持
• SSM_CONV算子：新算子支持
• SSM_SCAN算子：新算子支持
• 重构：acl graph中，将图命中的校验沉淀至lru cache中
• 针对某些特殊模型，支持使用aclnnRopeWithSinCosCache融合算子（工作量较大）
• 优化set_device
• 新增量化方法支持Q4_1，Q8_1
• 重构：所有调用aclnn的方法，全部提供静态方法和注释进行封装，并替换之前的使用

后续维护在：noemotiovon/llama.cpp#1

[noemotiovon]

ROPE算子：MROPE模式支持

验收条件：

1. 移除下面的判断条件

        case GGML_OP_ROPE: {
            // TODO: with ops-test v == 1
            // TODO: n_dims <= ne0
            if (op->src[0]->ne[0] != op->op_params[1]) {
                return false;
            }

            const int mode = ((const int32_t *) op->op_params)[2];
            if (mode & GGML_ROPE_TYPE_MROPE) {
                return false;
            }
            if (mode & GGML_ROPE_TYPE_VISION) {
                return false;
            }
#ifdef ASCEND_310P
            if(!ggml_is_contiguous(op->src[0])){
                return false;
            }
#endif
            return true;
        }

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o ROPE

[noemotiovon]

ROPE算子：VISION模式支持

验收条件：

1. 移除下面的判断条件

        case GGML_OP_ROPE: {
            // TODO: with ops-test v == 1
            // TODO: n_dims <= ne0
            if (op->src[0]->ne[0] != op->op_params[1]) {
                return false;
            }

            const int mode = ((const int32_t *) op->op_params)[2];
            if (mode & GGML_ROPE_TYPE_MROPE) {
                return false;
            }
            if (mode & GGML_ROPE_TYPE_VISION) {
                return false;
            }
#ifdef ASCEND_310P
            if(!ggml_is_contiguous(op->src[0])){
                return false;
            }
#endif
            return true;
        }

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o ROPE

[noemotiovon]

ROPE算子：支持部分headSize旋转（n_dims <= src0->ne0）

验收条件：

1. 移除下面的判断条件

        case GGML_OP_ROPE: {
            // TODO: with ops-test v == 1
            // TODO: n_dims <= ne0
            if (op->src[0]->ne[0] != op->op_params[1]) {
                return false;
            }

            const int mode = ((const int32_t *) op->op_params)[2];
            if (mode & GGML_ROPE_TYPE_MROPE) {
                return false;
            }
            if (mode & GGML_ROPE_TYPE_VISION) {
                return false;
            }
#ifdef ASCEND_310P
            if(!ggml_is_contiguous(op->src[0])){
                return false;
            }
#endif
            return true;
        }

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o ROPE

[noemotiovon]

CONV_TRANSPOSE_1D算子：支持 (op->src[0]->ne[0] - 1) > 255 场景

验收条件：

1. 移除下面的判断条件

        case GGML_OP_CONV_TRANSPOSE_1D:
            // TODO: ((weightL - 1) * dilationW - padLeft)=1336 should not be larger than 255.
            return (op->src[0]->ne[0] - 1) <= 255;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o CONV_TRANSPOSE_1D

[noemotiovon]

OUT_PROD算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_OUT_PROD，

        case GGML_OP_OUT_PROD:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o OUT_PROD

[noemotiovon]

GATED_LINEAR_ATTN算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_GATED_LINEAR_ATTN，

        case GGML_OP_GATED_LINEAR_ATTN:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o GATED_LINEAR_ATTN

[noemotiovon]

L2_NORM算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_L2_NORM，

        case GGML_OP_L2_NORM:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o L2_NORM

[noemotiovon]

CROSS_ENTROPY_LOSS算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_CROSS_ENTROPY_LOSS，

        case GGML_OP_CROSS_ENTROPY_LOSS:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o CROSS_ENTROPY_LOSS

[noemotiovon]

RWKV_WKV6算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_RWKV_WKV6，

        case GGML_OP_RWKV_WKV6:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o RWKV_WKV6

[noemotiovon]

RWKV_WKV7算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_RWKV_WKV7，

        case GGML_OP_RWKV_WKV6:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o RWKV_WKV7

[noemotiovon]

SSM_CONV算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_SSM_CONV，

        case GGML_OP_SSM_CONV:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o SSM_CONV

[noemotiovon]

SSM_SCAN算子：新算子支持

验收条件：

1. 在ggml_backend_cann_supports_op中注册GGML_OP_SSM_SCAN，

        case GGML_OP_SSM_SCAN:
            return true;

2. 确保所有的测试用例都通过

./bin/test-backend-ops test -b CANN0 -o SSM_SCAN

[noemotiovon]

重构：acl graph中，将图命中的校验沉淀至lru cache中

验收条件：
在 acl graph 模型推理正常，无精度问题。

./bin/llama-cli -m path_to_model -p "Building a website can be done in 10 steps:" -ngl 32