@kernaut/kernaut-resources 0.1.17-beta.1 → 0.1.18

package/resources/kop-2026-10-23-0.1.17-beta.1/product_capabilities/kernel_optflow/skills/KernelWiki-private/wiki/ascend/api-definitions/ascendc/pages/atlasascendc_api_07_0239.md

@@ -1,91 +0,0 @@
----
-id: api-ascendc-atlasascendc_api_07_0239
-title: "AscendC LoadDataWithTranspose"
-type: api-definition
-vendor: ascend
-func_name: "LoadDataWithTranspose"
-namespace: ascendc
-header: kernel_operator.h
-signature: "see body"
-source:
-- path: "https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/850/API/ascendcopapi/atlasascendc_api_07_0239.html"
-  anchor: API
-architectures:
-- ascend910b
-languages:
-- ascendc
-tags:
-- ascendc
-- cube-unit
-- l1-buffer
-confidence: source-reported
-evidence_level: spec
----
-# LoadDataWithTranspose-数据搬运-矩阵计算（ISASI）-基础API-Ascend C算子开发接口-API-CANN社区版8.5.0开发文档-昇腾社区
-**页面ID:** atlasascendc_api_07_0239
-**来源:** https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/850/API/ascendcopapi/atlasascendc_api_07_0239.html
----
-
-# LoadDataWithTranspose
-
-#### 产品支持情况
-
-| 产品 | 是否支持 |
-| --- | --- |
-| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
-| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
-| Atlas 200I/500 A2 推理产品 | √ |
-| Atlas 推理系列产品AI Core | x |
-| Atlas 推理系列产品Vector Core | x |
-| Atlas 训练系列产品 | x |
-
-#### 功能说明
-
-该接口实现带转置的2D格式数据从A1/B1到A2/B2的加载。
-
-下面通过示例来讲解接口功能和关键参数：下文图中一个N形或者一个Z形代表一个分形。
-
-- 对于uint8_t/int8_t数据类型，每次迭代处理32*32*1B数据，可处理2个分形（一个分形512B），每次迭代中，源操作数中2个连续的16*32分形将被合并为1个32*32的方块矩阵，基于方块矩阵做转置，转置后分裂为2个16*32分形，根据目的操作数分形间隔等参数可以有不同的排布。如下图示例：共需要处理3072B的数据，每次迭代处理32*32*1B数据，需要3次迭代可以完成，repeatTime = 3；srcStride = 1，表示相邻迭代间，源操作数前一个方块矩阵与后一个方块矩阵起始地址的间隔为1（单位：32*32*1B），这里的单位实际上是拼接后的方块矩阵的大小；dstGap = 1，表示相邻迭代间，目的操作数前一个迭代第一个分形的结束地址到下一个迭代第一个分形起始地址的间隔为1（单位：512B）；dstFracGap = 0，表示每个迭代内目的操作数前一个分形的结束地址与后一个分形起始地址的间隔为0（单位：512B）。如下图示例：repeatTime和srcStride的解释和上图示例一致。dstGap = 0，表示相邻迭代间，目的操作数前一个迭代第一个分形的结束地址和下一个迭代第一个分形起始地址无间隔。dstFracGap = 2，表示每个迭代内目的操作数前一个分形的结束地址与后一个分形起始地址的间隔为2（单位：512B）。
-
-- 对于half/bfloat16_t数据类型，每次迭代处理16*16*2B数据，可处理1个分形（一个分形512B），每次迭代中，源操作数中1个16*16分形将被转置。共需要处理1536B的数据，每次迭代处理16*16*2B数据，需要3次迭代可以完成，repeatTime = 3；srcStride = 1，表示相邻迭代间，源操作数前一个方块矩阵与后一个方块矩阵起始地址的间隔为1 （单位：16*16*2B）；dstGap = 0，表示相邻迭代间，目的操作数前一个迭代第一个分形的结束地址到下一个迭代第一个分形起始地址无间隔；该场景下，因为其分形即为方块矩阵，每个迭代处理一个分形，不存在迭代内分形的间隔，该参数设置无效。
-
-- 对于float/int32_t/uint32_t数据类型，每次迭代处理16*16*4B数据，可处理2个分形（一个分形512B），每次迭代中，源操作数2个连续的16*8分形将被合并为1个16*16的方块矩阵，基于方块矩阵做转置，转置后分裂为2个16*8分形，根据目的操作数分形间隔等参数可以有不同的排布。如下图示例：共需要处理3072B的数据，每次迭代处理16*16*4B数据，需要3次迭代可以完成，repeatTime = 3；srcStride = 1，表示相邻迭代间，源操作数前一个方块矩阵与后一个方块矩阵起始地址的间隔为1（单位：16*16*4B），这里的单位实际上是拼接后的方块矩阵的大小；dstGap = 1，表示相邻迭代间，目的操作数前一个迭代第一个分形的结束地址到下一个迭代第一个分形起始地址的间隔为1（单位：512B）；dstFracGap = 0，表示每个迭代内目的操作数前一个分形结束地址与后一个分形起始地址的间隔为0（单位：512B）。如下图示例：repeatTime和srcStride的解释和上图示例一致。dstGap = 0，表示相邻迭代间，目的操作数前一个迭代第一个分形的结束地址和下一个迭代第一个分形起始地址无间隔。dstFracGap = 2，表示每个迭代内目的操作数前一个分形结束地址与后一个分形起始地址的间隔为2（单位：512B）。
-- 对于int4b_t数据类型，每次迭代处理64*64*0.5B数据，可处理4个分形（一个分形512B），每次迭代中，源操作数中4个连续的16*64分形将被合并为1个64*64的方块矩阵，基于方块矩阵做转置，转置后分裂为4个16*64分形，根据目的操作数分形间隔等参数可以有不同的排布。int4b_t数据类型需要两个数拼成一个int8_t或uint8_t的数，拼凑的规则如下：如下图示例：共需要处理6144B的数据，每次迭代处理64*64*0.5B数据，需要3次迭代可以完成，repeatTime = 3；srcStride = 1，表示相邻迭代间，源操作数前一个方块矩阵与后一个方块矩阵起始地址的间隔为1（单位：64*64*0.5B），这里的单位实际上是拼接后的方块矩阵的大小；dstGap = 1，表示相邻迭代间，目的操作数前一个迭代第一个分形的结束地址到下一个迭代第一个分形起始地址的间隔为1（单位：512B）；dstFracGap = 0，表示每个迭代内目的操作数前一个分形的结束地址与后一个分形起始地址的间隔为0（单位：512B）。如下图示例：repeatTime和srcStride的解释和上图示例一致。dstGap = 0，表示相邻迭代间，目的操作数前一个迭代第一个分形的结束地址和下一个迭代第一个分形起始地址无间隔。dstFracGap = 2，表示每个迭代内目的操作数前一个分形的结束地址与后一个分形起始地址的间隔为2（单位：512B）。
-
-#### 函数原型
-
-| 12 | template<typenameT>__aicore__inlinevoidLoadDataWithTranspose(constLocalTensor<T>&dst,constLocalTensor<T>&src,constLoadData2dTransposeParams&loadDataParams) |
-| --- | --- |
-
-#### 参数说明
-
-| 参数名 | 描述 |
-| --- | --- |
-| T | Atlas A2 训练系列产品/Atlas A2 推理系列产品，支持的数据类型为：int4b_t/int8_t/uint8_t/half/bfloat16_t/float/int32_t/uint32_t。Atlas A3 训练系列产品/Atlas A3 推理系列产品，支持的数据类型为：int4b_t/int8_t/uint8_t/half/bfloat16_t/float/int32_t/uint32_t。Atlas 200I/500 A2 推理产品，支持的数据类型为：int4b_t/uint8_t/int8_t/uint16_t/int16_t/half/bfloat16_t/uint32_t/int32_t/float。其中int4b_t数据类型仅在LocalTensor的TPosition为B2时支持。 |
-
-| 参数名称 | 输入/输出 | 含义 |
-| --- | --- | --- |
-| dst | 输出 | 目的操作数，结果矩阵，类型为LocalTensor。Atlas A2 训练系列产品/Atlas A2 推理系列产品，支持的TPosition为A2/B2。Atlas A3 训练系列产品/Atlas A3 推理系列产品，支持的TPosition为A2/B2。Atlas 200I/500 A2 推理产品，支持的TPosition为A2/B2。LocalTensor的起始地址需要保证512字节对齐。数据类型和src的数据类型保持一致。 |
-| src | 输入 | 源操作数，类型为LocalTensor。Atlas A2 训练系列产品/Atlas A2 推理系列产品，支持的TPosition为A1/B1。Atlas A3 训练系列产品/Atlas A3 推理系列产品，支持的TPosition为A1/B1。Atlas 200I/500 A2 推理产品，支持的TPosition为A1/B1。LocalTensor的起始地址需要保证32字节对齐。数据类型和dst的数据类型保持一致。 |
-| loadDataParams | 输入 | LoadDataWithTranspose相关参数，类型为LoadData2dTransposeParams。具体定义请参考${INSTALL_DIR}/include/ascendc/basic_api/interface/kernel_struct_mm.h，${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。参数说明请参考表3。 |
-
-| 参数名称 | 输入/输出 | 含义 |
-| --- | --- | --- |
-| startIndex | 输入 | 方块矩阵ID，搬运起始位置为源操作数中第几个方块矩阵（0 为源操作数中第1个方块矩阵）。取值范围：startIndex∈[0, 65535] 。默认为0。例如，源操作数中有20个大小为16*8*4B的分形（数据类型为float），startIndex=1表示搬运起始位置为第2个方块矩阵，即将第3和第4个分形从源操作数中转置到目的操作数中（第1、2个分形组成第1个方块矩阵，第3、4个分形组成第2个方块矩阵）。 |
-| repeatTimes | 输入 | 迭代次数。对于uint8_t/int8_t数据类型，每次迭代处理32*32*1B数据；对于half/bfloat16_t数据类型，每次迭代处理16*16*2B数据；对于float/int32_t/uint32_t数据类型，每次迭代处理16*16*4B数据。对于int4b_t数据类型，每次迭代处理16*64*0.5B数据。取值范围：repeatTimes∈[0, 255]。默认为0。 |
-| srcStride | 输入 | 相邻迭代间，源操作数前一个分形与后一个分形起始地址的间隔。这里的单位实际上是拼接后的方块矩阵的大小。对于uint8_t/int8_t数据类型，单位是32*32*1B；对于half/bfloat16_t数据类型，单位是16*16*2B；对于float/int32_t/uint32_t数据类型，单位是16*16*4B。对于int4b_t数据类型，每次迭代处理16*64*0.5B数据。取值范围：srcStride∈[0, 65535]。默认为0。 |
-| dstGap | 输入 | 相邻迭代间，目的操作数前一个迭代第一个分形的结束地址到下一个迭代第一个分形起始地址的间隔，单位：512B。取值范围：dstGap∈[0, 65535]。默认为0。 |
-| dstFracGap | 输入 | 每个迭代内目的操作数转置前一个分形结束地址与后一个分形起始地址的间隔，单位为512B，仅在数据类型为float/int32_t/uint32_t/uint8_t/int8_t/int4b_t时有效。取值范围：dstFracGap∈[0, 65535]。默认为0。 |
-| addrMode | 输入 | 预留参数。为后续的功能做保留，开发者暂时无需关注，使用默认值即可。 |
-
-#### 约束说明
-
-- repeat=0表示不执行搬运操作。
-- 开发者需要保证目的操作数转置后的分形没有重叠。
-- 操作数地址对齐要求请参见通用地址对齐约束。
-
-#### 调用示例
-
-- 示例1：该示例输入a矩阵为int8_t类型，shape为[16,32]，输入b矩阵为int8_t类型，shape为[32,64]，输出c的类型为int32_t。a矩阵从A1->A2不转置，b矩阵从B1->B2转置，之后进行Mmad计算和Fixpipe计算。123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152#include"kernel_operator.h"template<typenamedst_T,typenamefmap_T,typenameweight_T,typenamedstCO1_T>classKernelMatmul{public:__aicore__inlineKernelMatmul(){aSize=m*k;bSize=k*n;cSize=m*n;nBlocks=n/16;}__aicore__inlinevoidInit(__gm__uint8_t*a,__gm__uint8_t*b,__gm__uint8_t*c){aGM.SetGlobalBuffer((__gm__fmap_T*)a);bGM.SetGlobalBuffer((__gm__weight_T*)b);cGM.SetGlobalBuffer((__gm__dstCO1_T*)c);pipe.InitBuffer(inQueueA1,1,aSize*sizeof(fmap_T));pipe.InitBuffer(inQueueA2,1,aSize*sizeof(fmap_T));pipe.InitBuffer(inQueueB1,1,bSize*sizeof(weight_T));pipe.InitBuffer(inQueueB2,2,bSize*sizeof(weight_T));pipe.InitBuffer(outQueueCO1,1,cSize*sizeof(dstCO1_T));}__aicore__inlinevoidProcess(){CopyIn();SplitA();SplitB();Compute();CopyOut();}private:__aicore__inlinevoidCopyIn(){AscendC::LocalTensor<fmap_T>a1Local=inQueueA1.AllocTensor<fmap_T>();AscendC::LocalTensor<weight_T>b1Local=inQueueB1.AllocTensor<weight_T>();AscendC::Nd2NzParamsdataCopyA1Params;dataCopyA1Params.ndNum=1;dataCopyA1Params.nValue=m;dataCopyA1Params.dValue=k;dataCopyA1Params.srcNdMatrixStride=0;dataCopyA1Params.srcDValue=k;dataCopyA1Params.dstNzC0Stride=m;dataCopyA1Params.dstNzNStride=1;dataCopyA1Params.dstNzMatrixStride=0;AscendC::DataCopy(a1Local,aGM,dataCopyA1Params);AscendC::Nd2NzParamsdataCopyB1Params;dataCopyB1Params.ndNum=1;dataCopyB1Params.nValue=k;dataCopyB1Params.dValue=n;dataCopyB1Params.srcNdMatrixStride=0;dataCopyB1Params.srcDValue=n;dataCopyB1Params.dstNzC0Stride=k;dataCopyB1Params.dstNzNStride=1;dataCopyB1Params.dstNzMatrixStride=0;AscendC::DataCopy(b1Local,bGM,dataCopyB1Params);inQueueA1.EnQue(a1Local);inQueueB1.EnQue(b1Local);}__aicore__inlinevoidSplitA(){AscendC::LocalTensor<fmap_T>a1Local=inQueueA1.DeQue<fmap_T>();AscendC::LocalTensor<fmap_T>a2Local=inQueueA2.AllocTensor<fmap_T>();AscendC::LoadData2DParamsloadL0AParams;loadL0AParams.repeatTimes=aSize*sizeof(fmap_T)/512;loadL0AParams.srcStride=1;loadL0AParams.ifTranspose=false;AscendC::LoadData(a2Local,a1Local,loadL0AParams);inQueueA2.EnQue<fmap_T>(a2Local);inQueueA1.FreeTensor(a1Local);}__aicore__inlinevoidSplitB(){AscendC::LocalTensor<weight_T>b1Local=inQueueB1.DeQue<weight_T>();AscendC::LocalTensor<weight_T>b2Local=inQueueB2.AllocTensor<weight_T>();AscendC::LoadData2dTransposeParamsloadDataParams;loadDataParams.startIndex=0;nBlockSize=32;loadDataParams.repeatTimes=n/nBlockSize;loadDataParams.srcStride=1;loadDataParams.dstGap=1;loadDataParams.dstFracGap=0;AscendC::LoadDataWithTranspose(b2Local,b1Local,loadDataParams);inQueueB1.FreeTensor(b1Local);inQueueB2.EnQue<weight_T>(b2Local);}__aicore__inlinevoidCompute(){AscendC::LocalTensor<fmap_T>a2Local=inQueueA2.DeQue<fmap_T>();AscendC::LocalTensor<weight_T>b2Local=inQueueB2.DeQue<weight_T>();AscendC::LocalTensor<dstCO1_T>c1Local=outQueueCO1.AllocTensor<dstCO1_T>();AscendC::MmadParamsmmadParams;mmadParams.m=m;mmadParams.n=n;mmadParams.k=k;AscendC::Mmad(c1Local,a2Local,b2Local,mmadParams);outQueueCO1.EnQue<dstCO1_T>(c1Local);inQueueA2.FreeTensor(a2Local);inQueueB2.FreeTensor(b2Local);}__aicore__inlinevoidCopyOut(){AscendC::LocalTensor<dstCO1_T>c1Local=outQueueCO1.DeQue<dstCO1_T>();AscendC::FixpipeParamsV220fixpipeParams;fixpipeParams.nSize=n;fixpipeParams.mSize=m;fixpipeParams.srcStride=m;fixpipeParams.dstStride=n;fixpipeParams.ndNum=1;fixpipeParams.srcNdStride=0;fixpipeParams.dstNdStride=0;AscendC::Fixpipe(cGM,c1Local,fixpipeParams);outQueueCO1.FreeTensor(c1Local);}private:AscendC::TPipepipe;AscendC::TQue<AscendC::TPosition::A1,1>inQueueA1;AscendC::TQue<AscendC::TPosition::A2,1>inQueueA2;AscendC::TQue<AscendC::TPosition::B1,1>inQueueB1;AscendC::TQue<AscendC::TPosition::B2,1>inQueueB2;// dst queueAscendC::TQue<AscendC::TPosition::CO1,1>outQueueCO1;AscendC::GlobalTensor<fmap_T>aGM;AscendC::GlobalTensor<weight_T>bGM;AscendC::GlobalTensor<dst_T>cGM;uint16_tm=16,k=32,n=64;uint8_tnBlockSize=16;uint16_tc0Size=16;uint16_taSize,bSize,cSize,nBlocks;};extern"C"__global____aicore__voidcube_matmul_loaddata_operator_int8_t(__gm__uint8_t*a,__gm__uint8_t*b,__gm__uint8_t*c){KernelMatmul<dst_type,fmap_type,weight_type,dstCO1_type>op;op.Init(a,b,c);op.Process();}
-- 示例2：该示例输入a矩阵为half类型，shape为[16,32]，输入b矩阵为half类型，shape为[32,32]，输出c的类型为float。a矩阵从A1->A2不转置，b矩阵从B1->B2转置，之后进行Mmad计算和Fixpipe计算。123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153#include"kernel_operator.h"template<typenamedst_T,typenamefmap_T,typenameweight_T,typenamedstCO1_T>classKernelMatmul{public:__aicore__inlineKernelMatmul(){aSize=m*k;bSize=k*n;cSize=m*n;nBlocks=n/16;}__aicore__inlinevoidInit(__gm__uint8_t*a,__gm__uint8_t*b,__gm__uint8_t*c){aGM.SetGlobalBuffer((__gm__fmap_T*)a);bGM.SetGlobalBuffer((__gm__weight_T*)b);cGM.SetGlobalBuffer((__gm__dstCO1_T*)c);pipe.InitBuffer(inQueueA1,1,aSize*sizeof(fmap_T));pipe.InitBuffer(inQueueA2,1,aSize*sizeof(fmap_T));pipe.InitBuffer(inQueueB1,1,bSize*sizeof(weight_T));pipe.InitBuffer(inQueueB2,2,bSize*sizeof(weight_T));pipe.InitBuffer(outQueueCO1,1,cSize*sizeof(dstCO1_T));}__aicore__inlinevoidProcess(){CopyIn();SplitA();SplitB();Compute();CopyOut();}private:__aicore__inlinevoidCopyIn(){AscendC::LocalTensor<fmap_T>a1Local=inQueueA1.AllocTensor<fmap_T>();AscendC::LocalTensor<weight_T>b1Local=inQueueB1.AllocTensor<weight_T>();AscendC::Nd2NzParamsdataCopyA1Params;dataCopyA1Params.ndNum=1;dataCopyA1Params.nValue=m;dataCopyA1Params.dValue=k;dataCopyA1Params.srcNdMatrixStride=0;dataCopyA1Params.srcDValue=k;dataCopyA1Params.dstNzC0Stride=m;dataCopyA1Params.dstNzNStride=1;dataCopyA1Params.dstNzMatrixStride=0;AscendC::DataCopy(a1Local,aGM,dataCopyA1Params);AscendC::Nd2NzParamsdataCopyB1Params;dataCopyB1Params.ndNum=1;dataCopyB1Params.nValue=k;dataCopyB1Params.dValue=n;dataCopyB1Params.srcNdMatrixStride=0;dataCopyB1Params.srcDValue=n;dataCopyB1Params.dstNzC0Stride=k;dataCopyB1Params.dstNzNStride=1;dataCopyB1Params.dstNzMatrixStride=0;AscendC::DataCopy(b1Local,bGM,dataCopyB1Params);inQueueA1.EnQue(a1Local);inQueueB1.EnQue(b1Local);}__aicore__inlinevoidSplitA(){AscendC::LocalTensor<fmap_T>a1Local=inQueueA1.DeQue<fmap_T>();AscendC::LocalTensor<fmap_T>a2Local=inQueueA2.AllocTensor<fmap_T>();AscendC::LoadData2DParamsloadL0AParams;loadL0AParams.repeatTimes=aSize*sizeof(fmap_T)/512;loadL0AParams.srcStride=1;loadL0AParams.ifTranspose=false;AscendC::LoadData(a2Local,a1Local,loadL0AParams);inQueueA2.EnQue<fmap_T>(a2Local);inQueueA1.FreeTensor(a1Local);}__aicore__inlinevoidSplitB(){AscendC::LocalTensor<weight_T>b1Local=inQueueB1.DeQue<weight_T>();AscendC::LocalTensor<weight_T>b2Local=inQueueB2.AllocTensor<weight_T>();AscendC::LoadData2dTransposeParamsloadDataParams;loadDataParams.startIndex=0;nBlockSize=16;loadDataParams.repeatTimes=k/nBlockSize;loadDataParams.srcStride=1;loadDataParams.dstGap=1;for(inti=0;i<(n/nBlockSize);++i){AscendC::LoadDataWithTranspose(b2Local[i*16*nBlockSize],b1Local[i*k*nBlockSize],loadDataParams);}inQueueB1.FreeTensor(b1Local);inQueueB2.EnQue<weight_T>(b2Local);}__aicore__inlinevoidCompute(){AscendC::LocalTensor<fmap_T>a2Local=inQueueA2.DeQue<fmap_T>();AscendC::LocalTensor<weight_T>b2Local=inQueueB2.DeQue<weight_T>();AscendC::LocalTensor<dstCO1_T>c1Local=outQueueCO1.AllocTensor<dstCO1_T>();AscendC::MmadParamsmmadParams;mmadParams.m=m;mmadParams.n=n;mmadParams.k=k;AscendC::Mmad(c1Local,a2Local,b2Local,mmadParams);outQueueCO1.EnQue<dstCO1_T>(c1Local);inQueueA2.FreeTensor(a2Local);inQueueB2.FreeTensor(b2Local);}__aicore__inlinevoidCopyOut(){AscendC::LocalTensor<dstCO1_T>c1Local=outQueueCO1.DeQue<dstCO1_T>();AscendC::FixpipeParamsV220fixpipeParams;fixpipeParams.nSize=n;fixpipeParams.mSize=m;fixpipeParams.srcStride=m;fixpipeParams.dstStride=n;fixpipeParams.ndNum=1;fixpipeParams.srcNdStride=0;fixpipeParams.dstNdStride=0;AscendC::Fixpipe(cGM,c1Local,fixpipeParams);outQueueCO1.FreeTensor(c1Local);}private:AscendC::TPipepipe;AscendC::TQue<AscendC::TPosition::A1,1>inQueueA1;AscendC::TQue<AscendC::TPosition::A2,1>inQueueA2;AscendC::TQue<AscendC::TPosition::B1,1>inQueueB1;AscendC::TQue<AscendC::TPosition::B2,1>inQueueB2;// dst queueAscendC::TQue<AscendC::TPosition::CO1,1>outQueueCO1;AscendC::GlobalTensor<fmap_T>aGM;AscendC::GlobalTensor<weight_T>bGM;AscendC::GlobalTensor<dst_T>cGM;uint16_tm=16,k=32,n=32;uint8_tnBlockSize=16;uint16_tc0Size=16;uint16_taSize,bSize,cSize,nBlocks;};extern"C"__global____aicore__voidcube_matmul_loaddata_operator_half(__gm__uint8_t*a,__gm__uint8_t*b,__gm__uint8_t*c){KernelMatmul<dst_type,fmap_type,weight_type,dstCO1_type>op;op.Init(a,b,c);op.Process();}
-- 示例3：该示例输入a矩阵为float类型，shape为[16,16]，输入b矩阵为float类型，shape为[16,32]，输出c的类型为float。a矩阵从A1->A2不转置，b矩阵从B1->B2转置，之后进行Mmad计算和Fixpipe计算。123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152#include"kernel_operator.h"template<typenamedst_T,typenamefmap_T,typenameweight_T,typenamedstCO1_T>classKernelMatmul{public:__aicore__inlineKernelMatmul(){aSize=m*k;bSize=k*n;cSize=m*n;nBlocks=n/16;}__aicore__inlinevoidInit(__gm__uint8_t*a,__gm__uint8_t*b,__gm__uint8_t*c){aGM.SetGlobalBuffer((__gm__fmap_T*)a);bGM.SetGlobalBuffer((__gm__weight_T*)b);cGM.SetGlobalBuffer((__gm__dstCO1_T*)c);pipe.InitBuffer(inQueueA1,1,aSize*sizeof(fmap_T));pipe.InitBuffer(inQueueA2,1,aSize*sizeof(fmap_T));pipe.InitBuffer(inQueueB1,1,bSize*sizeof(weight_T));pipe.InitBuffer(inQueueB2,2,bSize*sizeof(weight_T));pipe.InitBuffer(outQueueCO1,1,cSize*sizeof(dstCO1_T));}__aicore__inlinevoidProcess(){CopyIn();SplitA();SplitB();Compute();CopyOut();}private:__aicore__inlinevoidCopyIn(){AscendC::LocalTensor<fmap_T>a1Local=inQueueA1.AllocTensor<fmap_T>();AscendC::LocalTensor<weight_T>b1Local=inQueueB1.AllocTensor<weight_T>();AscendC::Nd2NzParamsdataCopyA1Params;dataCopyA1Params.ndNum=1;dataCopyA1Params.nValue=m;dataCopyA1Params.dValue=k;dataCopyA1Params.srcNdMatrixStride=0;dataCopyA1Params.srcDValue=k;dataCopyA1Params.dstNzC0Stride=m;dataCopyA1Params.dstNzNStride=1;dataCopyA1Params.dstNzMatrixStride=0;AscendC::DataCopy(a1Local,aGM,dataCopyA1Params);AscendC::Nd2NzParamsdataCopyB1Params;dataCopyB1Params.ndNum=1;dataCopyB1Params.nValue=k;dataCopyB1Params.dValue=n;dataCopyB1Params.srcNdMatrixStride=0;dataCopyB1Params.srcDValue=n;dataCopyB1Params.dstNzC0Stride=k;dataCopyB1Params.dstNzNStride=1;dataCopyB1Params.dstNzMatrixStride=0;AscendC::DataCopy(b1Local,bGM,dataCopyB1Params);inQueueA1.EnQue(a1Local);inQueueB1.EnQue(b1Local);}__aicore__inlinevoidSplitA(){AscendC::LocalTensor<fmap_T>a1Local=inQueueA1.DeQue<fmap_T>();AscendC::LocalTensor<fmap_T>a2Local=inQueueA2.AllocTensor<fmap_T>();AscendC::LoadData2DParamsloadL0AParams;loadL0AParams.repeatTimes=aSize*sizeof(fmap_T)/512;loadL0AParams.srcStride=1;loadL0AParams.ifTranspose=false;AscendC::LoadData(a2Local,a1Local,loadL0AParams);inQueueA2.EnQue<fmap_T>(a2Local);inQueueA1.FreeTensor(a1Local);}__aicore__inlinevoidSplitB(){AscendC::LocalTensor<weight_T>b1Local=inQueueB1.DeQue<weight_T>();AscendC::LocalTensor<weight_T>b2Local=inQueueB2.AllocTensor<weight_T>();AscendC::LoadData2dTransposeParamsloadDataParams;loadDataParams.startIndex=0;nBlockSize=16;loadDataParams.repeatTimes=n/nBlockSize;loadDataParams.srcStride=1;loadDataParams.dstGap=0;loadDataParams.dstFracGap=n/nBlockSize-1;AscendC::LoadDataWithTranspose(b2Local,b1Local,loadDataParams);inQueueB1.FreeTensor(b1Local);inQueueB2.EnQue<weight_T>(b2Local);}__aicore__inlinevoidCompute(){AscendC::LocalTensor<fmap_T>a2Local=inQueueA2.DeQue<fmap_T>();AscendC::LocalTensor<weight_T>b2Local=inQueueB2.DeQue<weight_T>();AscendC::LocalTensor<dstCO1_T>c1Local=outQueueCO1.AllocTensor<dstCO1_T>();AscendC::MmadParamsmmadParams;mmadParams.m=m;mmadParams.n=n;mmadParams.k=k;AscendC::Mmad(c1Local,a2Local,b2Local,mmadParams);outQueueCO1.EnQue<dstCO1_T>(c1Local);inQueueA2.FreeTensor(a2Local);inQueueB2.FreeTensor(b2Local);}__aicore__inlinevoidCopyOut(){AscendC::LocalTensor<dstCO1_T>c1Local=outQueueCO1.DeQue<dstCO1_T>();AscendC::FixpipeParamsV220fixpipeParams;fixpipeParams.nSize=n;fixpipeParams.mSize=m;fixpipeParams.srcStride=m;fixpipeParams.dstStride=n;fixpipeParams.ndNum=1;fixpipeParams.srcNdStride=0;fixpipeParams.dstNdStride=0;AscendC::Fixpipe(cGM,c1Local,fixpipeParams);outQueueCO1.FreeTensor(c1Local);}private:AscendC::TPipepipe;AscendC::TQue<AscendC::TPosition::A1,1>inQueueA1;AscendC::TQue<AscendC::TPosition::A2,1>inQueueA2;AscendC::TQue<AscendC::TPosition::B1,1>inQueueB1;AscendC::TQue<AscendC::TPosition::B2,1>inQueueB2;// dst queueAscendC::TQue<AscendC::TPosition::CO1,1>outQueueCO1;AscendC::GlobalTensor<fmap_T>aGM;AscendC::GlobalTensor<weight_T>bGM;AscendC::GlobalTensor<dst_T>cGM;uint16_tm=16,k=16,n=32;uint8_tnBlockSize=16;uint16_tc0Size=16;uint16_taSize,bSize,cSize,nBlocks;};extern"C"__global____aicore__voidcube_matmul_loaddata_operator_float(__gm__uint8_t*a,__gm__uint8_t*b,__gm__uint8_t*c){KernelMatmul<dst_type,fmap_type,weight_type,dstCO1_type>op;op.Init(a,b,c);op.Process();}

package/resources/kop-2026-10-23-0.1.17-beta.1/product_capabilities/kernel_optflow/skills/KernelWiki-private/wiki/ascend/api-definitions/ascendc/pages/atlasascendc_api_07_0249.md

@@ -1,128 +0,0 @@
----
-id: api-ascendc-atlasascendc_api_07_0249
-title: "AscendC Mmad"
-type: api-definition
-vendor: ascend
-func_name: "Mmad"
-namespace: ascendc
-header: kernel_operator.h
-signature: "see body"
-source:
-- path: "https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/850/API/ascendcopapi/atlasascendc_api_07_0249.html"
-  anchor: API
-architectures:
-- ascend910b
-languages:
-- ascendc
-tags:
-- ascendc
-- cube-unit
-confidence: source-reported
-evidence_level: spec
----
-# Mmad-矩阵计算-矩阵计算（ISASI）-基础API-Ascend C算子开发接口-API-CANN社区版8.5.0开发文档-昇腾社区
-**页面ID:** atlasascendc_api_07_0249
-**来源:** https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/850/API/ascendcopapi/atlasascendc_api_07_0249.html
----
-
-# Mmad
-
-#### 产品支持情况
-
-| 产品 | 是否支持（不传入bias的原型） | 是否支持（传入bias的原型） |
-| --- | --- | --- |
-| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ | √ |
-| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ | √ |
-| Atlas 200I/500 A2 推理产品 | √ | √ |
-| Atlas 推理系列产品AI Core | √ | x |
-| Atlas 推理系列产品Vector Core | x | x |
-| Atlas 训练系列产品 | √ | x |
-
-#### 功能说明
-
-完成矩阵乘加（C += A * B）操作。矩阵ABC分别为A2/B2/CO1中的数据。
-
-- ABC矩阵的数据排布格式分别为ZZ，ZN，NZ。下图中每个小方格代表一个分形矩阵，Z字形的黑色线条代表数据的排列顺序，起始点是左上角，终点是右下角。矩阵A：每个分形矩阵内部是行主序，分形矩阵之间是行主序。简称小Z大Z格式。分形shape为16 x (32B/sizeof(AType))，大小为512Byte。矩阵B：每个分形矩阵内部是列主序，分形矩阵之间是行主序。简称小N大Z格式。分形shape为 (32B/sizeof(BType)) x 16，大小为512Byte。矩阵C：每个分形矩阵内部是行主序，分形矩阵之间是列主序。简称小Z大N格式。分形shape为16 x 16，大小为256个元素。以下是一个简单的例子，假设分形矩阵的大小是2x2（并不符合真实情况，仅作为示例），矩阵ABC的大小都是4x4。0123456789101112131415矩阵A的排列顺序：0，1，4，5，2，3，6，7，8，9，12，13，10，11，14，15。矩阵B的排列顺序：0，4，1，5，2，6，3，7，8，12，9，13，10，14，11，15。矩阵C的排列顺序：0，1，4，5，8，9，12，13，2，3，6，7，10，11，14，15。
-
-#### 函数原型
-
-- 不传入bias12template<typenameT,typenameU,typenameS>__aicore__inlinevoidMmad(constLocalTensor<T>&dst,constLocalTensor<U>&fm,constLocalTensor<S>&filter,constMmadParams&mmadParams)
-- 传入bias12template<typenameT,typenameU,typenameS,typenameV>__aicore__inlinevoidMmad(constLocalTensor<T>&dst,constLocalTensor<U>&fm,constLocalTensor<S>&filter,constLocalTensor<V>&bias,constMmadParams&mmadParams)
-
-#### 参数说明
-
-| 参数名 | 描述 |
-| --- | --- |
-| T | 目的操作数的数据类型。 |
-| U | 左矩阵的数据类型。 |
-| S | 右矩阵的数据类型。 |
-| V | Bias矩阵的数据类型。 |
-
-| 参数名称 | 输入/输出 | 含义 |
-| --- | --- | --- |
-| dst | 输出 | 目的操作数，结果矩阵，类型为LocalTensor，支持的TPosition为CO1。LocalTensor的起始地址需要256个元素对齐。 |
-| fm | 输入 | 源操作数，左矩阵a，类型为LocalTensor，支持的TPosition为A2。LocalTensor的起始地址需要512字节对齐。 |
-| filter | 输入 | 源操作数，右矩阵b，类型为LocalTensor，支持的TPosition为B2。LocalTensor的起始地址需要512字节对齐。 |
-| bias | 输入 | 源操作数，bias矩阵，类型为LocalTensor，支持的TPosition为C2、CO1。LocalTensor的起始地址需要128字节对齐。 |
-| mmadParams | 输入 | 矩阵乘相关参数，该参数类型的具体定义请参考${INSTALL_DIR}/include/ascendc/basic_api/interface/kernel_struct_mm.h，${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。MmadParams参数说明请参考表3。 |
-
-| 参数名称 | 含义 |
-| --- | --- |
-| m | 左矩阵Height，取值范围：m∈[0, 4095] 。默认值为0。 |
-| n | 右矩阵Width，取值范围：n∈[0, 4095] 。默认值为0。 |
-| k | 左矩阵Width、右矩阵Height，取值范围：k∈[0, 4095] 。默认值为0。 |
-| cmatrixInitVal | 配置C矩阵初始值是否为0。默认值true。true：C矩阵初始值为0；false：C矩阵初始值通过cmatrixSource参数进行配置。 |
-| cmatrixSource | 配置C矩阵初始值是否来源于C2（存放Bias的硬件缓存区）。默认值为false。false：来源于CO1；true：来源于C2。Atlas 训练系列产品，仅支持配置为false。Atlas 推理系列产品AI Core，仅支持配置为false。Atlas A2 训练系列产品/Atlas A2 推理系列产品，支持配置为true/false。Atlas A3 训练系列产品/Atlas A3 推理系列产品，支持配置为true/false。Atlas 200I/500 A2 推理产品，支持配置为true/false。注意：带bias输入的接口配置该参数无效，会根据bias输入的位置来判断C矩阵初始值是否来源于CO1还是C2。 |
-| isBias | 该参数废弃，新开发内容不要使用该参数。如果需要累加初始矩阵，请使用带bias的接口来实现；也可以通过cmatrixInitVal和cmatrixSource参数配置C矩阵的初始值来源来实现。推荐使用带bias的接口，相比于配置cmatrixInitVal和cmatrixSource参数更加简单方便。配置是否需要累加初始矩阵，默认值为false，取值说明如下：false：矩阵乘，无需累加初始矩阵，C = A * B。true：矩阵乘加，需要累加初始矩阵，C += A * B。 |
-| unitFlag | unitFlag是一种Mmad指令和Fixpipe指令细粒度的并行，使能该功能后，硬件每计算完一个分形，计算结果就会被搬出，该功能不适用于在L0C Buffer累加的场景。取值说明如下：0：保留值；2：使能unitFlag，硬件执行完指令之后，不会关闭unitFlag功能；3：使能unitFlag，硬件执行完指令之后，会将unitFlag功能关闭。使能该功能时，Mmad指令的unitFlag在最后1个分形设置为3、其余分形计算设置为2即可。该参数仅支持如下型号：Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品 |
-| fmOffset | 预留参数。为后续的功能做保留，开发者暂时无需关注，使用默认值即可。 |
-| enSsparse |
-| enWinogradA |
-| enWinogradB |
-| kDirectionAlign |
-
-| 左矩阵fm type | 右矩阵filter type | 结果矩阵dst type |
-| --- | --- | --- |
-| uint8_t | uint8_t | uint32_t |
-| int8_t | int8_t | int32_t |
-| uint8_t | int8_t | int32_t |
-| half | half | half说明：该精度类型组合，精度无法达到双千分之一，且后续处理器版本不支持该类型转换，建议直接使用half输入float输出。双千分之一是指每个实际数据和真值数据之间的误差不超过千分之一，误差超过千分之一的数据总和不超过总数据数的千分之一。 |
-| half | half | float |
-
-| 左矩阵fm type | 右矩阵filter type | 结果矩阵dst type |
-| --- | --- | --- |
-| int8_t | int8_t | int32_t |
-| uint8_t | int8_t | int32_t |
-| uint8_t | uint8_t | int32_t |
-| half | half | half说明：该精度类型组合，精度无法达到双千分之一，且后续处理器版本不支持该类型转换，建议直接使用half输入float输出。双千分之一是指每个实际数据和真值数据之间的误差不超过千分之一，误差超过千分之一的数据总和不超过总数据数的千分之一。 |
-| half | half | float |
-| int4b_t | int4b_t | int32_t |
-
-| 左矩阵fm type | 右矩阵filter type | 结果矩阵dst type |
-| --- | --- | --- |
-| int8_t | int8_t | int32_t |
-| half | half | float |
-| float | float | float |
-| bfloat16_t | bfloat16_t | float |
-| int4b_t | int4b_t | int32_t |
-
-| 左矩阵fm type | 右矩阵filter type | bias type | 结果矩阵dst type |
-| --- | --- | --- | --- |
-| int8_t | int8_t | int32_t | int32_t |
-| half | half | float | float |
-| float | float | float | float |
-| bfloat16_t | bfloat16_t | float | float |
-
-#### 约束说明
-
-- dst只支持位于CO1，fm只支持位于A2，filter只支持位于B2。
-- 当M、K、N中的任意一个值为0时，该指令不会被执行。
-- 当M = 1时，会默认开启GEMV（General Matrix-Vector Multiplication）功能。在这种情况下，Mmad API从L0A Buffer读取数据时，会以ND格式进行读取，而不会将其视为ZZ格式。所以此时左矩阵需要直接按照ND格式进行排布。
-- 操作数地址对齐要求请参见通用地址对齐约束。
-- 通过一个具体的示例来介绍无效数据与有效数据的排布方式。数据为half类型，当M=30，K=70，N=40的时候，A2中有2x5个16x16矩阵，B2中有5x3个16x16矩阵，CO1中有2x3个16x16矩阵。在这种场景下M、K和N都不是16的倍数，A2中右下角的矩阵实际有效的数据只有14x6个，但是也需要占一个16x16矩阵的空间，其他无效数据在计算中会被忽略。一个16x16分形的数据块中，无效数据与有效数据排布的方式示意如下：
-
-#### 调用示例
-
-不含矩阵乘偏置的样例请参考Mmad样例。
-
-包含矩阵乘偏置的样例请参考包含矩阵乘偏置的Mmad样例。