mindspore 2.6.0rc1__cp39-cp39-manylinux1_x86_64.whl → 2.7.0__cp39-cp39-manylinux1_x86_64.whl

mindspore/include/mindspore/ccsrc/pynative/grad/function/auto_generate/pyboost_native_grad_functions.h

@@ -19,503 +19,547 @@ class NativeFunc {
     static NodePtr RunOpInVm(const PrimitivePtr &prim, const NodePtrList &inputs);
     static NodePtr RunOpDeprecated(const PrimitivePtr &prim, const NodePtrList &inputs);
     static ValuePtr ConvertNode2Value(const NodePtr &node);
-    static NodePtr ViewAs(const NodePtr &input, const NodePtr &other);
-    static NodePtr ConvolutionStr(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups);
-    static NodePtr Max(const NodePtr &input);
-    static NodePtr DivMod(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
-    static NodePtr FloorDiv(const NodePtr &input, const NodePtr &other);
-    static NodePtr SiLU(const NodePtr &input);
-    static NodePtr ClampScalar(const NodePtr &input, const NodePtr &min, const NodePtr &max);
-    static NodePtr EluGradExt(const NodePtr &dout, const NodePtr &x_or_out, const NodePtr &alpha, const NodePtr &is_result);
-    static NodePtr AdamW(const NodePtr &var, const NodePtr &m, const NodePtr &v, const NodePtr &max_v, const NodePtr &gradient, const NodePtr &step, const NodePtr &lr, const NodePtr &beta1, const NodePtr &beta2, const NodePtr &decay, const NodePtr &eps, const NodePtr &amsgrad, const NodePtr &maximize);
-    static NodePtr NonZero(const NodePtr &input);
-    static NodePtr InnerInplaceIndexPut(const NodePtr &input, const NodePtr &indices, const NodePtr &values, const NodePtr &accumulate);
-    static NodePtr SpeedFusionAttention(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &head_num, const NodePtr &input_layout, const NodePtr &seed, const NodePtr &offset, const NodePtr &pse, const NodePtr &padding_mask, const NodePtr &atten_mask, const NodePtr &scale, const NodePtr &keep_prob, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &sparse_mode, const NodePtr &gen_mask_parallel, const NodePtr &sync, const NodePtr &pse_type, const NodePtr &q_start_idx, const NodePtr &kv_start_idx);
-    static NodePtr RemainderTensorScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr InplaceExp(const NodePtr &input);
-    static NodePtr InnerCommIsend(const NodePtr &input, const NodePtr &dst, const NodePtr &group, const NodePtr &tag);
-    static NodePtr ThresholdGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &threshold);
-    static NodePtr IndexAddExt(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &source, const NodePtr &alpha);
-    static NodePtr Lerp(const NodePtr &input, const NodePtr &end, const NodePtr &weight);
-    static NodePtr RotaryPositionEmbedding(const NodePtr &x, const NodePtr &cos, const NodePtr &sin, const NodePtr &mode);
-    static NodePtr Dense(const NodePtr &input, const NodePtr &weight, const NodePtr &bias);
-    static NodePtr ArgMaxWithValue(const NodePtr &input, const NodePtr &axis, const NodePtr &keep_dims);
-    static NodePtr NewZeros(const NodePtr &input, const NodePtr &size, const NodePtr &dtype);
-    static NodePtr GridSampler3D(const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners);
-    static NodePtr ReverseV2(const NodePtr &input, const NodePtr &axis);
-    static NodePtr Erfinv(const NodePtr &input);
-    static NodePtr NLLLoss(const NodePtr &logits, const NodePtr &labels, const NodePtr &weight, const NodePtr &reduction, const NodePtr &ignore_index);
-    static NodePtr DropoutGenMaskExt(const NodePtr &shape, const NodePtr &p, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr Addbmm(const NodePtr &input, const NodePtr &batch1, const NodePtr &batch2, const NodePtr &beta, const NodePtr &alpha);
-    static NodePtr ZerosLikeExt(const NodePtr &input, const NodePtr &dtype);
-    static NodePtr InplaceHardtanh(const NodePtr &input, const NodePtr &min_val, const NodePtr &max_val);
-    static NodePtr DropoutDoMaskExt(const NodePtr &input, const NodePtr &mask, const NodePtr &p);
-    static NodePtr UpsampleBicubic2DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr LogicalAnd(const NodePtr &x, const NodePtr &y);
-    static NodePtr Embedding(const NodePtr &input, const NodePtr &weight, const NodePtr &padding_idx, const NodePtr &max_norm, const NodePtr &norm_type, const NodePtr &scale_grad_by_freq);
-    static NodePtr DistCommAllGather(const NodePtr &tensor_list, const NodePtr &input, const NodePtr &rank_size, const NodePtr &group);
-    static NodePtr ConvTranspose2D(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &output_padding, const NodePtr &groups, const NodePtr &dilation);
-    static NodePtr HShrink(const NodePtr &input, const NodePtr &lambd);
-    static NodePtr DistCommReduceScatter(const NodePtr &other, const NodePtr &input_list, const NodePtr &rank_size, const NodePtr &op_type, const NodePtr &group);
-    static NodePtr DistCommReduce(const NodePtr &input, const NodePtr &op_type, const NodePtr &dst, const NodePtr &group);
-    static NodePtr HSwishGrad(const NodePtr &y_grad, const NodePtr &x);
+    static NodePtr InplaceElu(const NodePtr &input, const NodePtr &alpha);
     static NodePtr CumminExt(const NodePtr &input, const NodePtr &dim);
-    static NodePtr Meshgrid(const NodePtr &inputs, const NodePtr &indexing);
-    static NodePtr MaskedSelectGrad(const NodePtr &input, const NodePtr &mask, const NodePtr &grad);
-    static NodePtr Threshold(const NodePtr &input, const NodePtr &threshold, const NodePtr &value);
+    static NodePtr InnerCommIsend(const NodePtr &input, const NodePtr &dst, const NodePtr &group, const NodePtr &tag);
+    static NodePtr MultiScaleDeformableAttn(const NodePtr &value, const NodePtr &shape, const NodePtr &offset, const NodePtr &locations, const NodePtr &weight);
     static NodePtr ReduceAny(const NodePtr &x, const NodePtr &axis, const NodePtr &keep_dims);
+    static NodePtr InplaceFloorDivide(const NodePtr &input, const NodePtr &other);
+    static NodePtr MedianDim(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr DivMods(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
+    static NodePtr NLLLoss2d(const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &reduction, const NodePtr &ignore_index);
+    static NodePtr ExpandDimsView(const NodePtr &input, const NodePtr &dim);
+    static NodePtr NormalFloatTensor(const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr SeLUExt(const NodePtr &input);
+    static NodePtr EluExt(const NodePtr &input, const NodePtr &alpha);
+    static NodePtr Zeros(const NodePtr &size, const NodePtr &dtype);
+    static NodePtr Expm1(const NodePtr &input);
+    static NodePtr GroupNorm(const NodePtr &input, const NodePtr &num_groups, const NodePtr &weight, const NodePtr &bias, const NodePtr &eps);
+    static NodePtr DistCommBroadcast(const NodePtr &input, const NodePtr &src, const NodePtr &rank_id, const NodePtr &group);
+    static NodePtr Copy(const NodePtr &input);
+    static NodePtr UpsampleNearest3D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales);
+    static NodePtr InplaceAddsExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr NonZero(const NodePtr &input);
+    static NodePtr InplaceDiv(const NodePtr &input, const NodePtr &other);
+    static NodePtr ExpandAs(const NodePtr &input, const NodePtr &other);
+    static NodePtr BatchNormReduceGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &mean, const NodePtr &invstd, const NodePtr &weight, const NodePtr &input_g, const NodePtr &weight_g, const NodePtr &bias_g);
+    static NodePtr Hardtanh(const NodePtr &input, const NodePtr &min_val, const NodePtr &max_val);
+    static NodePtr PReLU(const NodePtr &input, const NodePtr &weight);
+    static NodePtr CountNonZero(const NodePtr &input, const NodePtr &dim);
+    static NodePtr InplaceMul(const NodePtr &input, const NodePtr &other);
     static NodePtr InnerCommIrecv(const NodePtr &tag, const NodePtr &src, const NodePtr &shape, const NodePtr &group, const NodePtr &dtype);
+    static NodePtr Mla(const NodePtr &query, const NodePtr &q_rope, const NodePtr &kv_cache, const NodePtr &k_rope, const NodePtr &block_tables, const NodePtr &attn_mask, const NodePtr &deq_scale_qk, const NodePtr &deq_scale_pv, const NodePtr &q_seq_lens, const NodePtr &context_lens, const NodePtr &head_num, const NodePtr &scale_value, const NodePtr &kv_head_num, const NodePtr &mask_mode, const NodePtr &is_ring);
+    static NodePtr RemainderScalarTensor(const NodePtr &input, const NodePtr &other);
+    static NodePtr Repeat(const NodePtr &input, const NodePtr &repeats);
+    static NodePtr SoftmaxBackward(const NodePtr &dout, const NodePtr &out, const NodePtr &dim);
+    static NodePtr FloorDivScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr InplaceZero(const NodePtr &input);
+    static NodePtr NewZeros(const NodePtr &input, const NodePtr &size, const NodePtr &dtype);
+    static NodePtr GreaterEqual(const NodePtr &input, const NodePtr &other);
+    static NodePtr GreaterEqualScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr SmoothL1LossGrad(const NodePtr &prediction, const NodePtr &target, const NodePtr &dout, const NodePtr &beta, const NodePtr &reduction);
+    static NodePtr HSwish(const NodePtr &input);
+    static NodePtr Rsqrt(const NodePtr &input);
+    static NodePtr LeakyReLUGradExt(const NodePtr &dy, const NodePtr &input, const NodePtr &negative_slope, const NodePtr &is_result);
+    static NodePtr InplaceDivMod(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
+    static NodePtr IndexSelect(const NodePtr &input, const NodePtr &dim, const NodePtr &index);
+    static NodePtr NonZeroExt(const NodePtr &input);
+    static NodePtr Std(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
+    static NodePtr Round(const NodePtr &input, const NodePtr &decimals);
+    static NodePtr BatchNormExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &running_mean, const NodePtr &runnning_var, const NodePtr &training, const NodePtr &momentum, const NodePtr &epsilon);
+    static NodePtr InplaceAddmm(const NodePtr &input, const NodePtr &mat1, const NodePtr &mat2, const NodePtr &beta, const NodePtr &alpha);
+    static NodePtr Im2ColExt(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &dilation, const NodePtr &padding, const NodePtr &stride);
+    static NodePtr Floor(const NodePtr &input);
+    static NodePtr StackExt(const NodePtr &tensors, const NodePtr &dim);
+    static NodePtr InnerInplaceIndexPut(const NodePtr &input, const NodePtr &indices, const NodePtr &values, const NodePtr &accumulate);
+    static NodePtr InplaceSubScalar(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr GridSampler3D(const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners);
+    static NodePtr MaxUnpool2DExt(const NodePtr &input, const NodePtr &indices, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &output_size);
+    static NodePtr Abs(const NodePtr &input);
+    static NodePtr SoftplusGradExt(const NodePtr &dout, const NodePtr &x, const NodePtr &beta, const NodePtr &threshold);
+    static NodePtr AvgPool1D(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad);
+    static NodePtr Log2(const NodePtr &input);
+    static NodePtr NormalTensorTensor(const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr ReshapeAndCache(const NodePtr &key, const NodePtr &value, const NodePtr &key_cache, const NodePtr &value_cache, const NodePtr &slot_mapping);
+    static NodePtr Randn(const NodePtr &shape, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
+    static NodePtr UpsampleBilinear2D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
     static NodePtr Xlogy(const NodePtr &input, const NodePtr &other);
-    static NodePtr BinaryCrossEntropyGrad(const NodePtr &input, const NodePtr &target, const NodePtr &grad_output, const NodePtr &weight, const NodePtr &reduction);
-    static NodePtr ReflectionPad1DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
+    static NodePtr InnerCommAllGather(const NodePtr &input, const NodePtr &rank_size, const NodePtr &group);
+    static NodePtr Max(const NodePtr &input);
+    static NodePtr MatmulReduceScatter(const NodePtr &input, const NodePtr &x2, const NodePtr &group, const NodePtr &world_size, const NodePtr &reduce_op, const NodePtr &bias, const NodePtr &comm_turn, const NodePtr &trans_input, const NodePtr &trans_x2);
+    static NodePtr AdaptiveAvgPool2DExt(const NodePtr &input, const NodePtr &output_size);
+    static NodePtr LogSoftmaxExt(const NodePtr &input, const NodePtr &dim, const NodePtr &dtype);
     static NodePtr InplaceGroupedMatmulAdd(const NodePtr &x, const NodePtr &weight, const NodePtr &group_list, const NodePtr &out);
-    static NodePtr FlashAttentionScore(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &real_shift, const NodePtr &drop_mask, const NodePtr &padding_mask, const NodePtr &attn_mask, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &head_num, const NodePtr &keep_prob, const NodePtr &scale_value, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &input_layout, const NodePtr &sparse_mode);
-    static NodePtr IsInf(const NodePtr &input);
+    static NodePtr Dot(const NodePtr &input, const NodePtr &other);
+    static NodePtr SortExt(const NodePtr &input, const NodePtr &dim, const NodePtr &descending, const NodePtr &stable);
+    static NodePtr RandInt(const NodePtr &low, const NodePtr &high, const NodePtr &shape, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
+    static NodePtr ReflectionPad2D(const NodePtr &input, const NodePtr &padding);
+    static NodePtr ThresholdGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &threshold);
+    static NodePtr SoftMarginLossGrad(const NodePtr &predict, const NodePtr &label, const NodePtr &dout, const NodePtr &reduction);
+    static NodePtr LogSoftmax(const NodePtr &logits, const NodePtr &axis);
+    static NodePtr NotEqual(const NodePtr &input, const NodePtr &other);
+    static NodePtr FloorDiv(const NodePtr &input, const NodePtr &other);
+    static NodePtr Min(const NodePtr &input);
+    static NodePtr PagedAttention(const NodePtr &query, const NodePtr &key_cache, const NodePtr &value_cache, const NodePtr &block_tables, const NodePtr &context_lens, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &attn_mask, const NodePtr &q_seq_lens, const NodePtr &alibi_mask, const NodePtr &head_num, const NodePtr &scale_value, const NodePtr &kv_head_num, const NodePtr &kv_cache_quant_mode, const NodePtr &mask_mode, const NodePtr &mla_v_dim);
+    static NodePtr EmbeddingDenseBackward(const NodePtr &grad, const NodePtr &indices, const NodePtr &num_weights, const NodePtr &padding_idx, const NodePtr &scale_grad_by_freq);
+    static NodePtr ScatterAddExt(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src);
+    static NodePtr Col2ImExt(const NodePtr &input, const NodePtr &output_size, const NodePtr &kernel_size, const NodePtr &dilation, const NodePtr &padding, const NodePtr &stride);
+    static NodePtr Log1p(const NodePtr &input);
+    static NodePtr Convolution(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups);
+    static NodePtr BatchNormGatherStatsWithCounts(const NodePtr &input, const NodePtr &mean, const NodePtr &invstd, const NodePtr &running_mean, const NodePtr &running_var, const NodePtr &momentum, const NodePtr &eps, const NodePtr &counts);
+    static NodePtr ApplyRotaryPosEmb(const NodePtr &query, const NodePtr &key, const NodePtr &cos, const NodePtr &sin, const NodePtr &position_ids, const NodePtr &cos_format);
     static NodePtr RmsNormGrad(const NodePtr &dy, const NodePtr &x, const NodePtr &rstd, const NodePtr &gamma);
-    static NodePtr Swiglu(const NodePtr &input, const NodePtr &dim);
-    static NodePtr ReflectionPad1D(const NodePtr &input, const NodePtr &padding);
-    static NodePtr Mm(const NodePtr &input, const NodePtr &mat2);
-    static NodePtr Frac(const NodePtr &input);
     static NodePtr SilentCheckV2(const NodePtr &val, const NodePtr &input_grad, const NodePtr &sfda, const NodePtr &step, const NodePtr &c_min_steps, const NodePtr &c_thresh_l1, const NodePtr &c_coeff_l1, const NodePtr &c_thresh_l2, const NodePtr &c_coeff_l2, const NodePtr &npu_asd_detect);
-    static NodePtr LogSoftmax(const NodePtr &logits, const NodePtr &axis);
-    static NodePtr DistCommGatherIntoTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &dst, const NodePtr &rank_id, const NodePtr &group);
-    static NodePtr DistCommAllReduce(const NodePtr &input, const NodePtr &op_type, const NodePtr &group);
-    static NodePtr RandInt(const NodePtr &low, const NodePtr &high, const NodePtr &shape, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr ExpandDims(const NodePtr &input_x, const NodePtr &axis);
-    static NodePtr Sqrt(const NodePtr &x);
-    static NodePtr Hardtanh(const NodePtr &input, const NodePtr &min_val, const NodePtr &max_val);
-    static NodePtr Gcd(const NodePtr &input, const NodePtr &other);
-    static NodePtr ClampTensor(const NodePtr &input, const NodePtr &min, const NodePtr &max);
-    static NodePtr SoftShrink(const NodePtr &input, const NodePtr &lambd);
+    static NodePtr ReplicationPad3DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
+    static NodePtr InplaceFloor(const NodePtr &input);
+    static NodePtr InnerNonZero(const NodePtr &input);
+    static NodePtr IsInf(const NodePtr &input);
+    static NodePtr RepeatInterleaveInt(const NodePtr &input, const NodePtr &repeats, const NodePtr &dim, const NodePtr &output_size);
+    static NodePtr Atan2Ext(const NodePtr &input, const NodePtr &other);
+    static NodePtr InplaceFillTensor(const NodePtr &input, const NodePtr &value);
+    static NodePtr ScatterValue(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src, const NodePtr &reduce);
+    static NodePtr SplitWithSizeView(const NodePtr &input, const NodePtr &split_size, const NodePtr &dim);
+    static NodePtr DistCommBarrier(const NodePtr &group);
+    static NodePtr InplaceIndexPut(const NodePtr &input, const NodePtr &indices, const NodePtr &values, const NodePtr &accumulate);
+    static NodePtr ViewAs(const NodePtr &input, const NodePtr &other);
+    static NodePtr HardtanhGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &min_val, const NodePtr &max_val);
+    static NodePtr DistCommGather(const NodePtr &input, const NodePtr &gather_list, const NodePtr &rank_size, const NodePtr &dst, const NodePtr &rank_id, const NodePtr &group);
+    static NodePtr Lerp(const NodePtr &input, const NodePtr &end, const NodePtr &weight);
+    static NodePtr Triu(const NodePtr &input, const NodePtr &diagonal);
+    static NodePtr LogAddExp(const NodePtr &input, const NodePtr &other);
+    static NodePtr UpsampleNearest3DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales);
+    static NodePtr FlashAttentionScore(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &real_shift, const NodePtr &drop_mask, const NodePtr &padding_mask, const NodePtr &attn_mask, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &head_num, const NodePtr &keep_prob, const NodePtr &scale_value, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &input_layout, const NodePtr &sparse_mode);
+    static NodePtr PowTensorScalar(const NodePtr &input, const NodePtr &exponent);
+    static NodePtr Cosh(const NodePtr &input);
+    static NodePtr TanhGrad(const NodePtr &y, const NodePtr &dy);
+    static NodePtr Conv1DExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
+    static NodePtr TrilExt(const NodePtr &input, const NodePtr &diagonal);
+    static NodePtr BatchNormStats(const NodePtr &input, const NodePtr &eps);
+    static NodePtr BitwiseAndTensor(const NodePtr &input, const NodePtr &other);
+    static NodePtr DistCommReduceScatterTensorUneven(const NodePtr &other, const NodePtr &input, const NodePtr &input_split_size, const NodePtr &rank_size, const NodePtr &op_type, const NodePtr &group);
     static NodePtr ReplicationPad2D(const NodePtr &input, const NodePtr &padding);
-    static NodePtr SoftShrinkGrad(const NodePtr &input_grad, const NodePtr &input_x, const NodePtr &lambd);
-    static NodePtr LayerNormGradExt(const NodePtr &dy, const NodePtr &x, const NodePtr &normalized_shape, const NodePtr &mean, const NodePtr &variance, const NodePtr &gamma, const NodePtr &beta, const NodePtr &output_mask);
-    static NodePtr MaxPoolWithMask(const NodePtr &x, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
-    static NodePtr Muls(const NodePtr &input, const NodePtr &other);
+    static NodePtr MaxPoolWithIndices(const NodePtr &x, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
+    static NodePtr Sub(const NodePtr &input, const NodePtr &other);
+    static NodePtr Exp(const NodePtr &input);
+    static NodePtr FillScalar(const NodePtr &size, const NodePtr &fill_value, const NodePtr &dtype);
+    static NodePtr AddcmulExt(const NodePtr &input, const NodePtr &tensor1, const NodePtr &tensor2, const NodePtr &value);
+    static NodePtr Clone(const NodePtr &input);
+    static NodePtr AtanExt(const NodePtr &input);
+    static NodePtr InnerCommAllToAllV(const NodePtr &input, const NodePtr &group, const NodePtr &send_numel_list, const NodePtr &recv_numel_list, const NodePtr &rank_size, const NodePtr &split_sizes_empty);
+    static NodePtr AdaptiveMaxPool2D(const NodePtr &input, const NodePtr &output_size);
+    static NodePtr Addmm(const NodePtr &input, const NodePtr &mat1, const NodePtr &mat2, const NodePtr &beta, const NodePtr &alpha);
+    static NodePtr TransposeView(const NodePtr &input, const NodePtr &input_perm);
+    static NodePtr Norm(const NodePtr &input, const NodePtr &p, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
+    static NodePtr Divs(const NodePtr &input, const NodePtr &other);
+    static NodePtr InplaceStopGradient(const NodePtr &input);
     static NodePtr Col2ImGrad(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &dilation, const NodePtr &padding, const NodePtr &stride);
-    static NodePtr UniformExt(const NodePtr &tensor, const NodePtr &a, const NodePtr &b, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr LogSoftmaxGrad(const NodePtr &logits, const NodePtr &grad, const NodePtr &axis);
-    static NodePtr MatMulExt(const NodePtr &input, const NodePtr &other);
-    static NodePtr Sinc(const NodePtr &input);
-    static NodePtr ConstantPadND(const NodePtr &input, const NodePtr &padding, const NodePtr &value);
+    static NodePtr RotaryPositionEmbeddingGrad(const NodePtr &dy, const NodePtr &cos, const NodePtr &sin, const NodePtr &dx, const NodePtr &mode);
+    static NodePtr Conv3DExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
+    static NodePtr InplaceScatterAdd(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src);
+    static NodePtr InplaceIndexAddExt(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &source, const NodePtr &alpha);
+    static NodePtr SplitTensor(const NodePtr &input, const NodePtr &split_size, const NodePtr &dim);
+    static NodePtr MaxPoolGradWithIndices(const NodePtr &x, const NodePtr &grad, const NodePtr &argmax, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
+    static NodePtr Embedding(const NodePtr &input, const NodePtr &weight, const NodePtr &padding_idx, const NodePtr &max_norm, const NodePtr &norm_type, const NodePtr &scale_grad_by_freq);
+    static NodePtr DistCommReduceScatter(const NodePtr &other, const NodePtr &input_list, const NodePtr &rank_size, const NodePtr &op_type, const NodePtr &group);
+    static NodePtr NewEmpty(const NodePtr &input, const NodePtr &size, const NodePtr &dtype, const NodePtr &device);
+    static NodePtr SelectExtView(const NodePtr &input, const NodePtr &dim, const NodePtr &index);
+    static NodePtr IncreFlashAttention(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &attn_mask, const NodePtr &actual_seq_lengths, const NodePtr &pse_shift, const NodePtr &dequant_scale1, const NodePtr &quant_scale1, const NodePtr &dequant_scale2, const NodePtr &quant_scale2, const NodePtr &quant_offset2, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &block_table, const NodePtr &kv_padding_size, const NodePtr &num_heads, const NodePtr &input_layout, const NodePtr &scale_value, const NodePtr &num_key_value_heads, const NodePtr &block_size, const NodePtr &inner_precise);
+    static NodePtr ReverseV2(const NodePtr &input, const NodePtr &axis);
+    static NodePtr LeakyReLUExt(const NodePtr &input, const NodePtr &negative_slope);
+    static NodePtr RandnLike(const NodePtr &input, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
+    static NodePtr GeLU(const NodePtr &input);
+    static NodePtr Exp2(const NodePtr &input);
+    static NodePtr Reshape(const NodePtr &input, const NodePtr &shape);
+    static NodePtr Threshold(const NodePtr &input, const NodePtr &threshold, const NodePtr &value);
+    static NodePtr UpsampleLinear1DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
+    static NodePtr LogicalAnd(const NodePtr &x, const NodePtr &y);
+    static NodePtr InnerMoeTokenUnpermute(const NodePtr &permuted_tokens, const NodePtr &sorted_indices, const NodePtr &probs, const NodePtr &padded_mode, const NodePtr &restore_shape);
+    static NodePtr Addbmm(const NodePtr &input, const NodePtr &batch1, const NodePtr &batch2, const NodePtr &beta, const NodePtr &alpha);
+    static NodePtr XLogYScalarOther(const NodePtr &input, const NodePtr &other);
+    static NodePtr AcoshExt(const NodePtr &input);
+    static NodePtr ReduceMin(const NodePtr &x, const NodePtr &axis, const NodePtr &keep_dims);
+    static NodePtr SpeedFusionAttentionGrad(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &dy, const NodePtr &head_num, const NodePtr &input_layout, const NodePtr &pse, const NodePtr &padding_mask, const NodePtr &atten_mask, const NodePtr &softmax_max, const NodePtr &softmax_sum, const NodePtr &softmax_in, const NodePtr &attention_in, const NodePtr &scale_value, const NodePtr &keep_prob, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &seed, const NodePtr &offset, const NodePtr &numels, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &sparse_mode, const NodePtr &gen_mask_parallel, const NodePtr &sync, const NodePtr &pse_type, const NodePtr &q_start_idx, const NodePtr &kv_start_idx);
+    static NodePtr RemainderTensorScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr Sqrt(const NodePtr &x);
+    static NodePtr Tan(const NodePtr &input);
+    static NodePtr SilentCheckV3(const NodePtr &val, const NodePtr &max, const NodePtr &avg, const NodePtr &input_grad, const NodePtr &step, const NodePtr &c_thresh_l1, const NodePtr &c_thresh_l2, const NodePtr &beta1, const NodePtr &npu_asd_detect);
+    static NodePtr Addmv(const NodePtr &input, const NodePtr &mat, const NodePtr &vec, const NodePtr &beta, const NodePtr &alpha);
+    static NodePtr InplaceReLU(const NodePtr &input);
+    static NodePtr RandIntLike(const NodePtr &input, const NodePtr &low, const NodePtr &high, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
+    static NodePtr Gcd(const NodePtr &input, const NodePtr &other);
+    static NodePtr Split(const NodePtr &input_x, const NodePtr &axis, const NodePtr &output_num);
+    static NodePtr Mul(const NodePtr &input, const NodePtr &other);
+    static NodePtr EluGradExt(const NodePtr &dout, const NodePtr &x_or_out, const NodePtr &alpha, const NodePtr &is_result);
+    static NodePtr RandpermExt(const NodePtr &n, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
+    static NodePtr DiagonalView(const NodePtr &input, const NodePtr &offset, const NodePtr &dim1, const NodePtr &dim2);
+    static NodePtr Trunc(const NodePtr &input);
+    static NodePtr InplaceLog(const NodePtr &input);
+    static NodePtr AddcdivExt(const NodePtr &input, const NodePtr &tensor1, const NodePtr &tensor2, const NodePtr &value);
+    static NodePtr TExt(const NodePtr &input);
     static NodePtr UpsampleTrilinear3DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr BCEWithLogitsLoss(const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &posWeight, const NodePtr &reduction);
-    static NodePtr TrilExt(const NodePtr &input, const NodePtr &diagonal);
-    static NodePtr Rsqrt(const NodePtr &input);
-    static NodePtr GridSampler3DGrad(const NodePtr &grad, const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners, const NodePtr &output_mask);
-    static NodePtr MaxUnpool2DExt(const NodePtr &input, const NodePtr &indices, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &output_size);
-    static NodePtr HardtanhGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &min_val, const NodePtr &max_val);
-    static NodePtr IsFinite(const NodePtr &input);
+    static NodePtr BitwiseOrScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr BitwiseOrTensor(const NodePtr &input, const NodePtr &other);
+    static NodePtr ReduceAll(const NodePtr &input, const NodePtr &axis, const NodePtr &keep_dims);
+    static NodePtr BroadcastTo(const NodePtr &input, const NodePtr &shape);
+    static NodePtr AdaptiveAvgPool3DGradExt(const NodePtr &input_grad, const NodePtr &input);
+    static NodePtr RepeatInterleaveGrad(const NodePtr &input, const NodePtr &repeats, const NodePtr &dim);
+    static NodePtr GluGrad(const NodePtr &grads, const NodePtr &x, const NodePtr &axis);
+    static NodePtr Cos(const NodePtr &input);
+    static NodePtr GridSampler2D(const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners);
+    static NodePtr ConstantPadND(const NodePtr &input, const NodePtr &padding, const NodePtr &value);
+    static NodePtr MaskedSelect(const NodePtr &input, const NodePtr &mask);
     static NodePtr UpsampleBicubic2D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr SiLUGrad(const NodePtr &dout, const NodePtr &x);
-    static NodePtr SelectV2(const NodePtr &condition, const NodePtr &input, const NodePtr &other);
-    static NodePtr EluExt(const NodePtr &input, const NodePtr &alpha);
-    static NodePtr GeLUGrad(const NodePtr &dy, const NodePtr &x, const NodePtr &y);
-    static NodePtr Conv3DPadding(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
-    static NodePtr Reciprocal(const NodePtr &input);
-    static NodePtr Mv(const NodePtr &input, const NodePtr &vec);
-    static NodePtr AddScalar(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
-    static NodePtr Tile(const NodePtr &input, const NodePtr &dims);
-    static NodePtr AllGatherMatmul(const NodePtr &input, const NodePtr &x2, const NodePtr &group, const NodePtr &world_size, const NodePtr &bias, const NodePtr &gather_index, const NodePtr &gather_output, const NodePtr &comm_turn, const NodePtr &trans_input, const NodePtr &trans_x2);
-    static NodePtr SubExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
-    static NodePtr Var(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
-    static NodePtr InplaceDivMods(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
-    static NodePtr InplaceFillScalar(const NodePtr &input, const NodePtr &value);
-    static NodePtr InnerCommAllGather(const NodePtr &input, const NodePtr &rank_size, const NodePtr &group);
+    static NodePtr MaskedFill(const NodePtr &input_x, const NodePtr &mask, const NodePtr &value);
+    static NodePtr EmptyLike(const NodePtr &input, const NodePtr &dtype, const NodePtr &device);
+    static NodePtr SiLU(const NodePtr &input);
+    static NodePtr Nansum(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
+    static NodePtr SplitWithSize(const NodePtr &input, const NodePtr &split_size, const NodePtr &dim);
+    static NodePtr DistCommAllGatherIntoTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &group);
+    static NodePtr L1LossBackwardExt(const NodePtr &grad_output, const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
+    static NodePtr AddRmsNorm(const NodePtr &x1, const NodePtr &x2, const NodePtr &gamma, const NodePtr &epsilon);
+    static NodePtr InplaceSiLU(const NodePtr &input);
+    static NodePtr ReLU(const NodePtr &input);
+    static NodePtr StdMean(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
+    static NodePtr AvgPool2DGrad(const NodePtr &grad, const NodePtr &image, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
+    static NodePtr SoftMarginLoss(const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
+    static NodePtr LessEqual(const NodePtr &input, const NodePtr &other);
+    static NodePtr ConvTranspose2D(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &output_padding, const NodePtr &groups, const NodePtr &dilation);
+    static NodePtr MeanExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
+    static NodePtr Minimum(const NodePtr &input, const NodePtr &other);
+    static NodePtr BatchMatMul(const NodePtr &x, const NodePtr &y, const NodePtr &transpose_a, const NodePtr &transpose_b);
+    static NodePtr SiLUGrad(const NodePtr &dout, const NodePtr &x);
+    static NodePtr FmodScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr GatherDGradV2(const NodePtr &x, const NodePtr &dim, const NodePtr &index, const NodePtr &dout);
+    static NodePtr Equal(const NodePtr &input, const NodePtr &other);
+    static NodePtr MoeDistributeDispatch(const NodePtr &x, const NodePtr &expert_ids, const NodePtr &ep_world_size, const NodePtr &ep_rank_id, const NodePtr &moe_expert_num, const NodePtr &expert_scales, const NodePtr &scales, const NodePtr &x_active_mask, const NodePtr &group_ep, const NodePtr &group_tp, const NodePtr &tp_world_size, const NodePtr &tp_rank_id, const NodePtr &expert_shard_type, const NodePtr &shared_expert_num, const NodePtr &shared_expert_rank_num, const NodePtr &quant_mode, const NodePtr &global_bs, const NodePtr &expert_token_nums_type);
+    static NodePtr InplaceFloorDivides(const NodePtr &input, const NodePtr &other);
     static NodePtr CumsumExt(const NodePtr &input, const NodePtr &dim, const NodePtr &dtype);
-    static NodePtr BatchNormGatherStatsWithCounts(const NodePtr &input, const NodePtr &mean, const NodePtr &invstd, const NodePtr &running_mean, const NodePtr &running_var, const NodePtr &momentum, const NodePtr &eps, const NodePtr &counts);
-    static NodePtr TanhGrad(const NodePtr &y, const NodePtr &dy);
-    static NodePtr InplacePut(const NodePtr &input, const NodePtr &index, const NodePtr &source, const NodePtr &accumulate);
-    static NodePtr BatchNormElemtGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &mean, const NodePtr &invstd, const NodePtr &weight, const NodePtr &sumd_dy, const NodePtr &sum_dy_xmu, const NodePtr &count);
-    static NodePtr Chunk(const NodePtr &input, const NodePtr &chunks, const NodePtr &dim);
-    static NodePtr UpsampleLinear1D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr ArgMinExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
-    static NodePtr IsNegInf(const NodePtr &input);
-    static NodePtr Index(const NodePtr &input, const NodePtr &indices);
-    static NodePtr NormalTensorFloat(const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr ReplicationPad1D(const NodePtr &input, const NodePtr &padding);
-    static NodePtr RepeatInterleaveTensor(const NodePtr &input, const NodePtr &repeats, const NodePtr &dim, const NodePtr &output_size);
-    static NodePtr NanToNum(const NodePtr &input, const NodePtr &nan, const NodePtr &posinf, const NodePtr &neginf);
-    static NodePtr BatchMatMulExt(const NodePtr &input, const NodePtr &mat2);
-    static NodePtr InplaceFillTensor(const NodePtr &input, const NodePtr &value);
-    static NodePtr GLU(const NodePtr &x, const NodePtr &axis);
-    static NodePtr LogSoftmaxExt(const NodePtr &input, const NodePtr &dim, const NodePtr &dtype);
+    static NodePtr LayerNormGradExt(const NodePtr &dy, const NodePtr &x, const NodePtr &normalized_shape, const NodePtr &mean, const NodePtr &variance, const NodePtr &gamma, const NodePtr &beta, const NodePtr &output_mask);
+    static NodePtr LogSumExp(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr BinaryCrossEntropy(const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &reduction);
+    static NodePtr ChunkView(const NodePtr &input, const NodePtr &chunks, const NodePtr &dim);
+    static NodePtr InplaceExp(const NodePtr &input);
+    static NodePtr InplaceFillScalar(const NodePtr &input, const NodePtr &value);
+    static NodePtr AddScalar(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr SoftplusExt(const NodePtr &input, const NodePtr &beta, const NodePtr &threshold);
+    static NodePtr HSwishGrad(const NodePtr &y_grad, const NodePtr &x);
+    static NodePtr DistCommGatherIntoTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &dst, const NodePtr &rank_id, const NodePtr &group);
+    static NodePtr DiagExt(const NodePtr &input, const NodePtr &diagonal);
+    static NodePtr LogAddExp2(const NodePtr &input, const NodePtr &other);
+    static NodePtr NormalFloatFloat(const NodePtr &mean, const NodePtr &std, const NodePtr &size, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr ReflectionPad3D(const NodePtr &input, const NodePtr &padding);
+    static NodePtr Sinh(const NodePtr &input);
+    static NodePtr ArgMaxExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr AsStrided(const NodePtr &input, const NodePtr &size, const NodePtr &stride, const NodePtr &storage_offset);
+    static NodePtr LinalgQr(const NodePtr &A, const NodePtr &mode);
+    static NodePtr AdaptiveAvgPool1D(const NodePtr &input, const NodePtr &output_size);
+    static NodePtr Narrow(const NodePtr &input, const NodePtr &dim, const NodePtr &start, const NodePtr &length);
+    static NodePtr MinDim(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr InplaceFillDiagonal(const NodePtr &input, const NodePtr &fill_value, const NodePtr &wrap);
+    static NodePtr LogSigmoidGrad(const NodePtr &dy, const NodePtr &input, const NodePtr &buffer);
+    static NodePtr MishGradExt(const NodePtr &dout, const NodePtr &x);
+    static NodePtr Less(const NodePtr &input, const NodePtr &other);
+    static NodePtr Cross(const NodePtr &input, const NodePtr &other, const NodePtr &dim);
+    static NodePtr LogSoftmaxGrad(const NodePtr &logits, const NodePtr &grad, const NodePtr &axis);
+    static NodePtr InplaceMatmulAdd(const NodePtr &x, const NodePtr &weight, const NodePtr &C);
+    static NodePtr Scatter(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src, const NodePtr &reduce);
+    static NodePtr AddExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr ReplicationPad3D(const NodePtr &input, const NodePtr &padding);
+    static NodePtr HShrink(const NodePtr &input, const NodePtr &lambd);
+    static NodePtr AvgPool2D(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
+    static NodePtr Greater(const NodePtr &input, const NodePtr &other);
+    static NodePtr Empty(const NodePtr &size, const NodePtr &dtype, const NodePtr &device);
     static NodePtr FlattenExt(const NodePtr &input, const NodePtr &start_dim, const NodePtr &end_dim);
-    static NodePtr ReplicationPad3DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
-    static NodePtr FmodTensor(const NodePtr &input, const NodePtr &other);
-    static NodePtr TransposeExt(const NodePtr &input, const NodePtr &dim0, const NodePtr &dim1);
-    static NodePtr MishExt(const NodePtr &input);
-    static NodePtr UpsampleNearest2D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales);
-    static NodePtr ReplicationPad2DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
-    static NodePtr DistCommIrecv(const NodePtr &input, const NodePtr &tag, const NodePtr &src, const NodePtr &group);
-    static NodePtr ReflectionPad2D(const NodePtr &input, const NodePtr &padding);
+    static NodePtr MaxPoolGradWithMask(const NodePtr &x, const NodePtr &grad, const NodePtr &mask, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
+    static NodePtr L1LossExt(const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
     static NodePtr GeluExt(const NodePtr &input, const NodePtr &approximate);
-    static NodePtr LogicalXor(const NodePtr &input, const NodePtr &other);
-    static NodePtr AvgPool1D(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad);
-    static NodePtr SmoothL1Loss(const NodePtr &prediction, const NodePtr &target, const NodePtr &beta, const NodePtr &reduction);
-    static NodePtr Randn(const NodePtr &shape, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr Clone(const NodePtr &input);
-    static NodePtr Kthvalue(const NodePtr &input, const NodePtr &k, const NodePtr &dim, const NodePtr &keepdim);
-    static NodePtr InplaceElu(const NodePtr &input, const NodePtr &alpha);
-    static NodePtr PReLU(const NodePtr &input, const NodePtr &weight);
-    static NodePtr LayerNormExt(const NodePtr &input, const NodePtr &normalized_shape, const NodePtr &weight, const NodePtr &bias, const NodePtr &eps);
-    static NodePtr ReplicationPad1DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
-    static NodePtr BinaryCrossEntropy(const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &reduction);
-    static NodePtr InplaceAddmm(const NodePtr &input, const NodePtr &mat1, const NodePtr &mat2, const NodePtr &beta, const NodePtr &alpha);
-    static NodePtr MoeTokenUnpermuteGrad(const NodePtr &permuted_tokens, const NodePtr &unpermuted_tokens_grad, const NodePtr &sorted_indices, const NodePtr &probs, const NodePtr &padded_mode, const NodePtr &restore_shape);
+    static NodePtr Squeeze(const NodePtr &input, const NodePtr &axis);
+    static NodePtr DistCommIrecv(const NodePtr &input, const NodePtr &tag, const NodePtr &src, const NodePtr &group);
+    static NodePtr LerpScalar(const NodePtr &input, const NodePtr &end, const NodePtr &weight);
+    static NodePtr InnerCommAllReduce(const NodePtr &input, const NodePtr &op_type, const NodePtr &group);
+    static NodePtr Square(const NodePtr &input);
+    static NodePtr Conv2DPadding(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
+    static NodePtr ArgMinWithValue(const NodePtr &input, const NodePtr &axis, const NodePtr &keep_dims);
+    static NodePtr SpeedFusionAttention(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &head_num, const NodePtr &input_layout, const NodePtr &seed, const NodePtr &offset, const NodePtr &pse, const NodePtr &padding_mask, const NodePtr &atten_mask, const NodePtr &scale, const NodePtr &keep_prob, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &sparse_mode, const NodePtr &gen_mask_parallel, const NodePtr &sync, const NodePtr &pse_type, const NodePtr &q_start_idx, const NodePtr &kv_start_idx);
+    static NodePtr DropoutGenMaskExt(const NodePtr &shape, const NodePtr &p, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
     static NodePtr BinaryCrossEntropyWithLogitsBackward(const NodePtr &grad_output, const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &posWeight, const NodePtr &reduction);
-    static NodePtr BatchNormStats(const NodePtr &input, const NodePtr &eps);
-    static NodePtr MaskedFill(const NodePtr &input_x, const NodePtr &mask, const NodePtr &value);
-    static NodePtr Log10(const NodePtr &input);
-    static NodePtr Atan2Ext(const NodePtr &input, const NodePtr &other);
-    static NodePtr IndexFillScalar(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value);
-    static NodePtr SumExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
-    static NodePtr Floor(const NodePtr &input);
-    static NodePtr IndexFillTensor(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value);
-    static NodePtr Outer(const NodePtr &input, const NodePtr &vec2);
-    static NodePtr InplaceMaskedFillTensor(const NodePtr &input, const NodePtr &mask, const NodePtr &value);
-    static NodePtr Transpose(const NodePtr &input, const NodePtr &input_perm);
-    static NodePtr MatrixInverseExt(const NodePtr &input);
-    static NodePtr Convolution(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups);
-    static NodePtr RandpermExt(const NodePtr &n, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr UniqueDim(const NodePtr &input, const NodePtr &sorted, const NodePtr &return_inverse, const NodePtr &dim);
-    static NodePtr InplaceScatterValueReduce(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value, const NodePtr &reduce);
-    static NodePtr DistCommIsend(const NodePtr &input, const NodePtr &dst, const NodePtr &group, const NodePtr &tag);
-    static NodePtr DivMods(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
-    static NodePtr Pow(const NodePtr &input, const NodePtr &exponent);
-    static NodePtr Unique2(const NodePtr &input, const NodePtr &sorted, const NodePtr &return_inverse, const NodePtr &return_counts);
-    static NodePtr AvgPool3DExt(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
-    static NodePtr BitwiseNot(const NodePtr &input);
+    static NodePtr ConvolutionStrGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups, const NodePtr &output_mask);
+    static NodePtr LogSigmoid(const NodePtr &input);
+    static NodePtr LinalgVectorNorm(const NodePtr &x, const NodePtr &ord, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
+    static NodePtr BroadcastToView(const NodePtr &input, const NodePtr &shape);
+    static NodePtr SoftShrink(const NodePtr &input, const NodePtr &lambd);
+    static NodePtr AddLayerNormGrad(const NodePtr &dy, const NodePtr &x1, const NodePtr &x2, const NodePtr &rstd, const NodePtr &mean, const NodePtr &gamma, const NodePtr &dsumOptional);
+    static NodePtr UnstackExtView(const NodePtr &input, const NodePtr &dim);
     static NodePtr DistCommBatchIsendIrecv(const NodePtr &input, const NodePtr &group, const NodePtr &op_types, const NodePtr &remotes_ranks);
-    static NodePtr AdaptiveAvgPool3DExt(const NodePtr &input, const NodePtr &output_size);
-    static NodePtr LeakyReLUGradExt(const NodePtr &dy, const NodePtr &input, const NodePtr &negative_slope, const NodePtr &is_result);
-    static NodePtr NotEqual(const NodePtr &input, const NodePtr &other);
-    static NodePtr Min(const NodePtr &input);
+    static NodePtr GridSampler2DGrad(const NodePtr &grad, const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners, const NodePtr &output_mask);
+    static NodePtr RotaryPositionEmbedding(const NodePtr &x, const NodePtr &cos, const NodePtr &sin, const NodePtr &mode);
+    static NodePtr VarMean(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
+    static NodePtr Kthvalue(const NodePtr &input, const NodePtr &k, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr Mv(const NodePtr &input, const NodePtr &vec);
+    static NodePtr UniqueDim(const NodePtr &input, const NodePtr &sorted, const NodePtr &return_inverse, const NodePtr &dim);
+    static NodePtr InplaceDivMods(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
+    static NodePtr FillTensor(const NodePtr &size, const NodePtr &fill_value, const NodePtr &dtype);
+    static NodePtr ExpandDims(const NodePtr &input_x, const NodePtr &axis);
+    static NodePtr InplaceThreshold(const NodePtr &input, const NodePtr &threshold, const NodePtr &value);
+    static NodePtr InplaceRemainderTensorTensor(const NodePtr &input, const NodePtr &other);
+    static NodePtr Erfinv(const NodePtr &input);
+    static NodePtr TriangularSolve(const NodePtr &b, const NodePtr &A, const NodePtr &upper, const NodePtr &transpose, const NodePtr &unitriangular);
+    static NodePtr InplaceScatterSrc(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src);
     static NodePtr RandExt(const NodePtr &shape, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr AllFinite(const NodePtr &tensors);
-    static NodePtr InplaceIndexAddExt(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &source, const NodePtr &alpha);
-    static NodePtr InplaceMul(const NodePtr &input, const NodePtr &other);
-    static NodePtr InplaceSubScalar(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
-    static NodePtr InnerCommAllReduce(const NodePtr &input, const NodePtr &op_type, const NodePtr &group);
-    static NodePtr ExpandAs(const NodePtr &input, const NodePtr &other);
-    static NodePtr AdaptiveAvgPool2DGradExt(const NodePtr &grad_output, const NodePtr &x);
-    static NodePtr FmodScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr InplaceFloorDivides(const NodePtr &input, const NodePtr &other);
-    static NodePtr Nansum(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
-    static NodePtr OneHotExt(const NodePtr &tensor, const NodePtr &num_classes, const NodePtr &on_value, const NodePtr &off_value, const NodePtr &axis);
-    static NodePtr MedianExt(const NodePtr &input);
-    static NodePtr DistCommBroadcast(const NodePtr &input, const NodePtr &src, const NodePtr &rank_id, const NodePtr &group);
-    static NodePtr AsinExt(const NodePtr &input);
-    static NodePtr Addmm(const NodePtr &input, const NodePtr &mat1, const NodePtr &mat2, const NodePtr &beta, const NodePtr &alpha);
-    static NodePtr UpsampleLinear1DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr Greater(const NodePtr &input, const NodePtr &other);
-    static NodePtr SeLUExt(const NodePtr &input);
-    static NodePtr Baddbmm(const NodePtr &input, const NodePtr &batch1, const NodePtr &batch2, const NodePtr &beta, const NodePtr &alpha);
-    static NodePtr InplaceFloor(const NodePtr &input);
-    static NodePtr BatchNormExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &running_mean, const NodePtr &runnning_var, const NodePtr &training, const NodePtr &momentum, const NodePtr &epsilon);
-    static NodePtr Generator(const NodePtr &cmd, const NodePtr &inputs);
-    static NodePtr NewOnes(const NodePtr &input, const NodePtr &size, const NodePtr &dtype);
-    static NodePtr InplaceMaskedFillScalar(const NodePtr &input, const NodePtr &mask, const NodePtr &value);
-    static NodePtr NLLLossGrad(const NodePtr &logits, const NodePtr &loss_grad, const NodePtr &labels, const NodePtr &weight, const NodePtr &total_weight, const NodePtr &reduction, const NodePtr &ignore_index);
-    static NodePtr SilentCheckV3(const NodePtr &val, const NodePtr &max, const NodePtr &avg, const NodePtr &input_grad, const NodePtr &step, const NodePtr &c_thresh_l1, const NodePtr &c_thresh_l2, const NodePtr &beta1, const NodePtr &npu_asd_detect);
-    static NodePtr SoftplusGradExt(const NodePtr &dout, const NodePtr &x, const NodePtr &beta, const NodePtr &threshold);
-    static NodePtr ScatterValue(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src, const NodePtr &reduce);
-    static NodePtr TopkExt(const NodePtr &input, const NodePtr &k, const NodePtr &dim, const NodePtr &largest, const NodePtr &sorted);
+    static NodePtr BCEWithLogitsLoss(const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &posWeight, const NodePtr &reduction);
+    static NodePtr FlashAttentionScoreGrad(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &dy, const NodePtr &pse_shift, const NodePtr &drop_mask, const NodePtr &padding_mask, const NodePtr &atten_mask, const NodePtr &softmax_max, const NodePtr &softmax_sum, const NodePtr &softmax_in, const NodePtr &attention_in, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &head_num, const NodePtr &keep_prob, const NodePtr &scale_value, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &input_layout, const NodePtr &sparse_mode);
     static NodePtr Maximum(const NodePtr &input, const NodePtr &other);
-    static NodePtr BincountExt(const NodePtr &input, const NodePtr &weights, const NodePtr &minlength);
-    static NodePtr GmmV2Backward(const NodePtr &grad, const NodePtr &x, const NodePtr &weight, const NodePtr &group_list, const NodePtr &group_list_type);
-    static NodePtr MaxPoolGradWithIndices(const NodePtr &x, const NodePtr &grad, const NodePtr &argmax, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
-    static NodePtr MatmulReduceScatter(const NodePtr &input, const NodePtr &x2, const NodePtr &group, const NodePtr &world_size, const NodePtr &reduce_op, const NodePtr &bias, const NodePtr &comm_turn, const NodePtr &trans_input, const NodePtr &trans_x2);
-    static NodePtr Log(const NodePtr &input);
-    static NodePtr RotaryPositionEmbeddingGrad(const NodePtr &dy, const NodePtr &cos, const NodePtr &sin, const NodePtr &dx, const NodePtr &mode);
-    static NodePtr MeanExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
-    static NodePtr SubScalar(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
-    static NodePtr Cosh(const NodePtr &input);
-    static NodePtr MaxDim(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr Baddbmm(const NodePtr &input, const NodePtr &batch1, const NodePtr &batch2, const NodePtr &beta, const NodePtr &alpha);
+    static NodePtr MoeTokenPermute(const NodePtr &tokens, const NodePtr &indices, const NodePtr &num_out_tokens, const NodePtr &padded_mode);
+    static NodePtr InplaceSubExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr InplaceErfinv(const NodePtr &input);
+    static NodePtr Meshgrid(const NodePtr &inputs, const NodePtr &indexing);
+    static NodePtr MaxPoolWithMask(const NodePtr &x, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
+    static NodePtr SelectV2(const NodePtr &condition, const NodePtr &input, const NodePtr &other);
+    static NodePtr LinSpaceExt(const NodePtr &start, const NodePtr &end, const NodePtr &steps, const NodePtr &dtype);
+    static NodePtr RmsNorm(const NodePtr &x, const NodePtr &gamma, const NodePtr &epsilon);
+    static NodePtr SumExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
+    static NodePtr ZerosLikeExt(const NodePtr &input, const NodePtr &dtype);
+    static NodePtr Concat(const NodePtr &tensors, const NodePtr &axis);
+    static NodePtr BitwiseXorScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr FmodTensor(const NodePtr &input, const NodePtr &other);
+    static NodePtr DistCommReduceScatterTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &op_type, const NodePtr &group);
+    static NodePtr CrossEntropyLossGrad(const NodePtr &grad_loss, const NodePtr &log_prob, const NodePtr &target, const NodePtr &weight, const NodePtr &grad_zloss, const NodePtr &lse_for_zloss, const NodePtr &reduction, const NodePtr &ignore_index, const NodePtr &label_smoothing, const NodePtr &lse_square_scale_for_zloss);
+    static NodePtr UpsampleNearest1D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales);
+    static NodePtr IsFinite(const NodePtr &input);
+    static NodePtr NarrowView(const NodePtr &input, const NodePtr &dim, const NodePtr &start, const NodePtr &length);
+    static NodePtr InplaceMaskedFillTensor(const NodePtr &input, const NodePtr &mask, const NodePtr &value);
+    static NodePtr Tanh(const NodePtr &input);
+    static NodePtr NewFull(const NodePtr &input, const NodePtr &size, const NodePtr &fill_value, const NodePtr &dtype);
+    static NodePtr Muls(const NodePtr &input, const NodePtr &other);
+    static NodePtr DropoutExt(const NodePtr &input, const NodePtr &p, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr DistCommScatter(const NodePtr &other, const NodePtr &scatter_list, const NodePtr &rank_size, const NodePtr &src, const NodePtr &rank_id, const NodePtr &group);
+    static NodePtr AsinExt(const NodePtr &input);
     static NodePtr RemainderTensorTensor(const NodePtr &input, const NodePtr &other);
-    static NodePtr BitwiseAndScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr Take(const NodePtr &input, const NodePtr &index);
-    static NodePtr Norm(const NodePtr &input, const NodePtr &p, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
-    static NodePtr SoftMarginLoss(const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
+    static NodePtr Sinc(const NodePtr &input);
+    static NodePtr InplaceDivs(const NodePtr &input, const NodePtr &other);
+    static NodePtr Conv2DExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
+    static NodePtr InnerCommReduceScatter(const NodePtr &input, const NodePtr &rank_size, const NodePtr &op_type, const NodePtr &group);
+    static NodePtr MishExt(const NodePtr &input);
+    static NodePtr AcosExt(const NodePtr &input);
+    static NodePtr TraceExt(const NodePtr &input);
+    static NodePtr InplacePut(const NodePtr &input, const NodePtr &index, const NodePtr &source, const NodePtr &accumulate);
+    static NodePtr GLU(const NodePtr &x, const NodePtr &axis);
+    static NodePtr Add(const NodePtr &input, const NodePtr &other);
+    static NodePtr NLLLossGrad(const NodePtr &logits, const NodePtr &loss_grad, const NodePtr &labels, const NodePtr &weight, const NodePtr &total_weight, const NodePtr &reduction, const NodePtr &ignore_index);
+    static NodePtr InplaceMaskedFillScalar(const NodePtr &input, const NodePtr &mask, const NodePtr &value);
+    static NodePtr RandLikeExt(const NodePtr &tensor, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
+    static NodePtr Polar(const NodePtr &abs, const NodePtr &angle);
+    static NodePtr Cast(const NodePtr &input, const NodePtr &dtype);
+    static NodePtr Swiglu(const NodePtr &input, const NodePtr &dim);
     static NodePtr InplaceAddExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
-    static NodePtr InplaceClampScalar(const NodePtr &input, const NodePtr &min, const NodePtr &max);
-    static NodePtr InplaceReLU(const NodePtr &input);
+    static NodePtr Arange(const NodePtr &start, const NodePtr &end, const NodePtr &step, const NodePtr &dtype);
+    static NodePtr MoeDistributeCombine(const NodePtr &expand_x, const NodePtr &expert_ids, const NodePtr &expand_idx, const NodePtr &ep_send_counts, const NodePtr &expert_scales, const NodePtr &ep_world_size, const NodePtr &ep_rank_id, const NodePtr &moe_expert_num, const NodePtr &tp_send_counts, const NodePtr &x_active_mask, const NodePtr &activate_scale, const NodePtr &weight_scale, const NodePtr &group_list, const NodePtr &expand_scales, const NodePtr &group_ep, const NodePtr &group_tp, const NodePtr &tp_world_size, const NodePtr &tp_rank_id, const NodePtr &expert_shard_type, const NodePtr &shared_expert_num, const NodePtr &shared_export_rank_num, const NodePtr &global_bs, const NodePtr &out_dtype, const NodePtr &common_quant_mode, const NodePtr &group_list_type);
+    static NodePtr Log(const NodePtr &input);
+    static NodePtr DivMod(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
+    static NodePtr ArgMaxWithValue(const NodePtr &input, const NodePtr &axis, const NodePtr &keep_dims);
+    static NodePtr Roll(const NodePtr &input, const NodePtr &shifts, const NodePtr &dims);
+    static NodePtr ReduceMax(const NodePtr &x, const NodePtr &axis, const NodePtr &keep_dims);
+    static NodePtr LogicalOr(const NodePtr &x, const NodePtr &y);
     static NodePtr NLLLoss2dGrad(const NodePtr &loss_grad, const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &reduction, const NodePtr &ignore_index, const NodePtr &total_weight);
-    static NodePtr MinDim(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
-    static NodePtr AdaptiveAvgPool3DGradExt(const NodePtr &input_grad, const NodePtr &input);
-    static NodePtr AsStrided(const NodePtr &input, const NodePtr &size, const NodePtr &stride, const NodePtr &storage_offset);
-    static NodePtr BitwiseAndTensor(const NodePtr &input, const NodePtr &other);
-    static NodePtr MaxPoolWithIndices(const NodePtr &x, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
-    static NodePtr InplaceUniform(const NodePtr &input, const NodePtr &from_, const NodePtr &to, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr UpsampleNearest3DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales);
-    static NodePtr Sign(const NodePtr &input);
-    static NodePtr Conv1DPadding(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
-    static NodePtr Tan(const NodePtr &input);
-    static NodePtr TExt(const NodePtr &input);
-    static NodePtr BatchNormGradExt(const NodePtr &dout, const NodePtr &input, const NodePtr &weight, const NodePtr &running_mean, const NodePtr &running_var, const NodePtr &saved_mean, const NodePtr &saved_rstd, const NodePtr &training, const NodePtr &eps, const NodePtr &output_mask);
-    static NodePtr IsClose(const NodePtr &input, const NodePtr &other, const NodePtr &rtol, const NodePtr &atol, const NodePtr &equal_nan);
-    static NodePtr DistCommBarrier(const NodePtr &group);
-    static NodePtr BatchNormReduceGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &mean, const NodePtr &invstd, const NodePtr &weight, const NodePtr &input_g, const NodePtr &weight_g, const NodePtr &bias_g);
-    static NodePtr IncreFlashAttention(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &attn_mask, const NodePtr &actual_seq_lengths, const NodePtr &pse_shift, const NodePtr &dequant_scale1, const NodePtr &quant_scale1, const NodePtr &dequant_scale2, const NodePtr &quant_scale2, const NodePtr &quant_offset2, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &block_table, const NodePtr &kv_padding_size, const NodePtr &num_heads, const NodePtr &input_layout, const NodePtr &scale_value, const NodePtr &num_key_value_heads, const NodePtr &block_size, const NodePtr &inner_precise);
-    static NodePtr Reshape(const NodePtr &input, const NodePtr &shape);
-    static NodePtr Ceil(const NodePtr &input);
-    static NodePtr Zeros(const NodePtr &size, const NodePtr &dtype);
-    static NodePtr Divs(const NodePtr &input, const NodePtr &other);
-    static NodePtr Div(const NodePtr &input, const NodePtr &other);
-    static NodePtr SoftplusExt(const NodePtr &input, const NodePtr &beta, const NodePtr &threshold);
-    static NodePtr L1LossExt(const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
-    static NodePtr Addmv(const NodePtr &input, const NodePtr &mat, const NodePtr &vec, const NodePtr &beta, const NodePtr &alpha);
-    static NodePtr Cross(const NodePtr &input, const NodePtr &other, const NodePtr &dim);
-    static NodePtr NormalFloatTensor(const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr TraceExt(const NodePtr &input);
-    static NodePtr SelectExt(const NodePtr &input, const NodePtr &dim, const NodePtr &index);
-    static NodePtr InplaceDiv(const NodePtr &input, const NodePtr &other);
-    static NodePtr SpeedFusionAttentionGrad(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &dy, const NodePtr &head_num, const NodePtr &input_layout, const NodePtr &pse, const NodePtr &padding_mask, const NodePtr &atten_mask, const NodePtr &softmax_max, const NodePtr &softmax_sum, const NodePtr &softmax_in, const NodePtr &attention_in, const NodePtr &scale_value, const NodePtr &keep_prob, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &seed, const NodePtr &offset, const NodePtr &numels, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &sparse_mode, const NodePtr &gen_mask_parallel, const NodePtr &sync, const NodePtr &pse_type, const NodePtr &q_start_idx, const NodePtr &kv_start_idx);
-    static NodePtr Abs(const NodePtr &input);
-    static NodePtr Neg(const NodePtr &input);
-    static NodePtr ArgMinWithValue(const NodePtr &input, const NodePtr &axis, const NodePtr &keep_dims);
-    static NodePtr SigmoidGrad(const NodePtr &y, const NodePtr &dy);
-    static NodePtr Std(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
-    static NodePtr RandnLike(const NodePtr &input, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr UpsampleNearest1D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales);
-    static NodePtr DistCommScatter(const NodePtr &other, const NodePtr &scatter_list, const NodePtr &rank_size, const NodePtr &src, const NodePtr &rank_id, const NodePtr &group);
-    static NodePtr L1LossBackwardExt(const NodePtr &grad_output, const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
-    static NodePtr OnesLikeExt(const NodePtr &input, const NodePtr &dtype);
-    static NodePtr InplaceThreshold(const NodePtr &input, const NodePtr &threshold, const NodePtr &value);
-    static NodePtr MSELossExt(const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
-    static NodePtr LeakyReLUExt(const NodePtr &input, const NodePtr &negative_slope);
-    static NodePtr IndexSelect(const NodePtr &input, const NodePtr &dim, const NodePtr &index);
-    static NodePtr Dot(const NodePtr &input, const NodePtr &other);
-    static NodePtr MoeTokenPermuteGrad(const NodePtr &permuted_tokens_grad, const NodePtr &sorted_indices, const NodePtr &num_topk, const NodePtr &padded_mode);
-    static NodePtr Triu(const NodePtr &input, const NodePtr &diagonal);
-    static NodePtr Conv3DExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
-    static NodePtr LogSigmoid(const NodePtr &input);
-    static NodePtr InplaceFillDiagonal(const NodePtr &input, const NodePtr &fill_value, const NodePtr &wrap);
+    static NodePtr ReflectionPad3DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
     static NodePtr InplaceClampTensor(const NodePtr &input, const NodePtr &min, const NodePtr &max);
-    static NodePtr AdaptiveAvgPool2DExt(const NodePtr &input, const NodePtr &output_size);
-    static NodePtr MaxPoolGradWithMask(const NodePtr &x, const NodePtr &grad, const NodePtr &mask, const NodePtr &kernel_size, const NodePtr &strides, const NodePtr &pads, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &argmax_type);
-    static NodePtr UpsampleNearest2DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales);
-    static NodePtr ReflectionPad3D(const NodePtr &input, const NodePtr &padding);
-    static NodePtr Squeeze(const NodePtr &input, const NodePtr &axis);
-    static NodePtr InplaceErfinv(const NodePtr &input);
+    static NodePtr Atanh(const NodePtr &input);
+    static NodePtr ReplicationPad1D(const NodePtr &input, const NodePtr &padding);
+    static NodePtr BatchNormElemt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &mean, const NodePtr &invstd, const NodePtr &eps);
     static NodePtr Erfc(const NodePtr &input);
-    static NodePtr InplaceStopGradient(const NodePtr &input);
-    static NodePtr GridSampler2DGrad(const NodePtr &grad, const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners, const NodePtr &output_mask);
-    static NodePtr ReduceMax(const NodePtr &x, const NodePtr &axis, const NodePtr &keep_dims);
-    static NodePtr Slice(const NodePtr &input, const NodePtr &begin, const NodePtr &size);
-    static NodePtr Sin(const NodePtr &input);
-    static NodePtr ArgMaxExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
-    static NodePtr Softmax(const NodePtr &input, const NodePtr &axis);
-    static NodePtr HShrinkGrad(const NodePtr &gradients, const NodePtr &features, const NodePtr &lambd);
-    static NodePtr Log1p(const NodePtr &input);
-    static NodePtr LinalgVectorNorm(const NodePtr &x, const NodePtr &ord, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
-    static NodePtr FillScalar(const NodePtr &size, const NodePtr &fill_value, const NodePtr &dtype);
-    static NodePtr Split(const NodePtr &input_x, const NodePtr &axis, const NodePtr &output_num);
-    static NodePtr SplitWithSize(const NodePtr &input, const NodePtr &split_size, const NodePtr &dim);
-    static NodePtr SmoothL1LossGrad(const NodePtr &prediction, const NodePtr &target, const NodePtr &dout, const NodePtr &beta, const NodePtr &reduction);
-    static NodePtr XLogYScalarSelf(const NodePtr &input, const NodePtr &other);
-    static NodePtr Exp(const NodePtr &input);
-    static NodePtr Col2ImExt(const NodePtr &input, const NodePtr &output_size, const NodePtr &kernel_size, const NodePtr &dilation, const NodePtr &padding, const NodePtr &stride);
-    static NodePtr SoftMarginLossGrad(const NodePtr &predict, const NodePtr &label, const NodePtr &dout, const NodePtr &reduction);
-    static NodePtr AdaptiveAvgPool1D(const NodePtr &input, const NodePtr &output_size);
-    static NodePtr RmsNorm(const NodePtr &x, const NodePtr &gamma, const NodePtr &epsilon);
-    static NodePtr MultiScaleDeformableAttn(const NodePtr &value, const NodePtr &shape, const NodePtr &offset, const NodePtr &locations, const NodePtr &weight);
-    static NodePtr Contiguous(const NodePtr &input);
-    static NodePtr InplaceMuls(const NodePtr &input, const NodePtr &other);
-    static NodePtr ScatterAddExt(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src);
-    static NodePtr AsinhExt(const NodePtr &input);
-    static NodePtr InplaceIndexPut(const NodePtr &input, const NodePtr &indices, const NodePtr &values, const NodePtr &accumulate);
-    static NodePtr PromptFlashAttention(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &attn_mask, const NodePtr &actual_seq_lengths, const NodePtr &actual_seq_lengths_kv, const NodePtr &pse_shift, const NodePtr &deq_scale1, const NodePtr &quant_scale1, const NodePtr &deq_scale2, const NodePtr &quant_scale2, const NodePtr &quant_offset2, const NodePtr &num_heads, const NodePtr &scale_value, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &input_layout, const NodePtr &num_key_value_heads, const NodePtr &sparse_mode, const NodePtr &inner_precise);
-    static NodePtr GeLU(const NodePtr &input);
-    static NodePtr HSigmoid(const NodePtr &input);
-    static NodePtr SliceExt(const NodePtr &input, const NodePtr &dim, const NodePtr &start, const NodePtr &end, const NodePtr &step);
-    static NodePtr DistCommReduceScatterTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &op_type, const NodePtr &group);
-    static NodePtr LogSumExp(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
-    static NodePtr RepeatInterleaveInt(const NodePtr &input, const NodePtr &repeats, const NodePtr &dim, const NodePtr &output_size);
-    static NodePtr InplaceScatterSrc(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src);
-    static NodePtr GreaterEqualScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr PowTensorScalar(const NodePtr &input, const NodePtr &exponent);
-    static NodePtr RepeatInterleaveGrad(const NodePtr &input, const NodePtr &repeats, const NodePtr &dim);
-    static NodePtr Ones(const NodePtr &shape, const NodePtr &dtype);
-    static NodePtr UpsampleBilinear2D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr InplaceCopy(const NodePtr &input, const NodePtr &src);
-    static NodePtr AddLayerNormV2(const NodePtr &x1, const NodePtr &x2, const NodePtr &gamma, const NodePtr &beta, const NodePtr &epsilon, const NodePtr &additionalOut);
-    static NodePtr AddcmulExt(const NodePtr &input, const NodePtr &tensor1, const NodePtr &tensor2, const NodePtr &value);
-    static NodePtr Copy(const NodePtr &input);
-    static NodePtr Sinh(const NodePtr &input);
-    static NodePtr NormalTensorTensor(const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr Sigmoid(const NodePtr &input);
-    static NodePtr Conv1DExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
-    static NodePtr InplaceRandom(const NodePtr &input, const NodePtr &from_, const NodePtr &to, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr GluGrad(const NodePtr &grads, const NodePtr &x, const NodePtr &axis);
-    static NodePtr DistCommAllToAllV(const NodePtr &other, const NodePtr &input, const NodePtr &group, const NodePtr &send_numel_list, const NodePtr &recv_numel_list, const NodePtr &rank_size);
-    static NodePtr Narrow(const NodePtr &input, const NodePtr &dim, const NodePtr &start, const NodePtr &length);
-    static NodePtr GridSampler2D(const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners);
-    static NodePtr BitwiseOrScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr ReflectionPad2DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
-    static NodePtr FloorDivScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr Polar(const NodePtr &abs, const NodePtr &angle);
-    static NodePtr UpsampleNearest1DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales);
-    static NodePtr LogAddExp2(const NodePtr &input, const NodePtr &other);
-    static NodePtr FlashAttentionScoreGrad(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &dy, const NodePtr &pse_shift, const NodePtr &drop_mask, const NodePtr &padding_mask, const NodePtr &atten_mask, const NodePtr &softmax_max, const NodePtr &softmax_sum, const NodePtr &softmax_in, const NodePtr &attention_in, const NodePtr &prefix, const NodePtr &actual_seq_qlen, const NodePtr &actual_seq_kvlen, const NodePtr &head_num, const NodePtr &keep_prob, const NodePtr &scale_value, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &inner_precise, const NodePtr &input_layout, const NodePtr &sparse_mode);
-    static NodePtr NormalFloatFloat(const NodePtr &mean, const NodePtr &std, const NodePtr &size, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr UnstackExt(const NodePtr &input, const NodePtr &dim);
-    static NodePtr AtanExt(const NodePtr &input);
-    static NodePtr InplaceDivMod(const NodePtr &input, const NodePtr &other, const NodePtr &rounding_mode);
-    static NodePtr InplaceScatterSrcReduce(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src, const NodePtr &reduce);
-    static NodePtr SortExt(const NodePtr &input, const NodePtr &dim, const NodePtr &descending, const NodePtr &stable);
-    static NodePtr HistcExt(const NodePtr &input, const NodePtr &bins, const NodePtr &min, const NodePtr &max);
-    static NodePtr InplaceDivs(const NodePtr &input, const NodePtr &other);
-    static NodePtr Concat(const NodePtr &tensors, const NodePtr &axis);
-    static NodePtr InplaceAddsExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
     static NodePtr HSigmoidGrad(const NodePtr &grads, const NodePtr &input_x);
-    static NodePtr DistCommAllToAllVSingle(const NodePtr &other, const NodePtr &input, const NodePtr &group, const NodePtr &send_numel_list, const NodePtr &recv_numel_list, const NodePtr &rank_size, const NodePtr &split_sizes_empty);
+    static NodePtr Frac(const NodePtr &input);
+    static NodePtr SigmoidGrad(const NodePtr &y, const NodePtr &dy);
+    static NodePtr FullLike(const NodePtr &input, const NodePtr &fill_value, const NodePtr &dtype);
+    static NodePtr SoftShrinkGrad(const NodePtr &input_grad, const NodePtr &input_x, const NodePtr &lambd);
+    static NodePtr BatchMatMulExt(const NodePtr &input, const NodePtr &mat2);
+    static NodePtr RingAttentionUpdate(const NodePtr &prev_attn_out, const NodePtr &prev_softmax_max, const NodePtr &prev_softmax_sum, const NodePtr &cur_attn_out, const NodePtr &cur_softmax_max, const NodePtr &cur_softmax_sum, const NodePtr &actual_seq_qlen, const NodePtr &layout);
+    static NodePtr DistCommAllToAllV(const NodePtr &other, const NodePtr &input, const NodePtr &group, const NodePtr &send_numel_list, const NodePtr &recv_numel_list, const NodePtr &rank_size);
+    static NodePtr PReLUGrad(const NodePtr &dy, const NodePtr &x, const NodePtr &weight);
+    static NodePtr RepeatInterleaveTensor(const NodePtr &input, const NodePtr &repeats, const NodePtr &dim, const NodePtr &output_size);
+    static NodePtr AddLayerNormV2(const NodePtr &x1, const NodePtr &x2, const NodePtr &gamma, const NodePtr &beta, const NodePtr &epsilon, const NodePtr &additionalOut);
+    static NodePtr BitwiseNot(const NodePtr &input);
+    static NodePtr MatrixInverseExt(const NodePtr &input);
+    static NodePtr AdaptiveAvgPool2DGradExt(const NodePtr &grad_output, const NodePtr &x);
+    static NodePtr TransposeExtView(const NodePtr &input, const NodePtr &dim0, const NodePtr &dim1);
+    static NodePtr LogicalXor(const NodePtr &input, const NodePtr &other);
+    static NodePtr DistCommIsend(const NodePtr &input, const NodePtr &dst, const NodePtr &group, const NodePtr &tag);
+    static NodePtr IndexAddExt(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &source, const NodePtr &alpha);
+    static NodePtr Chunk(const NodePtr &input, const NodePtr &chunks, const NodePtr &dim);
+    static NodePtr InplaceRemainderTensorScalar(const NodePtr &input, const NodePtr &other);
     static NodePtr PowScalarTensor(const NodePtr &input, const NodePtr &exponent);
-    static NodePtr MedianDim(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
-    static NodePtr ConvolutionStrGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups, const NodePtr &output_mask);
-    static NodePtr Add(const NodePtr &input, const NodePtr &other);
-    static NodePtr InnerCommAllToAllV(const NodePtr &input, const NodePtr &group, const NodePtr &send_numel_list, const NodePtr &recv_numel_list, const NodePtr &rank_size, const NodePtr &split_sizes_empty);
-    static NodePtr Tanh(const NodePtr &input);
-    static NodePtr FullLike(const NodePtr &input, const NodePtr &fill_value, const NodePtr &dtype);
-    static NodePtr NeScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr ArgSort(const NodePtr &input, const NodePtr &dim, const NodePtr &descending, const NodePtr &stable);
-    static NodePtr SeluGrad(const NodePtr &gradient, const NodePtr &result);
-    static NodePtr Conv2DPadding(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
-    static NodePtr HSwish(const NodePtr &input);
-    static NodePtr InplaceFloorDivide(const NodePtr &input, const NodePtr &other);
-    static NodePtr InplaceScatterAdd(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src);
+    static NodePtr DistCommScatterTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &src, const NodePtr &rank_id, const NodePtr &group);
+    static NodePtr KLDivGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &target, const NodePtr &reduction, const NodePtr &log_target);
+    static NodePtr Div(const NodePtr &input, const NodePtr &other);
+    static NodePtr MedianExt(const NodePtr &input);
+    static NodePtr SliceExtView(const NodePtr &input, const NodePtr &dim, const NodePtr &start, const NodePtr &end, const NodePtr &step);
+    static NodePtr Ceil(const NodePtr &input);
+    static NodePtr ReflectionPad1D(const NodePtr &input, const NodePtr &padding);
+    static NodePtr BatchNormGradExt(const NodePtr &dout, const NodePtr &input, const NodePtr &weight, const NodePtr &running_mean, const NodePtr &running_var, const NodePtr &saved_mean, const NodePtr &saved_rstd, const NodePtr &training, const NodePtr &eps, const NodePtr &output_mask);
     static NodePtr MSELossGradExt(const NodePtr &dout, const NodePtr &x, const NodePtr &target, const NodePtr &reduction);
-    static NodePtr Minimum(const NodePtr &input, const NodePtr &other);
-    static NodePtr Exp2(const NodePtr &input);
-    static NodePtr AddcdivExt(const NodePtr &input, const NodePtr &tensor1, const NodePtr &tensor2, const NodePtr &value);
-    static NodePtr CountNonZero(const NodePtr &input, const NodePtr &dim);
-    static NodePtr StackExt(const NodePtr &tensors, const NodePtr &dim);
-    static NodePtr SoftmaxBackward(const NodePtr &dout, const NodePtr &out, const NodePtr &dim);
-    static NodePtr LinalgQr(const NodePtr &A, const NodePtr &mode);
-    static NodePtr BatchNormElemt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &mean, const NodePtr &invstd, const NodePtr &eps);
+    static NodePtr Sign(const NodePtr &input);
+    static NodePtr Transpose(const NodePtr &input, const NodePtr &input_perm);
+    static NodePtr HistcExt(const NodePtr &input, const NodePtr &bins, const NodePtr &min, const NodePtr &max);
+    static NodePtr InplaceClampScalar(const NodePtr &input, const NodePtr &min, const NodePtr &max);
+    static NodePtr GridSampler3DGrad(const NodePtr &grad, const NodePtr &input_x, const NodePtr &grid, const NodePtr &interpolation_mode, const NodePtr &padding_mode, const NodePtr &align_corners, const NodePtr &output_mask);
+    static NodePtr InplaceHardtanh(const NodePtr &input, const NodePtr &min_val, const NodePtr &max_val);
+    static NodePtr IsClose(const NodePtr &input, const NodePtr &other, const NodePtr &rtol, const NodePtr &atol, const NodePtr &equal_nan);
+    static NodePtr AvgPool3DExt(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
+    static NodePtr UpsampleNearest1DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales);
+    static NodePtr MaxDim(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr AvgPool3DGradExt(const NodePtr &grad, const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
+    static NodePtr SubScalar(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr FFNExt(const NodePtr &x, const NodePtr &weight1, const NodePtr &weight2, const NodePtr &expertTokens, const NodePtr &bias1, const NodePtr &bias2, const NodePtr &scale, const NodePtr &offset, const NodePtr &deqScale1, const NodePtr &deqScale2, const NodePtr &antiquant_scale1, const NodePtr &antiquant_scale2, const NodePtr &antiquant_offset1, const NodePtr &antiquant_offset2, const NodePtr &activation, const NodePtr &inner_precise);
+    static NodePtr DropoutDoMaskExt(const NodePtr &input, const NodePtr &mask, const NodePtr &p);
+    static NodePtr InplaceRandom(const NodePtr &input, const NodePtr &from_, const NodePtr &to, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr EqualExt(const NodePtr &input, const NodePtr &other);
+    static NodePtr MoeTokenPermuteGrad(const NodePtr &permuted_tokens_grad, const NodePtr &sorted_indices, const NodePtr &num_topk, const NodePtr &padded_mode);
+    static NodePtr ReflectionPad1DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
+    static NodePtr Dense(const NodePtr &input, const NodePtr &weight, const NodePtr &bias);
+    static NodePtr InplaceScatterValueReduce(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value, const NodePtr &reduce);
+    static NodePtr ClampScalar(const NodePtr &input, const NodePtr &min, const NodePtr &max);
+    static NodePtr AllFinite(const NodePtr &tensors);
+    static NodePtr InnerIndex(const NodePtr &input, const NodePtr &indices);
+    static NodePtr ReplicationPad2DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
+    static NodePtr DistCommReduce(const NodePtr &input, const NodePtr &op_type, const NodePtr &dst, const NodePtr &group);
+    static NodePtr Log10(const NodePtr &input);
+    static NodePtr ProdExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
+    static NodePtr ArgMinExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);
+    static NodePtr Contiguous(const NodePtr &input);
+    static NodePtr Slice(const NodePtr &input, const NodePtr &begin, const NodePtr &size);
+    static NodePtr UniqueConsecutive(const NodePtr &input, const NodePtr &return_inverse, const NodePtr &return_counts, const NodePtr &dim);
+    static NodePtr ConvolutionGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups, const NodePtr &output_mask);
+    static NodePtr DistCommAllGatherIntoTensorUneven(const NodePtr &other, const NodePtr &input, const NodePtr &output_split_sizes, const NodePtr &rank_size, const NodePtr &group);
+    static NodePtr OneHotExt(const NodePtr &tensor, const NodePtr &num_classes, const NodePtr &on_value, const NodePtr &off_value, const NodePtr &axis);
+    static NodePtr Outer(const NodePtr &input, const NodePtr &vec2);
     static NodePtr MultiScaleDeformableAttnGrad(const NodePtr &value, const NodePtr &shape, const NodePtr &offset, const NodePtr &locations_trans, const NodePtr &weight, const NodePtr &grad_output);
+    static NodePtr InplaceMuls(const NodePtr &input, const NodePtr &other);
+    static NodePtr CrossEntropyLoss(const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &reduction, const NodePtr &ignore_index, const NodePtr &label_smoothing, const NodePtr &lse_square_scale_for_zloss, const NodePtr &return_zloss);
+    static NodePtr ReplicationPad1DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
+    static NodePtr UpsampleNearest2D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales);
+    static NodePtr MatMul(const NodePtr &input, const NodePtr &mat2, const NodePtr &transpose_a, const NodePtr &transpose_b);
+    static NodePtr InplaceBernoulliTensor(const NodePtr &input, const NodePtr &p, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr Unique2(const NodePtr &input, const NodePtr &sorted, const NodePtr &return_inverse, const NodePtr &return_counts);
+    static NodePtr UpsampleBilinear2DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
+    static NodePtr BincountExt(const NodePtr &input, const NodePtr &weights, const NodePtr &minlength);
+    static NodePtr ConvolutionStr(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups);
+    static NodePtr DistCommAllGather(const NodePtr &tensor_list, const NodePtr &input, const NodePtr &rank_size, const NodePtr &group);
+    static NodePtr IsNegInf(const NodePtr &input);
     static NodePtr GeluGradExt(const NodePtr &grad, const NodePtr &input, const NodePtr &approximate);
-    static NodePtr SearchSorted(const NodePtr &sorted_sequence, const NodePtr &values, const NodePtr &sorter, const NodePtr &dtype, const NodePtr &right);
-    static NodePtr ProdExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim, const NodePtr &dtype);
-    static NodePtr EqualExt(const NodePtr &input, const NodePtr &other);
-    static NodePtr Mul(const NodePtr &input, const NodePtr &other);
-    static NodePtr Repeat(const NodePtr &input, const NodePtr &repeats);
     static NodePtr KLDiv(const NodePtr &input, const NodePtr &target, const NodePtr &reduction, const NodePtr &log_target);
-    static NodePtr InnerNonZero(const NodePtr &input);
-    static NodePtr ConvolutionGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &transposed, const NodePtr &output_padding, const NodePtr &groups, const NodePtr &output_mask);
-    static NodePtr Im2ColExt(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &dilation, const NodePtr &padding, const NodePtr &stride);
-    static NodePtr Cummax(const NodePtr &input, const NodePtr &axis);
-    static NodePtr VarMean(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
-    static NodePtr Conv2DExt(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
-    static NodePtr XLogYScalarOther(const NodePtr &input, const NodePtr &other);
-    static NodePtr UpsampleNearest3D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales);
-    static NodePtr NLLLoss2d(const NodePtr &input, const NodePtr &target, const NodePtr &weight, const NodePtr &reduction, const NodePtr &ignore_index);
-    static NodePtr Square(const NodePtr &input);
-    static NodePtr GatherDGradV2(const NodePtr &x, const NodePtr &dim, const NodePtr &index, const NodePtr &dout);
-    static NodePtr Less(const NodePtr &input, const NodePtr &other);
-    static NodePtr GatherD(const NodePtr &x, const NodePtr &dim, const NodePtr &index);
-    static NodePtr SplitTensor(const NodePtr &input, const NodePtr &split_size, const NodePtr &dim);
-    static NodePtr AvgPool2D(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
-    static NodePtr LinSpaceExt(const NodePtr &start, const NodePtr &end, const NodePtr &steps, const NodePtr &dtype);
-    static NodePtr ReduceAll(const NodePtr &input, const NodePtr &axis, const NodePtr &keep_dims);
-    static NodePtr Round(const NodePtr &input, const NodePtr &decimals);
-    static NodePtr FFNExt(const NodePtr &x, const NodePtr &weight1, const NodePtr &weight2, const NodePtr &expertTokens, const NodePtr &bias1, const NodePtr &bias2, const NodePtr &scale, const NodePtr &offset, const NodePtr &deqScale1, const NodePtr &deqScale2, const NodePtr &antiquant_scale1, const NodePtr &antiquant_scale2, const NodePtr &antiquant_offset1, const NodePtr &antiquant_offset2, const NodePtr &activation, const NodePtr &inner_precise);
-    static NodePtr MultinomialExt(const NodePtr &input, const NodePtr &num_samples, const NodePtr &replacement, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr Atanh(const NodePtr &input);
-    static NodePtr Sub(const NodePtr &input, const NodePtr &other);
-    static NodePtr InplaceZero(const NodePtr &input);
-    static NodePtr InnerCommReduceScatter(const NodePtr &input, const NodePtr &rank_size, const NodePtr &op_type, const NodePtr &group);
-    static NodePtr InplaceLog(const NodePtr &input);
-    static NodePtr ReflectionPad3DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
-    static NodePtr AvgPool3DGradExt(const NodePtr &grad, const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
-    static NodePtr TriangularSolve(const NodePtr &b, const NodePtr &A, const NodePtr &upper, const NodePtr &transpose, const NodePtr &unitriangular);
-    static NodePtr Cos(const NodePtr &input);
-    static NodePtr LogAddExp(const NodePtr &input, const NodePtr &other);
-    static NodePtr AcoshExt(const NodePtr &input);
+    static NodePtr AdaptiveAvgPool3DExt(const NodePtr &input, const NodePtr &output_size);
+    static NodePtr Index(const NodePtr &input, const NodePtr &indices);
+    static NodePtr Sin(const NodePtr &input);
+    static NodePtr BitwiseAndScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr UpsampleLinear1D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
+    static NodePtr UpsampleNearest2DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales);
     static NodePtr LogicalNot(const NodePtr &input);
-    static NodePtr Roll(const NodePtr &input, const NodePtr &shifts, const NodePtr &dims);
+    static NodePtr InplaceUniform(const NodePtr &input, const NodePtr &from_, const NodePtr &to, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr HShrinkGrad(const NodePtr &gradients, const NodePtr &features, const NodePtr &lambd);
+    static NodePtr PromptFlashAttention(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &attn_mask, const NodePtr &actual_seq_lengths, const NodePtr &actual_seq_lengths_kv, const NodePtr &pse_shift, const NodePtr &deq_scale1, const NodePtr &quant_scale1, const NodePtr &deq_scale2, const NodePtr &quant_scale2, const NodePtr &quant_offset2, const NodePtr &num_heads, const NodePtr &scale_value, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &input_layout, const NodePtr &num_key_value_heads, const NodePtr &sparse_mode, const NodePtr &inner_precise);
+    static NodePtr ClampTensor(const NodePtr &input, const NodePtr &min, const NodePtr &max);
+    static NodePtr InplaceNormal(const NodePtr &input, const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr AdaptiveMaxPool1D(const NodePtr &input, const NodePtr &output_size);
+    static NodePtr LayerNormExt(const NodePtr &input, const NodePtr &normalized_shape, const NodePtr &weight, const NodePtr &bias, const NodePtr &eps);
+    static NodePtr UniformExt(const NodePtr &tensor, const NodePtr &a, const NodePtr &b, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr Erf(const NodePtr &input);
+    static NodePtr ArgSort(const NodePtr &input, const NodePtr &dim, const NodePtr &descending, const NodePtr &stable);
+    static NodePtr DistCommAllToAllVSingle(const NodePtr &other, const NodePtr &input, const NodePtr &group, const NodePtr &send_numel_list, const NodePtr &recv_numel_list, const NodePtr &rank_size, const NodePtr &split_sizes_empty);
+    static NodePtr InplaceScatterValue(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value);
     static NodePtr DropoutGradExt(const NodePtr &input, const NodePtr &mask, const NodePtr &p);
-    static NodePtr TypeAs(const NodePtr &input, const NodePtr &other);
+    static NodePtr GatherD(const NodePtr &x, const NodePtr &dim, const NodePtr &index);
+    static NodePtr BinaryCrossEntropyGrad(const NodePtr &input, const NodePtr &target, const NodePtr &grad_output, const NodePtr &weight, const NodePtr &reduction);
+    static NodePtr OnesLikeExt(const NodePtr &input, const NodePtr &dtype);
+    static NodePtr DistCommAllReduce(const NodePtr &input, const NodePtr &op_type, const NodePtr &group);
+    static NodePtr MoeTokenUnpermuteGrad(const NodePtr &permuted_tokens, const NodePtr &unpermuted_tokens_grad, const NodePtr &sorted_indices, const NodePtr &probs, const NodePtr &padded_mode, const NodePtr &restore_shape);
+    static NodePtr NewOnes(const NodePtr &input, const NodePtr &size, const NodePtr &dtype);
+    static NodePtr Ones(const NodePtr &shape, const NodePtr &dtype);
+    static NodePtr ReflectionPad2DGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &padding);
     static NodePtr InplaceTanh(const NodePtr &input);
-    static NodePtr EmbeddingDenseBackward(const NodePtr &grad, const NodePtr &indices, const NodePtr &num_weights, const NodePtr &padding_idx, const NodePtr &scale_grad_by_freq);
+    static NodePtr NanToNum(const NodePtr &input, const NodePtr &nan, const NodePtr &posinf, const NodePtr &neginf);
+    static NodePtr SmoothL1Loss(const NodePtr &prediction, const NodePtr &target, const NodePtr &beta, const NodePtr &reduction);
+    static NodePtr Var(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
+    static NodePtr MatMulExt(const NodePtr &input, const NodePtr &other);
+    static NodePtr Softmax(const NodePtr &input, const NodePtr &axis);
+    static NodePtr MSELossExt(const NodePtr &input, const NodePtr &target, const NodePtr &reduction);
+    static NodePtr Eye(const NodePtr &n, const NodePtr &m, const NodePtr &dtype);
+    static NodePtr NLLLoss(const NodePtr &logits, const NodePtr &labels, const NodePtr &weight, const NodePtr &reduction, const NodePtr &ignore_index);
+    static NodePtr UpsampleBicubic2DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
+    static NodePtr Take(const NodePtr &input, const NodePtr &index);
+    static NodePtr Sigmoid(const NodePtr &input);
+    static NodePtr Cummax(const NodePtr &input, const NodePtr &axis);
+    static NodePtr Reciprocal(const NodePtr &input);
+    static NodePtr SubExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr IndexFillTensor(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value);
+    static NodePtr Generator(const NodePtr &cmd, const NodePtr &inputs);
+    static NodePtr Neg(const NodePtr &input);
+    static NodePtr SliceExt(const NodePtr &input, const NodePtr &dim, const NodePtr &start, const NodePtr &end, const NodePtr &step);
+    static NodePtr SeluGrad(const NodePtr &gradient, const NodePtr &result);
+    static NodePtr MaskedSelectGrad(const NodePtr &input, const NodePtr &mask, const NodePtr &grad);
+    static NodePtr Pow(const NodePtr &input, const NodePtr &exponent);
+    static NodePtr InplaceCopy(const NodePtr &input, const NodePtr &src, const NodePtr &non_blocking);
+    static NodePtr SwigluGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &dim);
+    static NodePtr NeScalar(const NodePtr &input, const NodePtr &other);
+    static NodePtr Conv1DPadding(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
+    static NodePtr NormalTensorFloat(const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr AdamW(const NodePtr &var, const NodePtr &m, const NodePtr &v, const NodePtr &max_v, const NodePtr &gradient, const NodePtr &step, const NodePtr &lr, const NodePtr &beta1, const NodePtr &beta2, const NodePtr &decay, const NodePtr &eps, const NodePtr &amsgrad, const NodePtr &maximize);
+    static NodePtr MaskedScatter(const NodePtr &input, const NodePtr &mask, const NodePtr &source);
+    static NodePtr MultinomialExt(const NodePtr &input, const NodePtr &num_samples, const NodePtr &replacement, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr SplitTensorView(const NodePtr &input, const NodePtr &split_size, const NodePtr &dim);
+    static NodePtr Mm(const NodePtr &input, const NodePtr &mat2);
+    static NodePtr UpsampleTrilinear3D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
     static NodePtr BernoulliExt(const NodePtr &input, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr HSigmoid(const NodePtr &input);
+    static NodePtr TypeAs(const NodePtr &input, const NodePtr &other);
     static NodePtr ReluGrad(const NodePtr &y_backprop, const NodePtr &x);
-    static NodePtr MoeTokenUnpermute(const NodePtr &permuted_tokens, const NodePtr &sorted_indices, const NodePtr &probs, const NodePtr &padded_mode, const NodePtr &restore_shape);
-    static NodePtr InnerIndex(const NodePtr &input, const NodePtr &indices);
-    static NodePtr BroadcastTo(const NodePtr &input, const NodePtr &shape);
-    static NodePtr DistCommScatterTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &src, const NodePtr &rank_id, const NodePtr &group);
-    static NodePtr RandLikeExt(const NodePtr &tensor, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr Expm1(const NodePtr &input);
-    static NodePtr InplaceNormal(const NodePtr &input, const NodePtr &mean, const NodePtr &std, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr BitwiseOrTensor(const NodePtr &input, const NodePtr &other);
-    static NodePtr AcosExt(const NodePtr &input);
-    static NodePtr GreaterEqual(const NodePtr &input, const NodePtr &other);
-    static NodePtr Trunc(const NodePtr &input);
-    static NodePtr ReduceMin(const NodePtr &x, const NodePtr &axis, const NodePtr &keep_dims);
+    static NodePtr BatchNormElemtGrad(const NodePtr &dout, const NodePtr &input, const NodePtr &mean, const NodePtr &invstd, const NodePtr &weight, const NodePtr &sumd_dy, const NodePtr &sum_dy_xmu, const NodePtr &count);
+    static NodePtr Conv3DPadding(const NodePtr &input, const NodePtr &weight, const NodePtr &bias, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &groups);
     static NodePtr GroupNormGrad(const NodePtr &dy, const NodePtr &x, const NodePtr &mean, const NodePtr &rstd, const NodePtr &gamma_opt, const NodePtr &num_groups, const NodePtr &dx_is_require, const NodePtr &dgamma_is_require, const NodePtr &dbeta_is_require);
-    static NodePtr AdaptiveMaxPool1D(const NodePtr &input, const NodePtr &output_size);
-    static NodePtr UpsampleBilinear2DGrad(const NodePtr &dy, const NodePtr &input_size, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr DropoutExt(const NodePtr &input, const NodePtr &p, const NodePtr &seed, const NodePtr &offset);
-    static NodePtr BitwiseXorScalar(const NodePtr &input, const NodePtr &other);
-    static NodePtr DistCommGather(const NodePtr &input, const NodePtr &gather_list, const NodePtr &rank_size, const NodePtr &dst, const NodePtr &rank_id, const NodePtr &group);
-    static NodePtr LogSigmoidGrad(const NodePtr &dy, const NodePtr &input, const NodePtr &buffer);
-    static NodePtr DiagExt(const NodePtr &input, const NodePtr &diagonal);
-    static NodePtr RandIntLike(const NodePtr &input, const NodePtr &low, const NodePtr &high, const NodePtr &seed, const NodePtr &offset, const NodePtr &dtype);
-    static NodePtr LerpScalar(const NodePtr &input, const NodePtr &end, const NodePtr &weight);
-    static NodePtr GmmBackward(const NodePtr &grad, const NodePtr &x, const NodePtr &weight, const NodePtr &group_list);
-    static NodePtr RemainderScalarTensor(const NodePtr &input, const NodePtr &other);
-    static NodePtr LogicalOr(const NodePtr &x, const NodePtr &y);
-    static NodePtr AvgPool2DGrad(const NodePtr &grad, const NodePtr &image, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &ceil_mode, const NodePtr &count_include_pad, const NodePtr &divisor_override);
-    static NodePtr MaskedSelect(const NodePtr &input, const NodePtr &mask);
-    static NodePtr ReLU(const NodePtr &input);
-    static NodePtr AdaptiveMaxPool2D(const NodePtr &input, const NodePtr &output_size);
-    static NodePtr ReplicationPad3D(const NodePtr &input, const NodePtr &padding);
-    static NodePtr SwigluGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &dim);
-    static NodePtr InplaceSubExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
+    static NodePtr AllGatherMatmul(const NodePtr &input, const NodePtr &x2, const NodePtr &group, const NodePtr &world_size, const NodePtr &bias, const NodePtr &gather_index, const NodePtr &gather_output, const NodePtr &comm_turn, const NodePtr &trans_input, const NodePtr &trans_x2);
     static NodePtr BitwiseXorTensor(const NodePtr &input, const NodePtr &other);
-    static NodePtr Arange(const NodePtr &start, const NodePtr &end, const NodePtr &step, const NodePtr &dtype);
-    static NodePtr AddExt(const NodePtr &input, const NodePtr &other, const NodePtr &alpha);
-    static NodePtr DistCommAllGatherIntoTensor(const NodePtr &other, const NodePtr &input, const NodePtr &rank_size, const NodePtr &group);
-    static NodePtr Erf(const NodePtr &input);
-    static NodePtr UpsampleTrilinear3D(const NodePtr &x, const NodePtr &output_size, const NodePtr &scales, const NodePtr &align_corners);
-    static NodePtr MoeTokenPermute(const NodePtr &tokens, const NodePtr &indices, const NodePtr &num_out_tokens, const NodePtr &padded_mode);
-    static NodePtr MishGradExt(const NodePtr &dout, const NodePtr &x);
-    static NodePtr AddRmsNorm(const NodePtr &x1, const NodePtr &x2, const NodePtr &gamma, const NodePtr &epsilon);
-    static NodePtr MatMul(const NodePtr &input, const NodePtr &mat2, const NodePtr &transpose_a, const NodePtr &transpose_b);
-    static NodePtr UniqueConsecutive(const NodePtr &input, const NodePtr &return_inverse, const NodePtr &return_counts, const NodePtr &dim);
-    static NodePtr AddLayerNormGrad(const NodePtr &dy, const NodePtr &x1, const NodePtr &x2, const NodePtr &rstd, const NodePtr &mean, const NodePtr &gamma, const NodePtr &dsumOptional);
-    static NodePtr Eye(const NodePtr &n, const NodePtr &m, const NodePtr &dtype);
-    static NodePtr PReLUGrad(const NodePtr &dy, const NodePtr &x, const NodePtr &weight);
-    static NodePtr StdMean(const NodePtr &input, const NodePtr &dim, const NodePtr &correction, const NodePtr &keepdim);
-    static NodePtr GroupNorm(const NodePtr &input, const NodePtr &num_groups, const NodePtr &weight, const NodePtr &bias, const NodePtr &eps);
-    static NodePtr FillTensor(const NodePtr &size, const NodePtr &fill_value, const NodePtr &dtype);
-    static NodePtr Log2(const NodePtr &input);
-    static NodePtr Scatter(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src, const NodePtr &reduce);
-    static NodePtr Cast(const NodePtr &input, const NodePtr &dtype);
-    static NodePtr BatchMatMul(const NodePtr &x, const NodePtr &y, const NodePtr &transpose_a, const NodePtr &transpose_b);
-    static NodePtr NonZeroExt(const NodePtr &input);
-    static NodePtr Equal(const NodePtr &input, const NodePtr &other);
-    static NodePtr InplaceScatterValue(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value);
+    static NodePtr SearchSorted(const NodePtr &sorted_sequence, const NodePtr &values, const NodePtr &sorter, const NodePtr &dtype, const NodePtr &right);
+    static NodePtr XLogYScalarSelf(const NodePtr &input, const NodePtr &other);
+    static NodePtr TopkExt(const NodePtr &input, const NodePtr &k, const NodePtr &dim, const NodePtr &largest, const NodePtr &sorted);
+    static NodePtr IndexFillScalar(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &value);
     static NodePtr Select(const NodePtr &condition, const NodePtr &input, const NodePtr &other);
-    static NodePtr KLDivGrad(const NodePtr &grad_output, const NodePtr &input, const NodePtr &target, const NodePtr &reduction, const NodePtr &log_target);
-    static NodePtr LessEqual(const NodePtr &input, const NodePtr &other);
+    static NodePtr InplaceScatterSrcReduce(const NodePtr &input, const NodePtr &dim, const NodePtr &index, const NodePtr &src, const NodePtr &reduce);
+    static NodePtr Tile(const NodePtr &input, const NodePtr &dims);
+    static NodePtr AsinhExt(const NodePtr &input);
+    static NodePtr InplaceBernoulliScalar(const NodePtr &input, const NodePtr &p, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr GeLUGrad(const NodePtr &dy, const NodePtr &x, const NodePtr &y);
     static NodePtr GroupedMatmulV2(const NodePtr &x, const NodePtr &weight, const NodePtr &bias, const NodePtr &scale, const NodePtr &offset, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &group_list, const NodePtr &split_item, const NodePtr &group_type);
-    static NodePtr DynamicQuantExt(const NodePtr &x, const NodePtr &smooth_scales);
+    static NodePtr GroupedMatmul(const NodePtr &x, const NodePtr &weight, const NodePtr &bias, const NodePtr &scale, const NodePtr &offset, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &group_list, const NodePtr &split_item, const NodePtr &group_type, const NodePtr &transpose_a, const NodePtr &transpose_b);
+    static NodePtr QuantV2(const NodePtr &x, const NodePtr &scale, const NodePtr &offset, const NodePtr &sqrt_mode, const NodePtr &rounding_mode, const NodePtr &dst_type);
     static NodePtr GroupedMatmulV4(const NodePtr &x, const NodePtr &weight, const NodePtr &bias, const NodePtr &scale, const NodePtr &offset, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &pre_token_scale, const NodePtr &group_list, const NodePtr &activation_input, const NodePtr &activation_quant_scale, const NodePtr &activation_quant_offset, const NodePtr &split_item, const NodePtr &group_type, const NodePtr &group_list_type, const NodePtr &act_type);
-    static NodePtr KVCacheScatterUpdate(const NodePtr &var, const NodePtr &indices, const NodePtr &updates, const NodePtr &axis, const NodePtr &reduce);
+    static NodePtr DynamicQuantExt(const NodePtr &x, const NodePtr &smooth_scales);
     static NodePtr MoeFinalizeRouting(const NodePtr &expanded_x, const NodePtr &x1, const NodePtr &x2, const NodePtr &bias, const NodePtr &scales, const NodePtr &expanded_row_idx, const NodePtr &expanded_expert_idx);
+    static NodePtr AddRmsNormQuantV2(const NodePtr &x1, const NodePtr &x2, const NodePtr &gamma, const NodePtr &scale, const NodePtr &offset, const NodePtr &epsilon);
+    static NodePtr QuantBatchMatmul(const NodePtr &x1, const NodePtr &x2, const NodePtr &scale, const NodePtr &offset, const NodePtr &bias, const NodePtr &pertokenScaleOptional, const NodePtr &transpose_x1, const NodePtr &transpose_x2, const NodePtr &dtype);
+    static NodePtr KVCacheScatterUpdate(const NodePtr &var, const NodePtr &indices, const NodePtr &updates, const NodePtr &axis, const NodePtr &reduce);
     static NodePtr MatmulAllReduceAddRmsNorm(const NodePtr &x1, const NodePtr &x2, const NodePtr &bias, const NodePtr &residual, const NodePtr &gamma, const NodePtr &epsilon, const NodePtr &group, const NodePtr &reduce_op, const NodePtr &comm_turn, const NodePtr &stream_mode);
-    static NodePtr WeightQuantBatchMatmul(const NodePtr &x, const NodePtr &weight, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &quant_scale, const NodePtr &quant_offset, const NodePtr &bias, const NodePtr &transpose_x, const NodePtr &transpose_weight, const NodePtr &antiquant_group_size);
+    static NodePtr QuantMatmul(const NodePtr &x1, const NodePtr &x2, const NodePtr &scale, const NodePtr &offset, const NodePtr &pertoken_scale, const NodePtr &bias, const NodePtr &output_dtype, const NodePtr &x1_dtype, const NodePtr &x2_dtype, const NodePtr &pertoken_scale_dtype, const NodePtr &scale_dtype, const NodePtr &group_sizes);
     static NodePtr MoeGatingTopKSoftmax(const NodePtr &x, const NodePtr &finished, const NodePtr &k);
-    static NodePtr GroupedMatmul(const NodePtr &x, const NodePtr &weight, const NodePtr &bias, const NodePtr &scale, const NodePtr &offset, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &group_list, const NodePtr &split_item, const NodePtr &group_type, const NodePtr &transpose_a, const NodePtr &transpose_b);
+    static NodePtr WeightQuantBatchMatmul(const NodePtr &x, const NodePtr &weight, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &quant_scale, const NodePtr &quant_offset, const NodePtr &bias, const NodePtr &transpose_x, const NodePtr &transpose_weight, const NodePtr &antiquant_group_size);
+    static NodePtr MoeInitRoutingV2(const NodePtr &x, const NodePtr &expert_idx, const NodePtr &active_num, const NodePtr &expert_capacity, const NodePtr &expert_num, const NodePtr &drop_pad_mode, const NodePtr &expert_tokens_count_or_cumsum_flag, const NodePtr &expert_tokens_before_capacity_flag);
     static NodePtr MoeComputeExpertTokens(const NodePtr &sorted_experts, const NodePtr &num_expert);
-    static NodePtr QuantBatchMatmul(const NodePtr &x1, const NodePtr &x2, const NodePtr &scale, const NodePtr &offset, const NodePtr &bias, const NodePtr &pertokenScaleOptional, const NodePtr &transpose_x1, const NodePtr &transpose_x2, const NodePtr &dtype);
-    static NodePtr MoeInitRouting(const NodePtr &x, const NodePtr &row_idx, const NodePtr &expert_idx, const NodePtr &active_num);
     static NodePtr FusedInferAttentionScore(const NodePtr &query, const NodePtr &key, const NodePtr &value, const NodePtr &pse_shift, const NodePtr &attn_mask, const NodePtr &actual_seq_lengths, const NodePtr &actual_seq_lengths_kv, const NodePtr &dequant_scale1, const NodePtr &quant_scale1, const NodePtr &dequant_scale2, const NodePtr &quant_scale2, const NodePtr &quant_offset2, const NodePtr &antiquant_scale, const NodePtr &antiquant_offset, const NodePtr &block_table, const NodePtr &query_padding_size, const NodePtr &kv_padding_size, const NodePtr &key_antiquant_scale, const NodePtr &key_antiquant_offset, const NodePtr &value_antiquant_scale, const NodePtr &value_antiquant_offset, const NodePtr &key_shared_prefix, const NodePtr &value_shared_prefix, const NodePtr &actual_shared_prefix_len, const NodePtr &num_heads, const NodePtr &scale_value, const NodePtr &pre_tokens, const NodePtr &next_tokens, const NodePtr &input_layout, const NodePtr &num_key_value_heads, const NodePtr &sparse_mode, const NodePtr &inner_precise, const NodePtr &block_size, const NodePtr &antiquant_mode, const NodePtr &softmax_lse_flag, const NodePtr &key_antiquant_mode, const NodePtr &value_antiquant_mode);
-    static NodePtr QuantV2(const NodePtr &x, const NodePtr &scale, const NodePtr &offset, const NodePtr &sqrt_mode, const NodePtr &rounding_mode, const NodePtr &dst_type);
-    static NodePtr MoeInitRoutingV2(const NodePtr &x, const NodePtr &expert_idx, const NodePtr &active_num, const NodePtr &expert_capacity, const NodePtr &expert_num, const NodePtr &drop_pad_mode, const NodePtr &expert_tokens_count_or_cumsum_flag, const NodePtr &expert_tokens_before_capacity_flag);
-    static NodePtr AddRmsNormQuantV2(const NodePtr &x1, const NodePtr &x2, const NodePtr &gamma, const NodePtr &scale, const NodePtr &offset, const NodePtr &epsilon);
-    static NodePtr PixelShuffle(const NodePtr &input, const NodePtr &upscale_factor);;
+    static NodePtr MoeInitRoutingQuantV2(const NodePtr &x, const NodePtr &expert_idx, const NodePtr &active_num, const NodePtr &expert_capacity, const NodePtr &expert_num, const NodePtr &drop_pad_mode, const NodePtr &expert_tokens_count_or_cumsum_flag, const NodePtr &expert_tokens_before_capacity_flag, const NodePtr &quant_mode, const NodePtr &scale, const NodePtr &offset);
+    static NodePtr MoeInitRouting(const NodePtr &x, const NodePtr &row_idx, const NodePtr &expert_idx, const NodePtr &active_num);
+    static NodePtr GmmV2BackwardFusion(const NodePtr &grad, const NodePtr &weight, const NodePtr &group_list, const NodePtr &group_list_type);
+    static NodePtr Any(const NodePtr &input);
+    static NodePtr PixelShuffle(const NodePtr &input, const NodePtr &upscale_factor);
+    static NodePtr GmmV2Backward(const NodePtr &grad, const NodePtr &x, const NodePtr &weight, const NodePtr &group_list, const NodePtr &group_list_type);
+    static NodePtr Gmm(const NodePtr &x, const NodePtr &weight, const NodePtr &bias, const NodePtr &group_list, const NodePtr &group_type, const NodePtr &group_list_type);
+    static NodePtr EinsumExt(const NodePtr &equation, const NodePtr &operands);
+    static NodePtr FuncMaxPool2D(const NodePtr &input, const NodePtr &kernel_size, const NodePtr &stride, const NodePtr &padding, const NodePtr &dilation, const NodePtr &ceil_mode, const NodePtr &return_indices);
+    static NodePtr MoeTokenUnpermute(const NodePtr &permuted_tokens, const NodePtr &sorted_indices, const NodePtr &probs, const NodePtr &padded_mode, const NodePtr &restore_shape);
+    static NodePtr GmmV2(const NodePtr &x, const NodePtr &weight, const NodePtr &bias, const NodePtr &group_list, const NodePtr &group_type, const NodePtr &group_list_type);
+    static NodePtr FuncDropoutExt(const NodePtr &input, const NodePtr &p, const NodePtr &training, const NodePtr &inplace, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr InplaceExponential(const NodePtr &input, const NodePtr &lambd, const NodePtr &seed, const NodePtr &offset);
+    static NodePtr GmmBackward(const NodePtr &grad, const NodePtr &x, const NodePtr &weight, const NodePtr &group_list, const NodePtr &group_list_type);
+    static NodePtr GmmBackwardFusion(const NodePtr &grad, const NodePtr &weight, const NodePtr &group_list, const NodePtr &group_list_type);
+    static NodePtr AnyExt(const NodePtr &input, const NodePtr &dim, const NodePtr &keepdim);;
   private:
     static std::string device_target_;
 };