@clickzetta/cz-cli-darwin-arm64 0.3.76 → 0.3.78

package/bin/skills/lakehouse-doc/references/fulltext_indexes_guide.md

@@ -1,1180 +0,0 @@
-# Lakehouse 全文检索使用指南
-
-***
-
-## 附录 写在前面
-
-## 附录# 您可能遇到的文本检索场景
-
-## 附录## 附录 场景1：企业知识库搜索系统
-
-**当前在Hive/Spark中的常见做法**：
-
-```sql
--- 在Hive中进行文本搜索
-SELECT * FROM knowledge_base 
-WHERE content LIKE '%人工智能%' 
-   OR content LIKE '%机器学习%' 
-   OR content LIKE '%深度学习%';
-
--- 性能问题：
--- 1. 全表扫描，无法利用索引
--- 2. 只能精确匹配，无法进行语义搜索
--- 3. 中文分词困难，搜索效果差
-```
-
-**面临的技术挑战**：
-
-* **性能限制**：LIKE查询需要全表扫描，大数据量时性能极差
-* **功能局限**：无法进行分词搜索，只能精确字符串匹配
-* **维护复杂**：需要手动管理搜索关键词和同义词
-* **扩展困难**：多语言支持需要额外开发
-
-## 附录## 附录 场景2：日志分析与故障排查
-
-**在Elasticsearch中的典型实现**：
-
-```javascript
-// Elasticsearch查询
-{
-  "query": {
-    "multi_match": {
-      "query": "ERROR timeout connection",
-      "fields": ["message", "stack_trace"]
-    }
-  }
-}
-```
-
-**常见的技术痛点**：
-
-* **架构复杂**：需要维护独立的搜索引擎系统
-* **数据同步**：数据需要从数据湖同步到搜索引擎
-* **成本问题**：额外的存储和计算资源消耗
-* **一致性风险**：数据同步延迟导致搜索结果不准确
-
-## 附录# 为什么需要原生全文检索
-
-基于以上场景中的技术挑战，Lakehouse原生全文检索的设计目标是：
-
-**统一的数据处理平台**：
-
-* 在同一系统中完成分析计算和全文检索
-* 无需维护独立的搜索引擎系统
-* 数据存储和检索的强一致性
-
-**高性能的倒排索引**：
-
-* 基于倒排索引的快速文本检索
-* 支持多种分词策略和语言
-* 比传统LIKE查询性能提升数十倍
-
-**智能的分词和匹配**：
-
-* 支持中文、英文、Unicode等多种分词器
-* 提供短语匹配、前缀匹配、正则匹配等多种模式
-* 自动大小写转换和标点符号过滤
-
-## 附录# 如何使用这份指南
-
-| 读者角色  | 建议阅读重点             | 预期收获           |
-| ----- | ------------------ | -------------- |
-| 数据工程师 | 索引创建 → 函数使用 → 性能优化 | 掌握倒排索引的正确使用方法  |
-| 系统架构师 | 应用场景 → 架构对比 → 迁移策略 | 获得从传统搜索引擎的迁移指导 |
-| 应用开发者 | 快速开始 → 查询模式 → 避坑指南 | 了解全文检索的最佳实践    |
-
-***
-
-## 附录 快速开始
-
-## 附录# 基本使用流程
-
-```sql
--- 1. 创建包含倒排索引的表
-CREATE TABLE documents (
-    id BIGINT,
-    title STRING,
-    content STRING,
-    created_at TIMESTAMP,
-    
-    -- 建表时定义倒排索引
-    INDEX title_idx (title) INVERTED PROPERTIES('analyzer'='keyword'),
-    INDEX content_idx (content) INVERTED PROPERTIES('analyzer'='chinese', 'mode'='smart')
-);
-
--- 2. 插入数据
-INSERT INTO documents VALUES 
-(1, 'ClickZetta技术指南', '云器Lakehouse支持向量检索和全文搜索功能', CURRENT_TIMESTAMP());
-
--- 3. 为已有数据构建索引
-BUILD INDEX content_idx ON documents;
-
--- 4. 执行全文检索查询
-SELECT id, title FROM documents 
-WHERE MATCH_ANY(content, '全文搜索 向量检索', map('analyzer', 'auto'));
-
--- 5. 使用短语匹配
-SELECT id, title FROM documents 
-WHERE MATCH_PHRASE(content, '全文搜索功能', map('analyzer', 'auto'));
-```
-
-***
-
-## 附录 技术对比：传统方案 vs 原生全文检索
-
-## 附录# 传统LIKE查询方案
-
-```sql
--- 使用LIKE进行文本搜索
-SELECT * FROM documents 
-WHERE content LIKE '%人工智能%' 
-   OR content LIKE '%机器学习%'
-   OR content LIKE '%深度学习%';
-
--- 存在的问题：
--- 1. 全表扫描，性能差
--- 2. 无法分词，只能精确匹配
--- 3. 大小写敏感
--- 4. 无法处理同义词
-```
-
-## 附录# 外部搜索引擎方案
-
-```yaml
-# 需要维护额外的Elasticsearch集群
-version: '3'
-services:
-  elasticsearch:
-    image: elasticsearch:7.14.0
-    environment:
-      - discovery.type=single-node
-    ports:
-      - "9200:9200"
-```
-
-```python
-# 需要数据同步脚本
-from elasticsearch import Elasticsearch
-
-def sync_data_to_es():
-    # 从数据湖读取数据
-    # 转换格式
-    # 同步到Elasticsearch
-    pass
-```
-
-## 附录# Lakehouse原生全文检索
-
-```sql
--- 一站式解决方案
-CREATE TABLE documents (
-    id BIGINT,
-    content STRING,
-    INDEX content_idx (content) INVERTED PROPERTIES('analyzer'='chinese')
-);
-
--- 直接使用内置函数
-SELECT * FROM documents 
-WHERE MATCH_ALL(content, '人工智能 机器学习', map('analyzer', 'auto'));
-```
-
-## 附录# 方案对比总结
-
-| 特性    | LIKE查询   | 外部搜索引擎 | Lakehouse全文检索 | 优势            |
-| ----- | -------- | ------ | ------------- | ------------- |
-| 性能    | 极差（全表扫描） | 优秀     | 优秀（倒排索引）      | 无需外部系统即可获得高性能 |
-| 架构复杂度 | 简单       | 复杂     | 简单            | 统一平台，减少运维成本   |
-| 数据一致性 | 强一致      | 最终一致   | 强一致           | 避免数据同步延迟      |
-| 开发成本  | 低        | 高      | 中等            | 减少集成开发工作      |
-| 分词支持  | 无        | 丰富     | 丰富            | 原生支持多语言分词     |
-| 维护成本  | 低        | 高      | 低             | 无需维护独立搜索集群    |
-
-***
-
-## 附录 倒排索引核心概念
-
-## 附录# 倒排索引原理
-
-**基本概念**：
-
-* **词典（Dictionary）**：存储所有文档中出现的唯一单词列表
-* **倒排表（Posting List）**：记录每个单词在哪些文档中出现及位置信息
-
-**构建过程**：
-
-1. **分词（Tokenization）**：将文档内容分割成单词或短语
-2. **标准化（Normalization）**：转小写、去除停用词等处理
-3. **构建词典**：为每个单词分配唯一ID
-4. **构建倒排表**：记录单词与文档的映射关系
-
-## 附录# 索引创建语法
-
-## 附录## 附录 建表时定义索引
-
-```sql
-CREATE TABLE table_name (
-    column_definitions,
-    INDEX index_name (column_name) INVERTED 
-    [COMMENT 'description'] 
-    PROPERTIES(
-        'analyzer'='english|chinese|keyword|unicode',
-        'mode'='smart|max_word'  -- 仅中文分词支持
-    )
-);
-```
-
-## 附录## 附录 已有表添加索引
-
-```sql
-CREATE INVERTED INDEX [IF NOT EXISTS] index_name 
-ON TABLE [schema.]table_name(column_name)
-[COMMENT 'description'] 
-PROPERTIES(
-    'analyzer'='english|chinese|keyword|unicode',
-    'mode'='smart|max_word'
-);
-```
-
-## 附录# 支持的数据类型
-
-| 数据类型类别 | 具体类型                                          | 是否需要PROPERTIES | 说明          |
-| ------ | --------------------------------------------- | -------------- | ----------- |
-| 数值类型   | TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE | ❌              | 用于等值和范围查询加速 |
-| 日期类型   | DATE, TIMESTAMP                               | ❌              | 用于时间范围查询加速  |
-| 字符串类型  | STRING, VARCHAR, CHAR                         | ✅              | 必须指定分词器     |
-
-***
-
-## 附录 分词器详解
-
-## 附录# 分词器类型对比
-
-## 附录## 附录 keyword分词器
-
-```sql
-SELECT TOKENIZE('ClickZetta Lakehouse 技术指南', map('analyzer', 'keyword'));
--- 结果：["ClickZetta Lakehouse 技术指南"]
-```
-
-* **特点**：不分词，保留完整字符串
-* **适用场景**：精确匹配、ID字段、状态字段
-* **性能**：最优，直接字符串匹配
-
-## 附录## 附录 english分词器
-
-```sql
-SELECT TOKENIZE('ClickZetta Lakehouse Technical Guide', map('analyzer', 'english'));
--- 结果：["clickzetta", "lakehouse", "technical", "guide"]
-```
-
-* **特点**：识别ASCII字母数字，转小写，过滤标点
-* **适用场景**：纯英文内容
-* **性能**：优秀，针对英文优化
-
-## 附录## 附录 chinese分词器
-
-```sql
-SELECT TOKENIZE('ClickZetta Lakehouse 技术指南', map('analyzer', 'chinese'));
--- 结果：["clickzetta", "lakehouse", "技术", "指南"]
-```
-
-* **特点**：支持中英文混合，智能分词
-* **适用场景**：中文文档、中英文混合内容
-* **分词模式**：
-  * `smart`：智能分词，粗粒度，高准确率
-  * `max_word`：最大分词，细粒度，高召回率
-
-## 附录## 附录 unicode分词器
-
-```sql
-SELECT TOKENIZE('ClickZetta Lakehouse 技術指南', map('analyzer', 'unicode'));
--- 结果：["clickzetta", "lakehouse", "技", "術", "指", "南"]
-```
-
-* **特点**：支持所有Unicode字符
-* **适用场景**：多语言混合内容
-* **性能**：相对较慢，但支持范围最广
-
-## 附录# 分词模式详解
-
-仅中文分词器支持分词模式：
-
-```sql
--- smart模式：智能分词
-SELECT TOKENIZE('自然语言处理技术', map('analyzer', 'chinese', 'mode', 'smart'));
--- 结果：["自然语言", "处理", "技术"]
-
--- max_word模式：最大分词
-SELECT TOKENIZE('自然语言处理技术', map('analyzer', 'chinese', 'mode', 'max_word'));
--- 结果：["自然", "语言", "自然语言", "处理", "技术"]
-```
-
-**选择建议**：
-
-* **短文本匹配**：使用 `smart` 模式，提高准确率
-* **全文搜索**：使用 `max_word` 模式，提高召回率
-
-***
-
-## 附录 全文检索函数
-
-## 附录# 函数概览
-
-| 函数名                   | 功能      | 返回类型    | 适用场景   |
-| --------------------- | ------- | ------- | ------ |
-| TOKENIZE              | 分词测试    | ARRAY   | 验证分词效果 |
-| MATCH\_ALL            | 匹配所有关键词 | BOOLEAN | 精确搜索   |
-| MATCH\_ANY            | 匹配任意关键词 | BOOLEAN | 宽泛搜索   |
-| MATCH\_PHRASE         | 短语匹配    | BOOLEAN | 顺序敏感搜索 |
-| MATCH\_PHRASE\_PREFIX | 短语前缀匹配  | BOOLEAN | 自动补全   |
-| MATCH\_REGEXP         | 正则表达式匹配 | BOOLEAN | 模式匹配   |
-
-## 附录# TOKENIZE - 分词测试函数
-
-```sql
-TOKENIZE(input, option)
-```
-
-**功能**：将文本按指定分词器进行分词，用于验证分词效果
-
-**参数**：
-
-* `input`：要分词的文本
-* `option`：分词选项，如 `map('analyzer', 'chinese')`
-
-**使用示例**：
-
-```sql
--- 测试不同分词器效果
-SELECT 
-    'keyword' as analyzer,
-    TOKENIZE('机器学习算法', map('analyzer', 'keyword')) as tokens
-UNION ALL
-SELECT 
-    'chinese',
-    TOKENIZE('机器学习算法', map('analyzer', 'chinese'))
-UNION ALL
-SELECT 
-    'unicode',
-    TOKENIZE('机器学习算法', map('analyzer', 'unicode'));
-```
-
-## 附录# MATCH\_ALL - 全匹配函数
-
-```sql
-MATCH_ALL(column, query, option)
-```
-
-**功能**：要求文档包含查询文本中的所有分词结果
-
-**逻辑**：AND关系，所有词都必须存在
-
-**使用示例**：
-
-```sql
--- 查找同时包含"机器学习"和"算法"的文档
-SELECT id, title FROM documents 
-WHERE MATCH_ALL(content, '机器学习 算法', map('analyzer', 'auto'));
-```
-
-## 附录# MATCH\_ANY - 任意匹配函数
-
-```sql
-MATCH_ANY(column, query, option)
-```
-
-**功能**：文档包含查询文本中任意一个分词即可
-
-**逻辑**：OR关系，任一词存在即可
-
-**使用示例**：
-
-```sql
--- 查找包含"人工智能"或"机器学习"或"深度学习"的文档
-SELECT id, title FROM documents 
-WHERE MATCH_ANY(content, '人工智能 机器学习 深度学习', map('analyzer', 'auto'));
-```
-
-## 附录# MATCH\_PHRASE - 短语匹配函数
-
-```sql
-MATCH_PHRASE(column, query, option)
-```
-
-**功能**：要求文档中包含查询短语，且词序必须一致且连续
-
-**特点**：
-
-* 对词序敏感
-* 要求连续出现
-* 忽略大小写
-
-**使用示例**：
-
-```sql
--- 查找包含"自然语言处理"短语的文档
-SELECT id, title FROM documents 
-WHERE MATCH_PHRASE(content, '自然语言处理', map('analyzer', 'auto'));
-
--- 反例：不会匹配"自然 语言 处理"（不连续）
--- 反例：不会匹配"语言 自然 处理"（顺序不对）
-```
-
-## 附录# MATCH\_PHRASE\_PREFIX - 短语前缀匹配
-
-```sql
-MATCH_PHRASE_PREFIX(column, query, option)
-```
-
-**功能**：前n-1个词按短语匹配，最后一个词按前缀匹配
-
-**适用场景**：搜索建议、自动补全
-
-**使用示例**：
-
-```sql
--- 查找以"数据 分"开头的短语（如"数据分析"、"数据分类"）
-SELECT id, title FROM documents 
-WHERE MATCH_PHRASE_PREFIX(content, '数据 分', map('analyzer', 'auto'));
-```
-
-## 附录# MATCH\_REGEXP - 正则匹配函数
-
-```sql
-MATCH_REGEXP(column, query, option)
-```
-
-**功能**：对分词结果进行正则表达式匹配
-
-**使用示例**：
-
-```sql
--- 查找包含以"学"结尾的词的文档
-SELECT id, title FROM documents 
-WHERE MATCH_REGEXP(content, '.*学', map('analyzer', 'auto'));
-
--- 查找包含数字的文档
-SELECT id, title FROM documents 
-WHERE MATCH_REGEXP(content, '.*[0-9].*', map('analyzer', 'auto'));
-```
-
-## 附录# 重要参数说明
-
-## 附录## 附录 analyzer选项
-
-**推荐使用 `auto` 参数**：
-
-```sql
-map('analyzer', 'auto')  -- 自动匹配列的分词设置
-```
-
-**手动指定分词器**：
-
-```sql
-map('analyzer', 'chinese')
-map('analyzer', 'chinese', 'mode', 'smart')
-```
-
-⚠️ **重要提醒**：函数中的分词器必须与索引创建时使用的分词器一致，否则无法利用索引加速！
-
-***
-
-## 附录 索引管理
-
-## 附录# 索引生命周期
-
-## 附录## 附录 1. 创建索引
-
-```sql
--- 方式1：建表时创建
-CREATE TABLE documents (
-    id BIGINT,
-    content STRING,
-    INDEX content_idx (content) INVERTED PROPERTIES('analyzer'='chinese')
-);
-
--- 方式2：为已有表创建
-CREATE INVERTED INDEX content_idx ON TABLE documents(content) 
-PROPERTIES('analyzer'='chinese', 'mode'='smart');
-```
-
-## 附录## 附录 2. 构建索引（重要！）
-
-```sql
--- 对已有数据构建索引（同步任务）
-BUILD INDEX content_idx ON documents;
-
--- 按分区构建索引
-BUILD INDEX content_idx ON documents 
-WHERE partition_date >= '2024-01-01';
-```
-
-⚠️ **关键提醒**：
-
-* `CREATE INDEX` 仅对新增数据生效
-* 已有数据必须执行 `BUILD INDEX` 才能利用索引
-* 构建索引会消耗计算资源，建议在业务低峰期执行
-
-## 附录## 附录 3. 查看索引
-
-```sql
--- 列出表上所有索引
-SHOW INDEX FROM table_name;
-
--- 查看索引详情（如果环境支持）
-DESC INDEX index_name;
-DESC INDEX EXTENDED index_name;  -- 包含大小信息
-```
-
-## 附录## 附录 4. 删除索引
-
-```sql
-DROP INDEX index_name ON table_name;
-```
-
-**删除特点**：
-
-* 立即删除元数据
-* 索引文件异步清理
-* 不影响数据本身
-
-## 附录# 索引性能调优
-
-## 附录## 附录 分区表索引策略
-
-```sql
--- 大表分区构建建议
-BUILD INDEX content_idx ON large_table 
-WHERE year = '2024' AND month = '01';
-
-BUILD INDEX content_idx ON large_table 
-WHERE year = '2024' AND month = '02';
--- 逐个分区构建，避免资源消耗过大
-```
-
-## 附录## 附录 存储成本优化
-
-```sql
--- 查看索引存储占用（如果支持）
-DESC INDEX EXTENDED index_name;
-
--- 根据业务需求选择合适的分词器
--- keyword: 存储最少，仅精确匹配
--- chinese: 中等存储，支持智能分词
--- unicode: 存储最多，支持全语言
-```
-
-***
-
-## 附录 应用场景设计
-
-## 附录# 企业知识库系统
-
-```sql
--- 知识库表设计
-CREATE TABLE knowledge_base (
-    doc_id BIGINT PRIMARY KEY,
-    title STRING,
-    content STRING,
-    category STRING,
-    tags STRING,
-    created_at TIMESTAMP,
-    updated_at TIMESTAMP,
-    
-    -- 多层次索引设计
-    INDEX title_keyword_idx (title) INVERTED PROPERTIES('analyzer'='keyword'),
-    INDEX content_chinese_idx (content) INVERTED PROPERTIES('analyzer'='chinese', 'mode'='smart'),
-    INDEX tags_unicode_idx (tags) INVERTED PROPERTIES('analyzer'='unicode')
-);
-
--- 多维度搜索查询
-SELECT doc_id, title FROM knowledge_base 
-WHERE MATCH_ANY(content, '人工智能 机器学习', map('analyzer', 'auto'))
-   OR MATCH_ANY(tags, 'AI ML', map('analyzer', 'auto'))
-ORDER BY updated_at DESC LIMIT 20;
-```
-
-## 附录# 日志分析系统
-
-```sql
--- 应用日志表
-CREATE TABLE application_logs (
-    log_id BIGINT,
-    timestamp TIMESTAMP,
-    level STRING,
-    message STRING,
-    stack_trace STRING,
-    source_ip STRING,
-    
-    INDEX message_idx (message) INVERTED PROPERTIES('analyzer'='english'),
-    INDEX stack_trace_idx (stack_trace) INVERTED PROPERTIES('analyzer'='keyword')
-) PARTITIONED BY (DATE(timestamp));
-
--- 故障排查查询
-SELECT log_id, timestamp, message FROM application_logs 
-WHERE DATE(timestamp) >= CURRENT_DATE() - INTERVAL '7' DAY
-  AND level = 'ERROR'
-  AND MATCH_ANY(message, 'timeout connection database', map('analyzer', 'auto'))
-ORDER BY timestamp DESC;
-```
-
-## 附录# 电商商品搜索
-
-```sql
--- 商品信息表
-CREATE TABLE products (
-    product_id BIGINT,
-    name STRING,
-    description STRING,
-    brand STRING,
-    category STRING,
-    tags STRING,
-    price DECIMAL(10,2),
-    
-    INDEX name_chinese_idx (name) INVERTED PROPERTIES('analyzer'='chinese', 'mode'='max_word'),
-    INDEX desc_chinese_idx (description) INVERTED PROPERTIES('analyzer'='chinese', 'mode'='max_word'),
-    INDEX brand_keyword_idx (brand) INVERTED PROPERTIES('analyzer'='keyword')
-);
-
--- 商品搜索查询
-SELECT product_id, name, price FROM products 
-WHERE MATCH_ANY(name, '手机 智能 拍照', map('analyzer', 'auto'))
-   OR MATCH_ANY(description, '手机 智能 拍照', map('analyzer', 'auto'))
-ORDER BY price;
-```
-
-## 附录# 内容管理系统
-
-```sql
--- 文章内容表
-CREATE TABLE articles (
-    article_id BIGINT,
-    title STRING,
-    content STRING,
-    author STRING,
-    publish_date DATE,
-    status STRING,
-    
-    INDEX title_chinese_idx (title) INVERTED PROPERTIES('analyzer'='chinese'),
-    INDEX content_chinese_idx (content) INVERTED PROPERTIES('analyzer'='chinese', 'mode'='smart'),
-    INDEX author_keyword_idx (author) INVERTED PROPERTIES('analyzer'='keyword')
-);
-
--- 内容搜索
-SELECT article_id, title, author FROM articles 
-WHERE status = 'published'
-  AND publish_date >= CURRENT_DATE() - INTERVAL '30' DAY
-  AND MATCH_PHRASE(content, '技术发展趋势', map('analyzer', 'auto'))
-ORDER BY publish_date DESC;
-```
-
-***
-
-## 附录 重要避坑指南
-
-## 附录# 分词器一致性问题
-
-## 附录## 附录 常见错误：分词器不匹配
-
-```sql
--- ❌ 错误示例：索引使用chinese分词，查询使用english分词
-CREATE TABLE docs (
-    content STRING,
-    INDEX content_idx (content) INVERTED PROPERTIES('analyzer'='chinese')
-);
-
-SELECT * FROM docs 
-WHERE MATCH_ANY(content, '测试', map('analyzer', 'english'));
--- 结果：无法利用索引，性能差
-```
-
-## 附录## 附录 正确做法：
-
-```sql
--- ✅ 方案1：使用auto参数（推荐）
-SELECT * FROM docs 
-WHERE MATCH_ANY(content, '测试', map('analyzer', 'auto'));
-
--- ✅ 方案2：手动匹配索引分词器
-SELECT * FROM docs 
-WHERE MATCH_ANY(content, '测试', map('analyzer', 'chinese'));
-```
-
-## 附录# 索引构建避坑
-
-## 附录## 附录 BUILD INDEX的必要性
-
-```sql
--- ❌ 常见错误：忘记构建索引
-CREATE INVERTED INDEX content_idx ON TABLE existing_table(content) 
-PROPERTIES('analyzer'='chinese');
-
--- 直接查询（只对新数据有效，已有数据无法利用索引）
-SELECT * FROM existing_table 
-WHERE MATCH_ANY(content, '关键词', map('analyzer', 'auto'));
-```
-
-## 附录## 附录 正确的索引构建流程
-
-```sql
--- ✅ 完整流程
--- 1. 创建索引
-CREATE INVERTED INDEX content_idx ON TABLE existing_table(content) 
-PROPERTIES('analyzer'='chinese');
-
--- 2. 构建索引（必须！）
-BUILD INDEX content_idx ON existing_table;
-
--- 3. 验证索引
-SHOW INDEX FROM existing_table;
-
--- 4. 执行查询
-SELECT * FROM existing_table 
-WHERE MATCH_ANY(content, '关键词', map('analyzer', 'auto'));
-```
-
-## 附录# 查询性能避坑
-
-## 附录## 附录 亚秒查询的性能限制
-
-根据官方文档：**在大多数情况下，倒排索引并不会显著提高执行时间为亚秒的查询的性能**。
-
-<1秒）
--- 3. 简单的等值查询
-
--- ✅ 适合倒排索引的场景
--- 1. 大数据量表（万行以上）
--- 2. 复杂的文本搜索
--- 3. 多关键词匹配
-```
-
-#### 不支持的查询模式
-
-```sql
--- ❌ 不支持：对列进行类型转换
-SELECT * FROM docs 
-WHERE MATCH_ANY(CAST(id AS STRING), '123', map('analyzer', 'auto'));
-
--- ✅ 支持：对查询值进行转换
-SELECT * FROM docs 
-WHERE MATCH_ANY(content, CAST(123 AS STRING), map('analyzer', 'auto'));
-
--- ❌ 不支持：外部表
--- 倒排索引不支持外部表
-```
-
-### 存储成本避坑
-
-#### 索引存储开销
-
-```sql
--- 倒排索引会创建额外的索引文件
--- 存储成本 = 原始数据 + 索引文件
-
--- 优化建议：
--- 1. 仅为真正需要搜索的列创建索引
--- 2. 根据查询模式选择合适的分词器
--- 3. 定期清理不必要的索引
-```
-
-#### 分词器选择策略
-
-| 分词器     | 索引大小 | 查询性能 | 功能丰富度 | 推荐场景     |
-| ------- | ---- | ---- | ----- | -------- |
-| keyword | 最小   | 最快   | 精确匹配  | ID、状态、标签 |
-| english | 小    | 快    | 英文分词  | 纯英文内容    |
-| chinese | 中等   | 中等   | 中文分词  | 中文文档     |
-| unicode | 最大   | 相对慢  | 全语言支持 | 多语言混合    |
-
-***
-
-## 性能优化
-
-### 查询优化策略
-
-#### 1. 合理选择查询函数
-
-```sql
--- 根据业务需求选择合适的函数
--- 精确搜索：使用 MATCH_ALL
-SELECT * FROM docs WHERE MATCH_ALL(content, '机器学习 算法', map('analyzer', 'auto'));
-
--- 宽泛搜索：使用 MATCH_ANY  
-SELECT * FROM docs WHERE MATCH_ANY(content, '人工智能 机器学习 深度学习', map('analyzer', 'auto'));
-
--- 短语搜索：使用 MATCH_PHRASE
-SELECT * FROM docs WHERE MATCH_PHRASE(content, '自然语言处理', map('analyzer', 'auto'));
-```
-
-#### 2. 组合查询优化
-
-```sql
--- ✅ 推荐：将全文检索作为主要过滤条件
-SELECT * FROM documents 
-WHERE MATCH_ANY(content, '关键词', map('analyzer', 'auto'))
-  AND category = 'tech'  -- 在全文检索基础上进行二次过滤
-  AND created_at >
-
-## 附录## 附录 3. 分页查询优化
-
-```sql
--- ✅ 高效的分页查询
-SELECT id, title FROM documents 
-WHERE MATCH_ANY(content, '关键词', map('analyzer', 'auto'))
-ORDER BY id  -- 使用主键排序
-LIMIT 20 OFFSET 0;
-
--- ⚠️ 避免深度分页
--- LIMIT 20 OFFSET 10000; -- 性能会随offset增大而下降
-```
-
-## 附录# 索引优化策略
-
-## 附录## 附录 1. 分区表索引管理
-
-```sql
--- 按分区逐步构建索引
-BUILD INDEX content_idx ON large_table 
-WHERE year = '2024' AND month = '06';
-
--- 监控构建进度
--- 可通过Job Profile查看进度
-```
-
-## 附录## 附录 2. 索引维护策略
-
-```sql
--- 定期检查索引状态
-SHOW INDEX FROM table_name;
-
--- 对于经常更新的表，可能需要重建索引
-DROP INDEX old_idx ON table_name;
-CREATE INVERTED INDEX new_idx ON TABLE table_name(column) 
-PROPERTIES('analyzer'='chinese');
-BUILD INDEX new_idx ON table_name;
-```
-
-## 附录# 系统资源优化
-
-## 附录## 附录 1. 计算资源配置
-
-* **索引构建**：使用较大的Virtual Cluster进行BUILD INDEX操作
-* **查询执行**：可使用较小的Virtual Cluster进行日常查询
-* **混合负载**：分离索引构建和查询工作负载
-
-## 附录## 附录 2. 存储资源优化
-
-```sql
--- 监控索引存储占用（如果支持）
-DESC INDEX EXTENDED index_name;
-
--- 清理不必要的索引
-DROP INDEX unused_idx ON table_name;
-```
-
-***
-
-## 附录 迁移策略
-
-## 附录# 从传统LIKE查询迁移
-
-## 附录## 附录 迁移评估
-
-**适合迁移的场景**：
-
-* 频繁的文本搜索查询
-* 大数据量表（万行以上）
-* 复杂的多关键词搜索
-* 需要中文分词的场景
-
-**不急于迁移的场景**：
-
-* 小数据量表
-* 偶尔的文本查询
-* 已经很快的简单查询（<1秒）
-
-#### 迁移步骤
-
-```sql
--- 1. 分析现有查询模式
--- 识别频繁的LIKE查询
-SELECT query_text, execution_count 
-FROM query_logs 
-WHERE query_text LIKE '%LIKE%'
-ORDER BY execution_count DESC;
-
--- 2. 创建测试表验证效果
-CREATE TABLE docs_test AS SELECT * FROM docs_original LIMIT 1000;
-
--- 3. 添加倒排索引
-CREATE INVERTED INDEX content_idx ON TABLE docs_test(content) 
-PROPERTIES('analyzer'='chinese');
-
-BUILD INDEX content_idx ON docs_test;
-
--- 4. 性能对比测试
--- 原始LIKE查询
-SELECT COUNT(*) FROM docs_test WHERE content LIKE '%关键词%';
-
--- 全文检索查询
-SELECT COUNT(*) FROM docs_test 
-WHERE MATCH_ANY(content, '关键词', map('analyzer', 'auto'));
-
--- 5. 逐步迁移生产环境
-```
-
-### 从外部搜索引擎迁移
-
-#### Elasticsearch迁移对照
-
-| Elasticsearch查询       | Lakehouse全文检索         | 说明      |
-| --------------------- | --------------------- | ------- |
-| `match_all`           | `MATCH_ALL`           | 匹配所有关键词 |
-| `match`               | `MATCH_ANY`           | 匹配任意关键词 |
-| `match_phrase`        | `MATCH_PHRASE`        | 短语匹配    |
-| `match_phrase_prefix` | `MATCH_PHRASE_PREFIX` | 短语前缀匹配  |
-| `regexp`              | `MATCH_REGEXP`        | 正则表达式匹配 |
-
-#### 迁移收益评估
-
-**架构简化收益**：
-
-* 减少1个独立的搜索引擎系统
-* 统一数据存储和检索平台
-* 降低运维复杂度
-
-**成本优化收益**：
-
-* 减少额外的存储和计算资源
-* 无需数据同步ETL流程
-* 降低系统总体拥有成本
-
-**数据一致性收益**：
-
-* 强一致性保证
-* 无数据同步延迟
-* 实时搜索最新数据
-
-### 混合方案设计
-
-对于复杂的企业环境，可以采用混合方案：
-
-```sql
--- 方案1：按数据类型分离
--- 结构化查询 + 简单文本搜索：使用Lakehouse全文检索
--- 复杂语义搜索 + 推荐算法：保留Elasticsearch
-
--- 方案2：按实时性分离  
--- 实时搜索：使用Lakehouse全文检索
--- 离线分析：使用Elasticsearch
-
--- 方案3：按数据规模分离
--- 大数据量：使用Lakehouse全文检索
--- 小数据量快速原型：使用Elasticsearch
-```
-
-***
-
-## 最佳实践总结
-
-### 索引设计最佳实践
-
-#### 1. 分词器选择原则
-
-```sql
--- 根据数据特点选择分词器
-CREATE TABLE multilingual_docs (
-    id BIGINT,
-    title_cn STRING,      -- 中文标题
-    title_en STRING,      -- 英文标题  
-    content STRING,       -- 混合内容
-    tags STRING,          -- 标签（精确匹配）
-    
-    INDEX title_cn_idx (title_cn) INVERTED PROPERTIES('analyzer'='chinese', 'mode'='smart'),
-    INDEX title_en_idx (title_en) INVERTED PROPERTIES('analyzer'='english'),
-    INDEX content_idx (content) INVERTED PROPERTIES('analyzer'='unicode'),
-    INDEX tags_idx (tags) INVERTED PROPERTIES('analyzer'='keyword')
-);
-```
-
-#### 2. 索引维护策略
-
-```sql
--- 生产环境索引维护流程
--- 1. 非峰期创建索引
-CREATE INVERTED INDEX content_idx ON TABLE large_table(content) 
-PROPERTIES('analyzer'='chinese');
-
--- 2. 分批构建索引
-BUILD INDEX content_idx ON large_table 
-WHERE partition_date = '2024-06-01';
-
--- 3. 验证索引效果
-SELECT COUNT(*) FROM large_table 
-WHERE MATCH_ANY(content, '测试关键词', map('analyzer', 'auto'));
-
--- 4. 监控索引状态
-SHOW INDEX FROM large_table;
-```
-
-### 查询模式最佳实践
-
-#### 1. 查询函数选择指南
-
-| 业务场景      | 推荐函数                  | 示例查询               |
-| --------- | --------------------- | ------------------ |
-| 精确搜索多个关键词 | MATCH\_ALL            | 必须包含"AI"和"机器学习"    |
-| 宽泛主题搜索    | MATCH\_ANY            | 包含"AI"或"ML"或"深度学习" |
-| 专业术语搜索    | MATCH\_PHRASE         | 精确匹配"自然语言处理"       |
-| 搜索建议/自动补全 | MATCH\_PHRASE\_PREFIX | 以"数据分"开头的短语        |
-| 模式匹配      | MATCH\_REGEXP         | 包含数字或特定格式          |
-
-#### 2. 性能优化查询模式
-
-```sql
---  高效查询模式
--- 1. 利用分区过滤
-SELECT * FROM logs 
-WHERE log_date >）
-
-## 附录# 监控和诊断
-
-## 附录## 附录 1. 索引效果验证
-
-```sql
--- 验证索引是否被使用（通过执行计划）
-EXPLAIN SELECT * FROM documents 
-WHERE MATCH_ANY(content, '关键词', map('analyzer', 'auto'));
-
--- 对比LIKE查询性能
--- 方法：记录查询执行时间，对比优化效果
-```
-
-## 附录## 附录 2. 常见问题诊断
-
-```sql
--- 检查分词效果
-SELECT TOKENIZE('测试文本', map('analyzer', 'auto'));
-
--- 检查索引状态
-SHOW INDEX FROM table_name;
-
--- 验证查询语法
-SELECT MATCH_ANY('测试文本', '关键词', map('analyzer', 'chinese'));
-```
-
-***
-
-## 附录 已知限制与注意事项
-
-## 附录# 功能限制
-
-## 附录## 附录 1. 不支持的场景
-
-* **外部表**：倒排索引不支持外部表
-* **列类型转换**：不支持对表列进行强制类型转换
-
-## 附录## 附录 2. 查询限制
-
-```sql
--- ❌ 不支持的查询模式
--- 1. 对表列进行类型转换
-WHERE MATCH_ANY(CAST(column AS STRING), 'value', map('analyzer', 'auto'))
-
--- 2. 在外部表上创建倒排索引
-CREATE INVERTED INDEX idx ON EXTERNAL_TABLE table_name(column) 
-PROPERTIES('analyzer'='chinese');
-```
-
-## 附录# 性能考虑
-
-## 附录## 附录 1. 索引构建成本
-
-* BUILD INDEX是同步操作，会消耗计算资源
-* 大表建议分区逐步构建
-* 建议在业务低峰期执行
-
-## 附录## 附录 2. 存储成本
-
-* 倒排索引会创建额外的索引文件
-* 索引大小取决于数据量和分词器类型
-* 需要在查询性能和存储成本间平衡
-
-## 附录# 运维注意事项
-
-## 附录## 附录 1. 版本兼容性
-
-* 建议在测试环境充分验证
-* 关注版本更新和功能改进
-
-## 附录## 附录 2. 备份恢复
-
-* 索引元数据会随表结构备份
-* 索引文件需要重新构建
-* 恢复后需要执行BUILD INDEX
-
-## 附录
-
-## 附录# 快速参考卡片
-
-## 附录## 附录 分词器选择速查
-
-```sql
--- 精确匹配（ID、状态等）
-'analyzer'='keyword'
-
--- 纯英文内容
-'analyzer'='english'
-
--- 中文内容（推荐）
-'analyzer'='chinese', 'mode'='smart'
-
--- 多语言混合
-'analyzer'='unicode'
-
--- 自动匹配（推荐）
-'analyzer'='auto'
-```
-
-## 附录## 附录 常用查询模板
-
-```sql
--- 1. 基础文本搜索
-SELECT * FROM table_name 
-WHERE MATCH_ANY(column, '关键词', map('analyzer', 'auto'));
-
--- 2. 精确短语搜索
-SELECT * FROM table_name 
-WHERE MATCH_PHRASE(column, '精确短语', map('analyzer', 'auto'));
-
--- 3. 多条件组合搜索
-SELECT * FROM table_name 
-WHERE MATCH_ALL(content, '关键词1 关键词2', map('analyzer', 'auto'))
-  AND category = 'target_category';
-
--- 4. 分页查询
-SELECT id, title FROM table_name 
-WHERE MATCH_ANY(content, '关键词', map('analyzer', 'auto'))
-ORDER BY id LIMIT 20 OFFSET 0;
-```
-
-## 附录## 附录 索引管理命令
-
-```sql
--- 创建索引
-CREATE INVERTED INDEX idx_name ON TABLE table_name(column) 
-PROPERTIES('analyzer'='chinese');
-
--- 构建索引
-BUILD INDEX idx_name ON table_name;
-
--- 查看索引
-SHOW INDEX FROM table_name;
-
--- 删除索引
-DROP INDEX idx_name ON table_name;
-```
-
-***
-
-**注意**：本文档基于Lakehouse 2025年6月的产品文档整理，建议定期查看官方文档获取最新更新。在生产环境中使用前，请务必在测试环境中验证所有操作的正确性和性能影响。