@objectstack/spec 0.6.1 → 0.7.2

package/dist/integration/connector/message-queue.zod.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"message-queue.zod.d.ts","sourceRoot":"","sources":["../../../src/integration/connector/message-queue.zod.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAKxB;;;;;;GAMG;AAEH;;GAEG;AACH,eAAO,MAAM,0BAA0B,2LAcG,CAAC;AAE3C,MAAM,MAAM,oBAAoB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,CAAC;AAE9E;;GAEG;AACH,eAAO,MAAM,mBAAmB,kEAOW,CAAC;AAE5C,MAAM,MAAM,aAAa,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAC;AAEhE;;GAEG;AACH,eAAO,MAAM,aAAa,yCAIgB,CAAC;AAE3C,MAAM,MAAM,OAAO,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,aAAa,CAAC,CAAC;AAEpD;;GAEG;AACH,eAAO,MAAM,uBAAuB,8DAIK,CAAC;AAE1C,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AAExE;;GAEG;AACH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAkB/B,CAAC;AAEH,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAElE;;GAEG;AACH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAkB/B,CAAC;AAEH,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAElE;;GAEG;AACH,eAAO,MAAM,eAAe;;;;;;;;;;;;;;;EAQ1B,CAAC;AAEH,MAAM,MAAM,SAAS,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,eAAe,CAAC,CAAC;AAExD;;GAEG;AACH,eAAO,MAAM,gBAAgB;;;;;IAM3B;;OAEG;;IAGH;;OAEG;;IAGH;;OAEG;;IAGH;;OAEG;;IAGH;;OAEG;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAGH;;OAEG;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAGH;;OAEG;;;;;;;;;;;;;;;;;IAGH;;OAEG;;IAGH;;OAEG;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAKH,CAAC;AAEH,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAE1D;;GAEG;AACH,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QAtDtC;;WAEG;;QAGH;;WAEG;;QAGH;;WAEG;;QAGH;;WAEG;;QAGH;;WAEG;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QAGH;;WAEG;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QAGH;;WAEG;;;;;;;;;;;;;;;;;QAGH;;WAEG;;QAGH;;WAEG;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAqFH,CAAC;AAEH,MAAM,MAAM,qBAAqB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,2BAA2B,CAAC,CAAC;AAMhF;;GAEG;AACH,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA2EjC,CAAC;AAEF;;GAEG;AACH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA0CpC,CAAC;AAEF;;GAEG;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA6C/B,CAAC;AAEF;;GAEG;AACH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAsClC,CAAC"}

package/dist/integration/connector/message-queue.zod.js

@@ -0,0 +1,428 @@
+"use strict";
+Object.defineProperty(exports, "__esModule", { value: true });
+exports.pubsubConnectorExample = exports.sqsConnectorExample = exports.rabbitmqConnectorExample = exports.kafkaConnectorExample = exports.MessageQueueConnectorSchema = exports.TopicQueueSchema = exports.DlqConfigSchema = exports.ProducerConfigSchema = exports.ConsumerConfigSchema = exports.DeliveryGuaranteeSchema = exports.AckModeSchema = exports.MessageFormatSchema = exports.MessageQueueProviderSchema = void 0;
+const zod_1 = require("zod");
+const connector_zod_1 = require("../connector.zod");
+/**
+ * Message Queue Connector Protocol Template
+ *
+ * Specialized connector for message queue systems (RabbitMQ, Kafka, SQS, etc.)
+ * Extends the base connector with message queue-specific features like topics,
+ * consumer groups, and message acknowledgment patterns.
+ */
+/**
+ * Message Queue Provider Types
+ */
+exports.MessageQueueProviderSchema = zod_1.z.enum([
+    'rabbitmq', // RabbitMQ
+    'kafka', // Apache Kafka
+    'redis_pubsub', // Redis Pub/Sub
+    'redis_streams', // Redis Streams
+    'aws_sqs', // Amazon SQS
+    'aws_sns', // Amazon SNS
+    'google_pubsub', // Google Cloud Pub/Sub
+    'azure_service_bus', // Azure Service Bus
+    'azure_event_hubs', // Azure Event Hubs
+    'nats', // NATS
+    'pulsar', // Apache Pulsar
+    'activemq', // Apache ActiveMQ
+    'custom', // Custom message queue
+]).describe('Message queue provider type');
+/**
+ * Message Format
+ */
+exports.MessageFormatSchema = zod_1.z.enum([
+    'json',
+    'xml',
+    'protobuf',
+    'avro',
+    'text',
+    'binary',
+]).describe('Message format/serialization');
+/**
+ * Message Acknowledgment Mode
+ */
+exports.AckModeSchema = zod_1.z.enum([
+    'auto', // Auto-acknowledge
+    'manual', // Manual acknowledge after processing
+    'client', // Client-controlled acknowledge
+]).describe('Message acknowledgment mode');
+/**
+ * Delivery Guarantee
+ */
+exports.DeliveryGuaranteeSchema = zod_1.z.enum([
+    'at_most_once', // Fire and forget
+    'at_least_once', // May deliver duplicates
+    'exactly_once', // Guaranteed exactly once delivery
+]).describe('Message delivery guarantee');
+/**
+ * Consumer Configuration
+ */
+exports.ConsumerConfigSchema = zod_1.z.object({
+    enabled: zod_1.z.boolean().optional().default(true).describe('Enable consumer'),
+    consumerGroup: zod_1.z.string().optional().describe('Consumer group ID'),
+    concurrency: zod_1.z.number().min(1).max(100).optional().default(1).describe('Number of concurrent consumers'),
+    prefetchCount: zod_1.z.number().min(1).max(1000).optional().default(10).describe('Prefetch count'),
+    ackMode: exports.AckModeSchema.optional().default('manual'),
+    autoCommit: zod_1.z.boolean().optional().default(false).describe('Auto-commit offsets'),
+    autoCommitIntervalMs: zod_1.z.number().min(100).optional().default(5000).describe('Auto-commit interval in ms'),
+    sessionTimeoutMs: zod_1.z.number().min(1000).optional().default(30000).describe('Session timeout in ms'),
+    rebalanceTimeoutMs: zod_1.z.number().min(1000).optional().describe('Rebalance timeout in ms'),
+});
+/**
+ * Producer Configuration
+ */
+exports.ProducerConfigSchema = zod_1.z.object({
+    enabled: zod_1.z.boolean().optional().default(true).describe('Enable producer'),
+    acks: zod_1.z.enum(['0', '1', 'all']).optional().default('all').describe('Acknowledgment level'),
+    compressionType: zod_1.z.enum(['none', 'gzip', 'snappy', 'lz4', 'zstd']).optional().default('none').describe('Compression type'),
+    batchSize: zod_1.z.number().min(1).optional().default(16384).describe('Batch size in bytes'),
+    lingerMs: zod_1.z.number().min(0).optional().default(0).describe('Linger time in ms'),
+    maxInFlightRequests: zod_1.z.number().min(1).optional().default(5).describe('Max in-flight requests'),
+    idempotence: zod_1.z.boolean().optional().default(true).describe('Enable idempotent producer'),
+    transactional: zod_1.z.boolean().optional().default(false).describe('Enable transactional producer'),
+    transactionTimeoutMs: zod_1.z.number().min(1000).optional().describe('Transaction timeout in ms'),
+});
+/**
+ * Dead Letter Queue Configuration
+ */
+exports.DlqConfigSchema = zod_1.z.object({
+    enabled: zod_1.z.boolean().optional().default(false).describe('Enable DLQ'),
+    queueName: zod_1.z.string().describe('Dead letter queue/topic name'),
+    maxRetries: zod_1.z.number().min(0).max(100).optional().default(3).describe('Max retries before DLQ'),
+    retryDelayMs: zod_1.z.number().min(0).optional().default(60000).describe('Retry delay in ms'),
+});
+/**
+ * Topic/Queue Configuration
+ */
+exports.TopicQueueSchema = zod_1.z.object({
+    name: zod_1.z.string().regex(/^[a-z_][a-z0-9_]*$/).describe('Topic/queue identifier in ObjectStack (snake_case)'),
+    label: zod_1.z.string().describe('Display label'),
+    topicName: zod_1.z.string().describe('Actual topic/queue name in message queue system'),
+    enabled: zod_1.z.boolean().optional().default(true).describe('Enable sync for this topic/queue'),
+    /**
+     * Consumer or Producer
+     */
+    mode: zod_1.z.enum(['consumer', 'producer', 'both']).optional().default('both').describe('Consumer, producer, or both'),
+    /**
+     * Message format
+     */
+    messageFormat: exports.MessageFormatSchema.optional().default('json'),
+    /**
+     * Partition/shard configuration
+     */
+    partitions: zod_1.z.number().min(1).optional().describe('Number of partitions (for Kafka)'),
+    /**
+     * Replication factor
+     */
+    replicationFactor: zod_1.z.number().min(1).optional().describe('Replication factor (for Kafka)'),
+    /**
+     * Consumer configuration
+     */
+    consumerConfig: exports.ConsumerConfigSchema.optional().describe('Consumer-specific configuration'),
+    /**
+     * Producer configuration
+     */
+    producerConfig: exports.ProducerConfigSchema.optional().describe('Producer-specific configuration'),
+    /**
+     * Dead letter queue configuration
+     */
+    dlqConfig: exports.DlqConfigSchema.optional().describe('Dead letter queue configuration'),
+    /**
+     * Message routing key (for RabbitMQ)
+     */
+    routingKey: zod_1.z.string().optional().describe('Routing key pattern'),
+    /**
+     * Message filter
+     */
+    messageFilter: zod_1.z.object({
+        headers: zod_1.z.record(zod_1.z.string()).optional().describe('Filter by message headers'),
+        attributes: zod_1.z.record(zod_1.z.any()).optional().describe('Filter by message attributes'),
+    }).optional().describe('Message filter criteria'),
+});
+/**
+ * Message Queue Connector Configuration Schema
+ */
+exports.MessageQueueConnectorSchema = connector_zod_1.ConnectorSchema.extend({
+    type: zod_1.z.literal('message_queue'),
+    /**
+     * Message queue provider
+     */
+    provider: exports.MessageQueueProviderSchema.describe('Message queue provider type'),
+    /**
+     * Broker configuration
+     */
+    brokerConfig: zod_1.z.object({
+        brokers: zod_1.z.array(zod_1.z.string()).describe('Broker addresses (host:port)'),
+        clientId: zod_1.z.string().optional().describe('Client ID'),
+        connectionTimeoutMs: zod_1.z.number().min(1000).optional().default(30000).describe('Connection timeout in ms'),
+        requestTimeoutMs: zod_1.z.number().min(1000).optional().default(30000).describe('Request timeout in ms'),
+    }).describe('Broker connection configuration'),
+    /**
+     * Topics/queues to sync
+     */
+    topics: zod_1.z.array(exports.TopicQueueSchema).describe('Topics/queues to sync'),
+    /**
+     * Delivery guarantee
+     */
+    deliveryGuarantee: exports.DeliveryGuaranteeSchema.optional().default('at_least_once'),
+    /**
+     * SSL/TLS configuration
+     */
+    sslConfig: zod_1.z.object({
+        enabled: zod_1.z.boolean().optional().default(false).describe('Enable SSL/TLS'),
+        rejectUnauthorized: zod_1.z.boolean().optional().default(true).describe('Reject unauthorized certificates'),
+        ca: zod_1.z.string().optional().describe('CA certificate'),
+        cert: zod_1.z.string().optional().describe('Client certificate'),
+        key: zod_1.z.string().optional().describe('Client private key'),
+    }).optional().describe('SSL/TLS configuration'),
+    /**
+     * SASL authentication (for Kafka)
+     */
+    saslConfig: zod_1.z.object({
+        mechanism: zod_1.z.enum(['plain', 'scram-sha-256', 'scram-sha-512', 'aws']).describe('SASL mechanism'),
+        username: zod_1.z.string().optional().describe('SASL username'),
+        password: zod_1.z.string().optional().describe('SASL password'),
+    }).optional().describe('SASL authentication configuration'),
+    /**
+     * Schema registry configuration (for Kafka/Avro)
+     */
+    schemaRegistry: zod_1.z.object({
+        url: zod_1.z.string().url().describe('Schema registry URL'),
+        auth: zod_1.z.object({
+            username: zod_1.z.string().optional(),
+            password: zod_1.z.string().optional(),
+        }).optional(),
+    }).optional().describe('Schema registry configuration'),
+    /**
+     * Message ordering
+     */
+    preserveOrder: zod_1.z.boolean().optional().default(true).describe('Preserve message ordering'),
+    /**
+     * Enable metrics
+     */
+    enableMetrics: zod_1.z.boolean().optional().default(true).describe('Enable message queue metrics'),
+    /**
+     * Enable distributed tracing
+     */
+    enableTracing: zod_1.z.boolean().optional().default(false).describe('Enable distributed tracing'),
+});
+// ============================================================================
+// Helper Functions & Examples
+// ============================================================================
+/**
+ * Example: Apache Kafka Connector Configuration
+ */
+exports.kafkaConnectorExample = {
+    name: 'kafka_production',
+    label: 'Production Kafka Cluster',
+    type: 'message_queue',
+    provider: 'kafka',
+    authentication: {
+        type: 'none',
+    },
+    brokerConfig: {
+        brokers: ['kafka-1.example.com:9092', 'kafka-2.example.com:9092', 'kafka-3.example.com:9092'],
+        clientId: 'objectstack-client',
+        connectionTimeoutMs: 30000,
+        requestTimeoutMs: 30000,
+    },
+    topics: [
+        {
+            name: 'order_events',
+            label: 'Order Events',
+            topicName: 'orders',
+            enabled: true,
+            mode: 'consumer',
+            messageFormat: 'json',
+            partitions: 10,
+            replicationFactor: 3,
+            consumerConfig: {
+                enabled: true,
+                consumerGroup: 'objectstack-consumer-group',
+                concurrency: 5,
+                prefetchCount: 100,
+                ackMode: 'manual',
+                autoCommit: false,
+                sessionTimeoutMs: 30000,
+            },
+            dlqConfig: {
+                enabled: true,
+                queueName: 'orders-dlq',
+                maxRetries: 3,
+                retryDelayMs: 60000,
+            },
+        },
+        {
+            name: 'user_activity',
+            label: 'User Activity',
+            topicName: 'user-activity',
+            enabled: true,
+            mode: 'producer',
+            messageFormat: 'json',
+            partitions: 5,
+            replicationFactor: 3,
+            producerConfig: {
+                enabled: true,
+                acks: 'all',
+                compressionType: 'snappy',
+                batchSize: 16384,
+                lingerMs: 10,
+                maxInFlightRequests: 5,
+                idempotence: true,
+            },
+        },
+    ],
+    deliveryGuarantee: 'at_least_once',
+    saslConfig: {
+        mechanism: 'scram-sha-256',
+        username: '${KAFKA_USERNAME}',
+        password: '${KAFKA_PASSWORD}',
+    },
+    sslConfig: {
+        enabled: true,
+        rejectUnauthorized: true,
+    },
+    preserveOrder: true,
+    enableMetrics: true,
+    enableTracing: true,
+    status: 'active',
+    enabled: true,
+};
+/**
+ * Example: RabbitMQ Connector Configuration
+ */
+exports.rabbitmqConnectorExample = {
+    name: 'rabbitmq_events',
+    label: 'RabbitMQ Event Bus',
+    type: 'message_queue',
+    provider: 'rabbitmq',
+    authentication: {
+        type: 'basic',
+        username: '${RABBITMQ_USERNAME}',
+        password: '${RABBITMQ_PASSWORD}',
+    },
+    brokerConfig: {
+        brokers: ['amqp://rabbitmq.example.com:5672'],
+        clientId: 'objectstack-rabbitmq-client',
+    },
+    topics: [
+        {
+            name: 'notifications',
+            label: 'Notifications',
+            topicName: 'notifications',
+            enabled: true,
+            mode: 'both',
+            messageFormat: 'json',
+            routingKey: 'notification.*',
+            consumerConfig: {
+                enabled: true,
+                prefetchCount: 10,
+                ackMode: 'manual',
+            },
+            producerConfig: {
+                enabled: true,
+            },
+            dlqConfig: {
+                enabled: true,
+                queueName: 'notifications-dlq',
+                maxRetries: 3,
+                retryDelayMs: 30000,
+            },
+        },
+    ],
+    deliveryGuarantee: 'at_least_once',
+    status: 'active',
+    enabled: true,
+};
+/**
+ * Example: AWS SQS Connector Configuration
+ */
+exports.sqsConnectorExample = {
+    name: 'aws_sqs_queue',
+    label: 'AWS SQS Queue',
+    type: 'message_queue',
+    provider: 'aws_sqs',
+    authentication: {
+        type: 'api_key',
+        apiKey: '${AWS_ACCESS_KEY_ID}:${AWS_SECRET_ACCESS_KEY}',
+        headerName: 'Authorization',
+    },
+    brokerConfig: {
+        brokers: ['https://sqs.us-east-1.amazonaws.com'],
+    },
+    topics: [
+        {
+            name: 'task_queue',
+            label: 'Task Queue',
+            topicName: 'task-queue',
+            enabled: true,
+            mode: 'consumer',
+            messageFormat: 'json',
+            consumerConfig: {
+                enabled: true,
+                concurrency: 10,
+                prefetchCount: 10,
+                ackMode: 'manual',
+            },
+            dlqConfig: {
+                enabled: true,
+                queueName: 'task-queue-dlq',
+                maxRetries: 3,
+                retryDelayMs: 120000,
+            },
+        },
+    ],
+    deliveryGuarantee: 'at_least_once',
+    retryConfig: {
+        strategy: 'exponential_backoff',
+        maxAttempts: 3,
+        initialDelayMs: 1000,
+        maxDelayMs: 60000,
+        backoffMultiplier: 2,
+    },
+    status: 'active',
+    enabled: true,
+};
+/**
+ * Example: Google Cloud Pub/Sub Connector Configuration
+ */
+exports.pubsubConnectorExample = {
+    name: 'gcp_pubsub',
+    label: 'Google Cloud Pub/Sub',
+    type: 'message_queue',
+    provider: 'google_pubsub',
+    authentication: {
+        type: 'oauth2',
+        clientId: '${GCP_CLIENT_ID}',
+        clientSecret: '${GCP_CLIENT_SECRET}',
+        authorizationUrl: 'https://accounts.google.com/o/oauth2/v2/auth',
+        tokenUrl: 'https://oauth2.googleapis.com/token',
+        grantType: 'client_credentials',
+        scopes: ['https://www.googleapis.com/auth/pubsub'],
+    },
+    brokerConfig: {
+        brokers: ['pubsub.googleapis.com'],
+    },
+    topics: [
+        {
+            name: 'analytics_events',
+            label: 'Analytics Events',
+            topicName: 'projects/my-project/topics/analytics-events',
+            enabled: true,
+            mode: 'both',
+            messageFormat: 'json',
+            consumerConfig: {
+                enabled: true,
+                consumerGroup: 'objectstack-subscription',
+                concurrency: 5,
+                prefetchCount: 100,
+                ackMode: 'manual',
+            },
+        },
+    ],
+    deliveryGuarantee: 'at_least_once',
+    enableMetrics: true,
+    status: 'active',
+    enabled: true,
+};