洞察与动态
工程深度解析、产品更新以及对数据基础设施未来的前沿观点。
AI Native 研发操作系统:从 Agent 工具到组织级交付体系
AI Native 不是“给每位工程师配一个聊天机器人”,而是重构组织表达意图、提供上下文、执行工作、证明质量和沉淀经验的方式。本文给出一套可直接落地的研发操作系统:用 DDD 统一业务语言,用 SDD 固化变更意图,以 Agent、Skill、Workflow、Context…
开源运营:从 0 到 100 Star
开源一个企业级项目远不止 push 代码到 GitHub。本文分享 coomia-dip 开源运营的完整经验:README 编写策略、文档体系设计、Issue/PR 模板、社区互动准则、技术博客推广、以及如何在保持代码质量的同时降低社区参与门槛。
AI 辅助开发的理想与现实
coomia-dip 是一个大量使用 AI 辅助开发的项目。Claude、GPT-4、Copilot 在不同场景下发挥了巨大作用,但也带来了新的挑战:生成代码的一致性、AI 产出的 review 成本、上下文窗口限制下的大项目协作。本文坦诚分享 AI 辅助开发的真实体验。
测试策略演进
coomia-dip 的测试策略经历了从无到有的演进:最初的零测试、手动验证阶段,到单元测试覆盖核心逻辑,到集成测试验证 Layer 间通信,再到场景化端到端测试。本文记录了每个阶段的驱动因素、技术选型和经验教训。
性能优化:分析查询从 30s 到 300ms
一个真实的性能优化案例:客户的多维分析查询在数据量增长后从 300ms 退化到 30 秒。本文详述了完整的排查过程:从 Doris Query Profile 分析、执行计划解读、到分区裁剪优化、物化视图和查询改写,最终将延迟降回 300ms 以内。
OQL 解析器重构纪实
coomia-dip 的 OQL(Ontology Query Language)解析器从最初的正则表达式 hack,到 ANTLR4 生成的完整解析器,再到手写递归下降解析器。三次重构,三种技术方案,每次都有明确的驱动因素和取舍。本文完整记录了这个演进过程。
踩坑录:Temporal 工作流引擎
Temporal 的确定性约束(Deterministic Constraint)是最常见的新手陷阱。本文记录了我们在 Temporal 上踩过的坑:非确定性代码导致的 Non-Determinism Error、Activity 超时配置的误区、大 Payload 序列化问题、…
踩坑录:Nessie 在 Windows 上的挣扎
Project Nessie 是 Iceberg 的 Git-like 元数据目录服务,但它对 Windows 开发环境极不友好。路径分隔符问题、RocksDB 编译失败、WSL2 文件系统性能陷阱……本文完整记录了团队在 Windows 上驯服 Nessie 的全过程,以及最终…
踩坑录:gRPC 与 Spring Boot 集成
在 Spring Boot 3.x 中集成 gRPC 并非开箱即用。本文记录了我们踩过的所有坑:Protobuf 版本冲突、Spring Security 与 gRPC Interceptor 的兼容性、gRPC Health Check 与 K8s 探针集成、以及如何在不牺牲…
存储统一之路
从 MySQL + MongoDB + Elasticsearch 到 Doris 一库通吃的迁移过程。为什么我们最终选择了 Apache Doris 作为统一存储引擎,迁移中遇到的数据一致性问题,以及 OLAP 数据库做 OLTP 类工作负载的性能权衡。
8 Layer 合并为 3 进程
coomia-dip 的初始架构将系统划分为 8 个 Layer,每个 Layer 独立部署、独立演进。这个设计在理论上完美遵循了"关注点分离"原则,但在一个 4 人团队的实际开发中,8 个独立进程意味着 8 份配置、8 个启动脚本、28 条潜在的 gRPC 连接——复杂度远超团…
为什么放弃 ClickHouse
在 coomia-dip 的存储选型中,我们最初选择了 ClickHouse 作为 OLAP 引擎,与 PostgreSQL 构成"OLTP + OLAP"双引擎架构。但在 6 个月的实际使用后,我们做出了一个艰难的决定——放弃 ClickHouse,全面迁移到 Apache D…
开发日记:从第 1 行代码到 6000+ 测试
本文是 coomia-dip 项目从立项到首个公测版本的完整开发日记。我们用 14 个月的时间,从一行 print("hello ontology") 出发,构建了一个对标 Palantir Foundry 的本体驱动智能决策 PaaS 平台。截至本文撰写时,项目已拥有超过 60…
AI Copilot 设计模式
AI Copilot 是 coomia-dip 面向终端用户的 AI 交互界面——用户通过自然语言与 Ontology 交互,AI 自动转换为 OQL 查询、Action 调用或工作流触发。本文详述 Copilot 的架构设计、意图识别、多轮对话管理、工具调用编排和用户体验优化。
AI 可解释性:从黑盒到可信
企业 AI 决策需要可解释性——不仅是法规要求,更是建立用户信任的基础。本文探讨在 coomia-dip 中实现 AI 可解释性的技术方案:注意力可视化、检索来源追踪、决策因子分解、置信度校准和人类可读的推理链。
AI 安全与对齐:企业实践
在企业环境中部署 AI 系统面临独特的安全挑战:数据泄露、Prompt 注入、有害内容生成、偏见放大。本文介绍 coomia-dip 的 AI 安全框架,包括输入/输出过滤、Guardrails 配置、PII 检测、内容审核和安全审计链路。
混合搜索:向量+关键词+结构化
单一的搜索模式各有局限:向量搜索擅长语义但忽略精确匹配,关键词搜索精确但缺乏语义理解。coomia-dip 的混合搜索引擎融合三种检索模式,通过 RRF(Reciprocal Rank Fusion)算法合并结果,提供最佳的搜索体验。
AI 增强 Function 开发
coomia-dip 的 Function 系统不仅支持传统的数据转换,还可以集成 AI 能力。本文介绍如何在 Function 中调用 LLM、执行语义分析、生成智能建议,以及如何利用 Ontology 上下文增强 AI 输出的准确性。
模型版本管理与灰度发布
模型上线不是一蹴而就的。本文介绍如何在 coomia-dip 中实现模型版本管理、灰度发布(Canary Deployment)、A/B 测试、蓝绿部署,以及基于在线指标的自动回滚策略。重点讨论 Embedding 模型更新时的向量索引一致性问题。
模型注册中心架构设计
随着企业 AI 应用的增多,模型管理变得日益复杂。coomia-dip 的模型注册中心提供统一的模型元数据管理、版本追踪、部署状态监控和访问控制。本文详述注册中心的架构设计、与 MLflow 的集成、模型血缘追踪和合规审计。
LLM 编排与路由策略
企业通常同时使用多个 LLM(GPT-4、Claude、本地部署的开源模型),如何根据任务复杂度、成本预算和延迟要求智能路由到最合适的模型?本文介绍 coomia-dip 的 LLM Router 设计,包括基于规则的路由、成本感知路由、级联降级和模型性能监控。
企业级 Prompt 工程实践
企业级 Prompt 工程远比聊天场景复杂。本文涵盖 Prompt 模板管理、版本控制、A/B 测试、输出格式约束(JSON Schema 强制)、Token 成本优化、多语言 Prompt 策略,以及如何在 coomia-dip 中将 Prompt 作为平台资源进行治理。
AIP 逻辑工作流设计模式
AIP(AI Platform)逻辑工作流是 coomia-dip 的 AI 编排核心,它将 LLM 调用、向量检索、规则引擎和 Ontology 操作组合成可复用的智能流程。本文深入介绍工作流的 DAG 设计模式、条件分支、并行执行、错误恢复和人机协作节点。
增量索引与实时向量更新
当知识库持续增长时,全量重建向量索引的成本变得不可接受。本文探讨增量索引策略:如何在不中断服务的情况下实时更新 HNSW 索引,处理文档的增删改,以及在 coomia-dip 中实现基于 CDC 的自动向量更新管道。
Doris HNSW 向量搜索:分析型数据库的向量检索能力
Apache Doris 2.1+ 原生支持 HNSW 向量索引,使企业能够在同一数据库中同时进行向量检索和传统 OLAP 分析,无需维护独立的向量数据库。本文详解 HNSW 算法原理、Doris 中的向量表设计、索引参数调优、混合查询(向量 + 标量过滤)优化策略,以及与独立向…
向量嵌入管道:从模型选择到生产运维
向量嵌入(Embedding)是 RAG、语义搜索和推荐系统的基础能力。本文系统性讲解嵌入管道的全生命周期——模型选择与评估、领域微调、高效推理部署、增量更新策略,以及生产环境中的监控和维护。我们还提供了企业场景下嵌入质量评估的完整框架。
RAG 系统设计:企业级检索增强生成架构
检索增强生成(RAG)是企业 AI 最重要的架构模式之一——它让 LLM 能够基于企业私有数据生成可靠的、有据可查的回答。本文系统性地讲解 RAG 的架构设计,涵盖文档分块策略、向量检索优化、上下文组装、生成质量保障四大核心环节,并提供可直接应用于生产环境的设计模式和代码示例。
企业 AI 的挑战:从实验室到生产环境的鸿沟
企业 AI 落地远非"调用一个 API"那么简单。本文深入剖析企业在将 AI 从 PoC 推向生产环境时面临的六大核心挑战——数据治理、模型可靠性、安全合规、组织协同、成本控制和技术债务,并给出可操作的应对框架。理解这些挑战是构建任何企业级 AI 系统的前提。
性能调优实战手册
coomia-dip 在默认配置下已经针对中等规模场景进行了优化,但当数据量增长到千万级、并发用户达到数百、查询复杂度升高时,你可能需要针对性地进行性能调优。本手册基于团队的实际调优经验,覆盖了从 OQL 查询优化到 Doris 表设计、从 gRPC 连接池到 JVM 调优的完整…
生产环境上线检查清单
将 coomia-dip 从开发环境迁移到生产环境,不仅仅是"换个配置"那么简单。生产环境需要考虑高可用、安全加固、性能调优、监控告警、备份恢复等方方面面。本教程提供一份全面的上线检查清单,帮助你系统性地完成生产部署准备。
多租户隔离与配置指南
当你的 coomia-dip 平台需要服务多个组织或部门时,多租户隔离变得至关重要。每个租户需要独立的数据空间、独立的 Ontology 定义、独立的权限体系,同时共享底层基础设施以降低运维成本。
OSDK TypeScript 前端集成指南
coomia-dip 不仅提供强大的后端数据处理和决策能力,还通过 OSDK(Ontology SDK)为前端应用提供类型安全的 Ontology 访问接口。OSDK TypeScript 版本让前端开发者可以像操作本地对象一样操作 Ontology 中的实体,享受完整的 Typ…
Temporal 工作流编排指南
在企业级应用中,很多业务流程涉及多个步骤、多个系统的协作——审批流程、数据处理管道、订单履约链路。这些长时间运行的流程(Long-Running Process)需要持久化状态、错误重试、超时处理和可观测性。Temporal 正是为此而生的分布式工作流引擎。
Flink CDC 实时数据同步指南
在企业数据平台中,数据同步是最基础也是最关键的能力之一。传统的批量 ETL 虽然稳定,但无法满足实时决策的需求。Flink CDC(Change Data Capture)让你可以实时捕获数据库的变更事件,将其流式传输到 coomia-dip 的数据层,让业务数据库中的每一行变更…
gRPC 自定义服务开发指南
coomia-dip 的内部通信全部基于 gRPC。这不仅仅是一个技术选型决策,更是平台设计哲学的体现——强类型契约、高性能序列化、双向流式通信。当你需要扩展平台功能时,编写自定义 gRPC 服务是最自然的方式。
事件订阅与通知:让平台主动告诉你
在前面的教程中,我们掌握了如何主动查询数据、执行 Action、触发规则。但在真实业务场景中,"被动等通知"往往比"主动去轮询"更高效——当订单状态变化时自动通知下游系统,当指标异常时即时推送告警,当审批完成时触发后续流程。
数据接入指南
数据接入是使用 coomia-dip 平台的第一步。本文介绍如何将关系型数据库、CSV/Excel 文件、API、消息队列和对象存储中的数据导入平台,转化为 Ontology 对象。涵盖连接器配置、Schema 映射、数据验证和常见问题排查。
权限配置指南
coomia-dip 采用三层权限模型:RBAC(基于角色)控制功能访问、ABAC(基于属性)控制数据访问、Row-Level Security(行级安全)控制记录级可见性。本文通过完整示例介绍如何配置和管理这三层权限,包括角色定义、策略编写、权限继承和审计日志。
Dashboard 开发指南
Dashboard 是 coomia-dip 平台的可视化层,将 Ontology 数据和指标转化为交互式图表和报表。本文介绍如何使用 YAML 和 Python SDK 构建 Dashboard,包括布局设计、数据源绑定、图表配置、交互联动、权限控制和实时刷新。
指标开发指南
指标(Metric)是 coomia-dip 平台中衡量业务表现的核心数据单元。本文介绍如何定义、计算、存储和可视化业务指标,包括基础指标、派生指标、复合指标三种类型。涵盖指标的 YAML 声明、Python 自定义计算、实时/批量计算模式、以及指标监控告警。
自定义函数开发指南
自定义函数(Custom Function)是 coomia-dip 平台扩展计算能力的核心机制。通过 Python 编写函数并注册到平台,你可以在 Action、Pipeline、Rule 和 Dashboard 中复用业务逻辑。本文覆盖函数的定义、注册、测试、版本管理和生产部…
Pipeline 开发指南
Pipeline 是 coomia-dip 平台的数据处理核心。本文介绍如何使用 Python SDK 和 YAML 声明式配置构建端到端数据管道:从数据源接入、清洗转换、到 Ontology 对象写入。涵盖批处理 Pipeline、实时 Pipeline、增量同步三种模式,以及…
OQL 查询指南:20 个真实示例
OQL(Ontology Query Language)是 coomia-dip 平台的声明式查询语言,专为 Ontology 数据模型设计。它比 SQL 更贴近业务语义,支持对象、关系、属性的联合查询,以及图遍历、聚合和推理集成。本文通过 20 个真实示例,从基础到高级全面覆盖…
第一条规则:用 YAML 创建自动化推理
在 coomia-dip 中,规则(Rule)是实现自动化推理和业务逻辑的核心机制。通过 YAML 声明式定义规则,你可以让平台自动响应数据变化、执行业务策略和触发工作流。本教程将带你创建第一条规则,并理解 coomia-dip 推理引擎的工作原理。
第一个 Action:定义并执行业务操作
在前三篇教程中,我们学习了部署 coomia-dip、创建 Ontology 模型以及读写数据。但在真实的企业应用中,数据操作往往不是简单的 CRUD,而是带有业务规则的复合操作。例如"员工入职"涉及创建员工记录、分配部门、开通权限、发送通知等多个步骤。coomia-dip 中的…
第一条数据:写入和查询实体
在上一篇教程中,我们创建了 ObjectType 和 RelationType 来定义业务模型。但模型只是骨架,数据才是血肉。在本教程中,你将学习如何在 coomia-dip 中写入实体数据、创建关系实例、执行查询,以及进行批量数据操作。
第一个 Ontology:创建 ObjectType 和 RelationType
Ontology(本体)是 coomia-dip 的核心抽象。如果说传统数据库用"表"来描述数据,那么 coomia-dip 用"本体"来描述世界。ObjectType 类似于面向对象编程中的"类",RelationType 则描述类与类之间的关系。这种建模方式让数据不仅有结构,…
5 分钟本地部署 coomia-dip
在企业数字化转型的浪潮中,数据平台的重要性不言而喻。Palantir Foundry 作为行业标杆,以其强大的本体建模和数据融合能力著称,但高昂的许可费用让许多企业望而却步。coomia-dip 应运而生——一个开源的、对标 Palantir Foundry 的本体驱动智能决策平…
coomia-dip vs LangChain/AutoGen:本体驱动决策 vs AI Agent 框架
LangChain 和 AutoGen 是当前最流行的 AI Agent 开发框架,擅长 LLM 编排和多 Agent 协作。但它们缺少企业级数据治理、生产环境可靠性保障和 Ontology 语义层。coomia-dip 的 Agent Runtime(Agent Runtime…
coomia-dip vs Drools/Camunda:Ontology 原生规则 vs 独立规则引擎
Drools 和 Camunda 是业界领先的规则引擎和工作流引擎,在各自领域积累了成熟的生态。但它们作为独立组件使用时,与业务数据、Ontology 模型和决策上下文之间存在"集成鸿沟"。coomia-dip 将规则引擎和工作流引擎原生嵌入 Ontology 平台,实现了"规则…
coomia-dip vs Neo4j/TigerGraph:本体模型 vs 图模型
图数据库(Neo4j、TigerGraph 等)擅长图遍历和关系查询,但在企业级数据治理、决策引擎和全生命周期管理方面存在明显短板。coomia-dip 的 Ontology 模型在关系表达能力上不亚于图模型,同时原生集成了决策引擎、事件溯源、多租户和安全治理等企业级能力。本文从…
coomia-dip vs 低代码平台:本体驱动 vs 表单驱动的应用构建范式之争
低代码平台(如 OutSystems、Mendix、Power Apps、宜搭、简道云等)通过可视化拖拽降低应用开发门槛,但本质上仍是"表单驱动"的 CRUD 工具。coomia-dip 采用"本体驱动"范式,从业务对象和关系出发构建应用,不仅能实现低代码的快速开发,还能提供智能…
coomia-dip vs Atlas+Ranger:数据治理专项工具与本体驱动平台的深度对比
Apache Atlas 和 Apache Ranger 是 Hadoop 生态中最知名的数据治理和安全管理组件。Atlas 负责元数据管理和数据血缘,Ranger 负责细粒度访问控制。coomia-dip 的 Control Layer 控制层将治理能力内置于本体模型中,提供了…
coomia-dip vs 传统数据中台:从数据汇聚到智能决策的范式升级
传统数据中台在中国企业数字化转型浪潮中扮演了重要角色,但随着业务复杂度提升,其"数据汇聚+指标计算"的模式日益暴露出局限性。coomia-dip 提出了"本体驱动决策"的新范式,从根本上解决了数据中台"数据丰富、决策贫乏"的痛点。本文从架构演进、数据建模、业务赋能、技术栈、运维成…
coomia-dip vs Snowflake:云数据仓库与本体决策平台的深度对比
Snowflake 是云原生数据仓库的开创者,以弹性计算、数据共享和近零运维著称。coomia-dip 则是本体驱动的智能决策 PaaS,侧重将数据转化为业务决策。两者在数据处理层存在交集,但核心差异在于:Snowflake 是以 SQL 为中心的分析平台,coomia-dip…
coomia-dip vs Databricks:数据湖仓与本体决策的全面对比
Databricks 是数据湖仓(Lakehouse)领域的领导者,以 Apache Spark 为核心构建了统一的数据分析平台。coomia-dip 则是本体驱动的智能决策 PaaS,更侧重于将数据转化为业务决策。两者虽然在数据处理层有所重叠,但核心定位截然不同:Databri…
coomia-dip vs Palantir Foundry:22 项对比
coomia-dip 是一个开源的本体驱动智能决策 PaaS,对标 Palantir Foundry 的核心能力。本文从架构设计、数据集成、本体建模、权限治理、决策引擎、部署模式等 22 个维度进行深度对比,帮助企业技术决策者理解两者的能力边界与适用场景。coomia-dip 在…
AI 结对编程:LLM 辅助的本体建模与规则编写
Ontology 驱动的智能决策平台功能强大,但学习曲线陡峭:
层级多租户:组织结构感知的资源隔离
简单的多租户系统只有一层"租户"概念。但企业级场景远比这复杂:
自动供给模式:资源按需创建
传统平台中,定义一个业务对象后,还需要大量运维工作:
契约优先:接口定义先行
在多团队协作开发中,一个典型的问题是:团队 A 开发 Control Layer,团队 B 开发 Data Layer,他们之间通过 gRPC 通信。如果没有预先约定的接口定义:
门面模式:统一 API 入口
coomia-dip 内部有 8 个 Layer,每个 Layer 有自己的 gRPC 服务、数据模型和通信协议。如果客户端直接与各 Layer 交互,复杂度将不可控:
投递保证:消息不丢失、不重复
在 coomia-dip 的多 Layer 架构中,Layer 之间通过异步消息通信。但异步消息面临多种故障:
查询改写:从语义到存储的优化翻译
在传统系统中,开发者需要知道数据存在哪个表、哪个库才能写查询。但在 coomia-dip 中,用户通过 Ontology 语义查询——他们只关心"业务对象"和"业务关系":
级联模式:依赖传播与影响分析
在本体驱动的系统中,对象之间通过 LinkType 建立丰富的关联关系。修改一个对象可能触发连锁反应:
联邦模式:跨组织的 Ontology 协作
企业集团中,不同业务线通常运行独立的平台实例。但跨组织的决策需要整合多源数据:
沙箱模式:安全隔离的执行环境
在智能决策平台中,一个错误的规则部署可能导致灾难性后果——错误的风控规则可能拦截所有正常交易,错误的推理模型可能产生荒谬的决策建议。传统的"开发→测试→上线"流程太过简单:
状态机:对象生命周期管理与状态驱动的业务流程
业务系统中到处是"状态"——订单有状态、审批有状态、规则部署有状态、模型训练有状态。很多团队用 if-else 或 switch-case 管理状态转换,代码很快变得不可维护:
Saga 模式:分布式事务编排与补偿
在微服务架构中,一个业务操作可能跨越多个服务。传统的两阶段提交(2PC)在分布式环境下存在严重问题:
事件溯源:审计、血缘追踪与状态重放
大多数系统使用 CRUD 模型管理数据:创建、读取、更新、删除。这在简单场景下完全够用。但当你面对以下需求时,CRUD 就力不从心了:
策略路由模式:ComputationCoordinator 的 7 级优先级调度
在一个复杂的本体驱动决策平台中,计算请求的种类五花八门:
Ontology 即 API:本体模型比 REST API 更适合做契约
每个做过大型平台的工程师都经历过这样的噩梦:
源码精读:LineageService — 实体级+字段级血缘
coomia-dip 的血缘追踪由两个互补的 LineageService 组成:Pipeline & Orchestration Layer(数据工程视角)提供 Dataset-centric 的 Pipeline 血缘,Metadata & Governance Layer(…
源码精读:AuditService — 跨进程审计的 Kafka Consumer
AuditService 是 coomia-dip 元数据治理层(Metadata & Governance Layer,合并至 Control Layer)的审计引擎,负责跨进程的操作审计、决策追踪和合规性记录。它通过 gRPC 暴露 10 个 RPC 方法,覆盖事件记录(Re…
源码精读:PipelineService — DSL 到 DAG 的编译
PipelineService 是 coomia-dip 数据管道层(Pipeline & Orchestration Layer,合并至 Data Layer)的核心服务,负责将声明式的 Pipeline DSL 编译为可执行的有向无环图(DAG)并调度执行。基于 Quarku…
源码精读:DerivedPropertyService — 依赖 DAG 与级联重算
DerivedPropertyService 是 coomia-dip 推理决策层(Reasoning & Decision Layer)中的派生属性引擎,实现了本体实例上的虚拟计算属性。它支持四种计算模式——FunctionRuntime 函数、SQL 查询、算术表达式、Red…
源码精读:FunctionRuntime — 多语言沙箱的统一接口
FunctionRuntimeService 是 coomia-dip 推理决策层(Reasoning & Decision Layer)中的函数执行引擎,为 Python、TypeScript、Groovy 三种语言提供统一的注册、调用和生命周期管理能力。它通过 Functio…
源码精读:ActionEngine — 10 种执行器的调度器模式
ActionEngineService 是 coomia-dip Agent Runtime 层(Agent Runtime Layer)的核心调度引擎,负责将决策结果转化为可执行操作。它通过 gRPC 协议暴露 ExecuteAction、BatchExecuteActions…
源码精读:ActionEngine — 10 种执行器的调度器模式
ActionEngineService 是 coomia-dip Agent Runtime 层(Agent Runtime Layer)的核心调度引擎,负责将决策结果转化为可执行操作。它通过 gRPC 协议暴露 ExecuteAction、BatchExecuteActions…
源码精读:SearchService — 6 种搜索模式的统一抽象
DefaultSearchService 是 Data Layer 中的全文搜索服务,基于 Quarkus 3.x 实现,底层使用 Doris OLAP 引擎的全文索引能力和 Redis 的 ZSET 结构。它支持 6 种搜索模式(BESTMATCH/EXACT/PREFIX/F…
源码精读:AnalyticsQueryService — 14 种聚合的实现
DefaultAnalyticsQueryService 是 Data Layer 中专注于聚合分析的服务,基于 Quarkus 3.x 实现。它通过四个独立的 SQL Builder(AggregateGroupedSqlBuilder、TimeBucketSqlBuilder…
源码精读:OQL Parser — 从文本到执行计划
OQL(Ontology Query Language)是 coomia-dip 的自研查询语言,其解析器完全手写——没有使用 ANTLR 或 JavaCC 等解析器生成器。解析流水线分为三层:OQLParserService(入口门面)→ OQLLexer(词法分析)→ OQL…
源码精读:OQL Parser — 从文本到执行计划
OQL(Ontology Query Language)是 coomia-dip 的自研查询语言,其解析器完全手写——没有使用 ANTLR 或 JavaCC 等解析器生成器。解析流水线分为三层:OQLParserService(入口门面)→ OQLLexer(词法分析)→ OQL…
源码精读:QueryFederationService — 多引擎查询路由
QueryFederationGrpcService 是 Data Layer(Data Layer)中查询联邦层的核心服务,基于 Quarkus 3.x + gRPC 实现。它接收 OQL 查询,经过解析 → 优化 → 路由 → 执行的四阶段流水线,将查询路由到 Doris(O…
源码精读:QueryFederationService — 多引擎查询路由
QueryFederationGrpcService 是 Data Layer(Data Layer)中查询联邦层的核心服务,基于 Quarkus 3.x + gRPC 实现。它接收 OQL 查询,经过解析 → 优化 → 路由 → 执行的四阶段流水线,将查询路由到 Doris(O…
源码精读:PolicyEngineService — 三模型权限的统一评估
PolicyEngineServiceImpl 是 Control Layer 中的权限策略引擎,基于 Spring Boot 3.x + gRPC 实现,统一了 RBAC、ABAC、ReBAC 三种权限模型的评估。它通过 PolicyEvaluationService 抽象评估…
源码精读:WorldManagerService — 数据世界的 Git 操作
WorldManagerService 是 Control Layer 中管理"数据世界"(World)的核心服务,通过集成 Nessie 实现了类 Git 的数据版本管理。每个 World 是一个完全隔离的数据空间,支持分支、合并、发布(Tag)、时间旅行和反事实分析。本文将深…
源码精读:SchemaRegistryService — 本体注册的状态机
SchemaRegistryService 是 Control Layer(Control Layer)中管理本体 Schema 全生命周期的核心服务。它基于 Spring Boot 3.x + gRPC 构建,实现了 DRAFT → ACTIVE → DEPRECATED →…
源码精读:OntologyRuntimeService — 实体 CRUD 的核心实现
OntologyRuntimeService 是 coomia-dip 数据层(Data Layer)中最核心的服务,承担着本体实例的全生命周期管理。它基于 Quarkus 3.x 框架,通过 gRPC 协议暴露接口,支持单条与批量的 CRUD 操作,内置软删除、版本历史、变更事…
nsjail 沙箱深潜:安全执行用户自定义函数
1. [为什么需要沙箱?](#1-为什么需要沙箱)
nsjail 沙箱深潜:安全执行用户自定义函数
1. [为什么需要沙箱?](#1-为什么需要沙箱)
Trino 查询联邦深潜:跨引擎统一查询
1. [Trino 在 coomia-dip 中的定位](#1-trino-在-coomia-dip-中的定位)
Google OR-Tools 深潜:coomia-dip 的约束求解与决策优化
1. [OR-Tools 在 coomia-dip 中的定位](#1-or-tools-在-coomia-dip-中的定位)
Pydantic v2 深潜:coomia-dip 的数据验证与模型层设计
1. [Pydantic v2 架构革新](#1-pydantic-v2-架构革新)
Arrow Flight SQL 深潜:高性能柱状数据传输
1. [为什么需要 Arrow Flight SQL](#1-为什么需要-arrow-flight-sql)
FastAPI + gRPC 双协议服务:Intelligence Layer 的 Python 微服务架构
1. [双协议架构的设计动机](#1-双协议架构的设计动机)
Quarkus Reactive 深潜:Data Layer 的响应式架构
1. [Quarkus 在 coomia-dip Data Layer 的定位](#1-quarkus-在-coomia-dip-data-Layer-的定位)
Spring Boot + gRPC 最佳实践:Control Layer 的通信骨架
在 Ontology 驱动的智能决策平台中,Control Layer 使用 Spring Boot 3.x 作为应用框架,gRPC 作为内部服务间通信协议。本文深入探讨 Protobuf 消息设计、gRPC 服务定义、Spring Boot 集成方案、拦截器链(认证、日志、指标…
PostgreSQL 元数据存储:Ontology 平台的数据基石
PostgreSQL 在 Ontology 驱动的智能决策平台中承担着元数据存储的核心职责。本文深入探讨 PostgreSQL 在 Schema Registry、Object Type 定义、Link Type 关系、Property Type 属性以及审计日志等场景中的表设计…
Redis 的 5 种角色:从缓存到会话的全栈实战
Redis 远不止是一个缓存。在现代 PaaS 平台中,Redis 同时扮演着缓存层、速率限制器、去重引擎、热词排行和会话存储五种关键角色。本文深入剖析每种角色的数据结构选型、部署模式、故障处理策略以及在 Ontology 驱动的智能决策平台中的具体应用实践。我们将从底层数据结构…
DolphinScheduler 深潜:DAG 调度引擎与数据管道编排
1. [DolphinScheduler 在 coomia-dip 中的定位](#1-dolphinscheduler-在-coomia-dip-中的定位)
DolphinScheduler 深潜:DAG 调度引擎与数据管道编排
1. [DolphinScheduler 在 coomia-dip 中的定位](#1-dolphinscheduler-在-coomia-dip-中的定位)
Temporal 工作流引擎深潜(Part 2):Schedule、Visibility、Interceptor 与多集群
1. [Schedule:原生定时调度](#1-schedule原生定时调度)
Temporal 工作流引擎深潜(Part 1):持久化执行、Activity 重试与 Saga 补偿
1. [Temporal 在 coomia-dip 中的定位](#1-temporal-在-coomia-dip-中的定位)
Flink 状态管理:RocksDB、Checkpoint 与大状态调优
1. [Flink 状态模型概览](#1-flink-状态模型概览)
Flink CDC 10 个最佳实践:从数据库到 Lakehouse 的实时桥梁
coomia-dip 的选择:日志式 CDC(基于 Debezium),原因如下:
Kafka 7 种使用模式:从事件溯源到流批一体
在 coomia-dip 的 分层架构中,数据流动无处不在:Ontology 变更需要实时传播、CDC 数据需要可靠传输、跨 Layer 的异步通信需要解耦、审计事件需要持久化存储。Kafka 以其独特的日志模型完美匹配了这些需求:
Apache Iceberg 实战:表格式演进与时间旅行
Hive 表格式(HMS + Parquet/ORC)在大数据时代曾是事实标准,但随着数据平台的演进,其局限性日益凸显:
Apache Nessie 深度解析:Git-like 数据版本控制
在传统数据平台中,数据变更管理面临以下挑战:
Apache Doris 深度实践(下):向量索引+倒排索引
在 coomia-dip 之前的架构设计中,我们最初考虑了典型的多引擎方案:
Apache Doris 深度实践(上):OLAP 引擎核心特性与调优
在 coomia-dip 的数据分析层(Data Layer)中,我们需要一个能够同时满足以下需求的 OLAP 引擎:
数据安全与脱敏
政务数据包含大量敏感个人信息。数据共享与隐私保护之间存在根本矛盾。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 DataAsset, SensitivityLevel, MaskingPolicy, AccessControl, AuditLog…
社会治理网格化
社会治理网格化面临网格员负担重、数据采集手段落后、问题流转效率低等问题。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Grid, GridWorker, Issue, Resident, ServiceRequest 等核心模型,结合平台的 政务…
应急指挥决策
突发事件要求极短时间内做出关键决策。传统应急指挥依赖电话协调和纸质预案,信息传递慢。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Incident, Resource, Shelter, Casualty, ActionItem 等核心模型,结合…
城市事件管理 Ontology
城市每天发生大量事件分散在110、120、12345等多个系统。缺乏统一事件管理导致响应慢、协调难。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Event, Location, Responder, Resource, Resolution 等…
政务数据融合
政务数据分散在各委办局独立系统中,标准不统一。群众办事需多次提交相同材料,政府决策缺乏数据支撑。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Citizen, Organization, Service, Application, DataAss…
电力调度优化
电力调度需满足负荷需求同时最小化成本和碳排放。新能源占比提高使调度复杂度指数级增长。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Generator, LoadForecast, DispatchPlan, GridConstraint, Ren…
碳排放监控看板
碳达峰碳中和目标要求精确计量碳排放。碳排放数据分散在能耗、生产、物流等多环节。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Facility, EnergySource, EmissionFactor, CarbonFootprint, Redu…
设备健康管理
能源设备故障导致大面积停电和巨额损失。传统定期维护既浪费资源又无法完全防止故障。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 EnergyAsset, SensorData, HealthIndex, DegradationModel, Main…
电网 Ontology 设计
电网涉及发输变配用五大环节,每个环节有不同设备类型和管理系统,数据模型极其复杂。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Generator, Transformer, TransmissionLine, Substation, LoadPo…
能源数字化:从 SCADA 到智能决策
能源行业长期依赖SCADA,但SCADA只提供数据采集和简单告警,缺乏数据分析和决策支持能力。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Asset, Meter, Reading, Grid, DispatchOrder 等核心模型,结合平台…
流行病学分析
传染病暴发时需要快速整合病例数据、接触追踪和地理信息。传统手工调查速度远跟不上病毒传播。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Case, Contact, Location, LabTest, TransmissionChain 等核心模…
医院运营看板
医院运营涉及床位、手术室、急诊、排班等多维度。管理层缺乏实时全局视图,发现瓶颈滞后。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Bed, Patient, Department, Procedure, OperationalMetric 等核心…
药物不良反应监测
药物不良反应是住院患者第4-6大死因。现有自发报告系统仅报告1-10%的ADR。需要主动监测。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Patient, Medication, AdverseEvent, DrugInteraction, S…
临床数据 Ontology:HL7/FHIR 映射
医疗信息系统使用HL7 v2、FHIR、DICOM等多种标准。统一临床Ontology是互操作性关键。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Patient, Practitioner, Observation, Condition, Pr…
医疗数据的特殊挑战
医疗数据层临隐私合规、数据异构(HL7/FHIR/DICOM)、质量参差不齐、跨机构共享困难等特殊挑战。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Patient, Encounter, Diagnosis, Medication, Conse…
供应商 360° 视图
企业与数百家供应商合作但信息分散。缺乏统一供应商画像导致采购决策片面、风险识别滞后。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Supplier, Contract, DeliveryPerformance, QualityScore, Ris…
库存优化:What-if 分析
库存过高占用资金,过低导致断货。传统安全库存计算无法应对需求波动和供应不确定性。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 SKU, InventoryPosition, DemandForecast, SupplyPlan, WhatIfSc…
供应链风险预警
供应链中断平均影响29天,收入损失占年收入6-10%。需要建立多层次风险监测体系。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Supplier, RiskIndicator, RiskEvent, ImpactAssessment, Mitig…
供应链 Ontology 设计
供应链涉及供应商、物流、仓储等多领域,数据分散在ERP、TMS、WMS中。缺乏统一数据模型使跨域分析难以实现。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Supplier, PurchaseOrder, Shipment, Warehouse,…
供应链的脆弱性
新冠疫情、苏伊士运河堵塞等事件暴露了全球供应链的脆弱性。企业缺乏端到端的供应链可见性,无法提前感知风险。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Supplier, Part, Shipment, Warehouse, RiskFactor…
反洗钱场景:Pattern of Life
洗钱通过复杂资金拆分和壳公司层层嵌套隐匿资金来源。传统AML系统大量误报淹没真正的可疑活动。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Entity, Account, TransactionPattern, SuspiciousActivit…
信贷审批自动化
信贷审批涉及20+数据源验证和复杂决策树。传统流程耗时3-7个工作日,客户体验差且运营成本高。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Applicant, CreditApplication, CreditReport, DecisionT…
实时交易监控:毫秒级响应
每天数亿笔交易中隐藏着欺诈交易。T+1批处理在交易发生后才检测,资金已经转移。实时监控需要毫秒内完成决策。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Transaction, RiskScore, Rule, AlertQueue, Decis…
反欺诈知识图谱
传统反欺诈基于规则引擎只能检测已知模式。面对团伙欺诈需要知识图谱揭示隐藏的资金链路和关联关系。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Person, Account, Transaction, Device, FraudRing 等核心模型…
银行风控四大痛点
银行风控面临数据分散、规则僵化、响应滞后、缺乏全局视图四大痛点。传统风控已滞后于欺诈手段的演进速度。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Customer, Account, Transaction, RiskEvent, RiskRul…
智能排产系统:OR-Tools 约束求解最优排程
排产计划通常由经验丰富的计划员手工编排,依赖Excel和个人经验。异常发生时重新排产需要数小时甚至一整天。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 WorkOrder, Equipment, ProductionSlot, Constrain…
产品质量追溯:全链路血缘追踪
产品质量问题发生后,传统追溯方式需要3-5天跨越多个系统手工关联数据。追溯速度直接影响召回范围和损失金额。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Product, MaterialBatch, ProcessStep, QualityEve…
设备预测维护:CDC + 规则引擎 + 工单自动生成
制造业设备非计划停机每年造成数十亿美元损失。传统维护策略要么过度维护浪费资源,要么不足维护导致故障。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Equipment, SensorReading, MaintenanceOrder, Failur…
智能工厂 Ontology 设计
智能工厂的核心不在于部署了多少传感器,而在于是否建立了统一语义模型来描述工厂全部要素及其关系。 本文通过 coomia-dip 的 Ontology 驱动方法,展示如何构建 Equipment, ProductionLine, WorkOrder, QualityControl,…
制造业数据困局:MES+ERP 解决不了的问题
制造企业普遍部署了 MES(制造执行系统)和 ERP(企业资源计划),但生产数据仍然分散在孤岛之中,跨系统的实时决策几乎不可能实现。本文分析制造业数据治理的五大痛点,揭示 MES+ERP 架构的本质局限,并介绍 coomia-dip 如何通过 Ontology 驱动的数据融合层,…
API 网关:统一入口的路由、限流与协议转换
coomia-dip API 网关作为平台的统一入口,实现请求路由(gRPC/REST 双协议)、认证鉴权、速率限流、协议转换(REST-to-gRPC)、负载均衡和请求/响应变换。网关基于 Envoy + 自定义 Python 过滤器构建,支持声明式路由配置、动态限流策略和 g…
运维仪表盘:17 种组件的统一可视化平台
coomia-dip 运维仪表盘集成 17 种可视化组件——指标计数器、时间序列图、分布热力图、服务拓扑、请求追踪瀑布、日志流、告警时间线、资源利用率仪表、SLA 仪表盘、对象操作统计、权限评估分布、脱敏操作统计、审计事件流、血缘拓扑图、分类分布饼图、合规评分卡和健康状态矩阵。所…
可观测性:OpenTelemetry 统一遥测框架
coomia-dip 基于 OpenTelemetry 构建统一的可观测性框架,覆盖 Traces(分布式追踪)、Metrics(指标监控)和 Logs(结构化日志)三大支柱。通过 gRPC 拦截器自动注入追踪上下文、自定义指标收集器捕获业务指标、结构化日志关联 Trace ID…
Kubernetes Operator:声明式平台生命周期管理
coomia-dip Kubernetes Operator 实现了平台的声明式生命周期管理,通过自定义资源定义(CRD)描述平台拓扑,Operator 控制器自动完成服务部署、配置管理、滚动升级、弹性伸缩和故障恢复。本文从 Operator 架构、CRD 设计、控制器实现、升级…
Docker Compose 部署:开发与测试环境的一键编排
coomia-dip 使用 Docker Compose 实现开发和测试环境的一键部署,编排 8 个 Layer 的 20+ 服务容器。设计支持多 Profile(minimal/standard/full)、服务依赖的健康检查、配置覆盖、数据卷管理和 GPU 支持。本文从编排架…
SDK 测试策略:从单元测试到契约测试的全面覆盖
coomia-dip SDK 的测试策略涵盖五个层次:单元测试(逻辑正确性)、集成测试(gRPC 通信)、契约测试(API 兼容性)、端到端测试(真实场景)和性能测试(基准回归)。测试基础设施包括 Mock gRPC 服务器、Schema 固件生成器、快照测试和 CI 流水线集成…
异步 SDK:基于 asyncio 的高并发 Ontology 客户端
coomia-dip 的异步 SDK 基于 Python asyncio 构建,支持高并发的 Ontology 操作。核心特性包括:异步 gRPC 通信、连接池管理、批量操作优化、流式结果迭代和背压控制。SDK 同时提供同步包装器以支持非异步场景。本文从异步架构设计、并发模式、批…
TypeScript OSDK:为前端开发者打造类型安全的 Ontology SDK
TypeScript OSDK(Ontology Software Development Kit)是 coomia-dip 面向前端和全栈开发者的核心 SDK,它将 Ontology 的类型系统映射为 TypeScript 类型,通过代码生成实现编译期类型安全。开发者可以像操作…
38 个 gRPC Client 代码生成:从 Protobuf 到生产级 SDK
coomia-dip 平台横跨 8 个 Layer,内部通信全部基于 gRPC。为了保证跨语言一致性和开发效率,我们构建了一套统一的代码生成管线:从 38 份 .proto 定义出发,自动生成 Java、Python、TypeScript 三种语言的 gRPC Client St…
SDK 设计哲学:Ontology-First 的开发者体验
coomia-dip SDK 的设计哲学是"Ontology-First"——开发者通过 Ontology 对象模型而非底层 API 与平台交互。SDK 提供类型安全的代码生成、直觉式的流式 API、自动化的权限上下文传播和透明的 gRPC 通信。本文从设计原则、分层架构、代码生…
合规设计:多法规框架下的自动化合规引擎
coomia-dip 的合规引擎支持 GDPR、HIPAA、PCI DSS、SOX 和中国《个人信息保护法》等多法规框架,通过声明式合规规则、自动化检查和持续监控,将合规要求转化为可执行的技术控制。引擎集成了数据分类、权限控制、脱敏、审计和数据保留五大子系统,提供合规仪表盘、差距…
元数据目录:Ontology 驱动的数据资产发现与治理
coomia-dip 的元数据目录以 Ontology 为核心,整合了技术元数据(Schema、统计信息)、业务元数据(描述、标签、所有者)和操作元数据(血缘、分类、质量指标)。目录提供统一搜索、数据地图、影响分析和合规视图,支持通过 gRPC API 和 SDK 进行程序化访问…
历史数据回放:时间旅行查询与状态重建
coomia-dip 的历史回放系统基于 Iceberg 的时间旅行和 Nessie 的分支版本管理,实现了任意时间点的数据状态查询和完整状态重建。系统支持快照查询("某一时刻数据什么样")、增量回放("两个时间点之间发生了什么变化")和假设分析("如果那个变更没发生,现在数据会…
双层数据血缘追踪:Schema 级与实例级的统一设计
coomia-dip 实现了双层数据血缘追踪系统——Schema 级血缘记录对象类型和属性之间的定义依赖关系,实例级血缘记录具体数据记录的来源和变换链路。两层血缘通过统一的 LineageGraph 模型管理,支持正向影响分析("这个字段变了会影响什么")和反向溯源("这个值是怎…
审计追踪系统:13 类事件的完整设计
coomia-dip 的审计追踪系统记录 13 类关键安全事件——身份认证、授权决策、数据访问、数据变更、脱敏操作、分类变更、策略变更、Schema 变更、Action 执行、系统配置、导出操作、异常检测和合规检查。每类事件包含标准化的事件结构、上下文信息和关联链路。本文从审计架…
7 级数据分类体系:从公开到绝密的安全标记框架
coomia-dip 实现了 7 级数据分类体系(A1-公开、A2-内部公开、B1-内部敏感、B2-机密、C1-高度机密、C2-受限、D-绝密),为权限控制、动态脱敏和合规审计提供统一的元数据基础。分类标记嵌入 Ontology Schema,通过 Protobuf 在 gRPC…
动态数据脱敏:6 种模式全解析
coomia-dip 的动态数据脱敏引擎支持 6 种脱敏模式——完全遮蔽、部分遮蔽、哈希替换、区间泛化、格式保留加密和条件脱敏。脱敏策略基于 ABAC 属性评估实时生效,在查询返回阶段对敏感字段进行透明变换,无需修改底层数据。本文从脱敏架构设计、6 种模式的实现细节、性能优化到生…
策略即查询重写:将权限下推到数据层
传统的权限控制在应用层逐行过滤数据,面对百万级数据集时性能灾难性下降。"策略即查询重写"(Policy as Query Rewrite)将权限策略编译为 SQL WHERE 子句,直接下推到数据库引擎执行,实现行级(Row-Level)和列级(Column-Level)的数据访…
ReBAC 实现:基于关系的访问控制
ReBAC(Relationship-Based Access Control)是 coomia-dip 三层权限模型的第三层,也是最强大的一层。它通过对象之间的图关系来推导访问权限,天然契合本体论驱动的平台架构。本文详解 ReBAC 的关系图模型、Zanzibar 风格的元组存…
ABAC 实现:基于属性的细粒度访问控制
ABAC(Attribute-Based Access Control)是 coomia-dip 三层权限模型的第二层,负责基于主体属性、资源属性和环境属性的组合条件来实现细粒度的访问控制。本文详解 ABAC 的属性模型、策略表达式引擎、8 种运算符的实现、条件评估的性能优化,以…
RBAC 实现:角色、权限、资源的建模与授权
coomia-dip 的 RBAC 层是三层权限模型的基础,负责管理"谁能做什么"的核心问题。本文详解角色继承树、权限位图、资源层级模型的设计与实现,以及如何通过 gRPC 与 Spring Security 集成实现高效的角色授权。系统支持 12 种内置角色、256 种细粒度权…
三层权限模型总览:RBAC+ABAC+ReBAC 统一设计
coomia-dip 的权限系统采用三层统一模型:RBAC 管理"谁能做什么",ABAC 管理"在什么条件下能做",ReBAC 管理"基于什么关系能做"。三层模型通过 PolicyEngineService 统一编排,支持 8 种策略运算符,并通过查询重写实现零侵入的数据访问控制…
generate_bindings:从 Ontology 自动生成类型安全的函数绑定
coomia-dip 的 generatebindings 工具自动从 Ontology Schema 生成多语言的类型安全绑定代码,让用户自定义函数能以原生类型操作 ObjectType、LinkType 和 ActionType,无需手动编写序列化/反序列化逻辑。支持 Pyt…
函数版本管理与 A/B 测试
用户自定义函数的迭代更新不能一步到位上线——需要版本管理、灰度发布和 A/B 测试来控制风险。coomia-dip 的 FunctionVersionManager 支持 语义化版本控制、流量权重路由、A/B 实验框架 和 自动回滚,确保函数更新在验证安全后才全量切换。本文详解版…
WASM 运行时:WebAssembly 在决策引擎中的应用
WebAssembly (WASM) 以其 近原生执行速度、50ms 冷启动、天然沙箱隔离 和 跨语言编译 的特性,成为 coomia-dip FunctionRuntime 中性能最优的运行时。用户可以用 Rust、C/C++、Go 或 AssemblyScript 编写函数,…
nsjail 沙箱:函数运行时的安全隔离
用户自定义函数运行在平台内部,如果不加隔离,恶意或有缺陷的代码可能危害整个系统。coomia-dip 使用 Google 开源的 nsjail 作为进程级沙箱隔离方案,通过 Linux Namespaces、seccomp-bpf、cgroups 和 chroot 四层隔离机制,…
用户自定义函数:多语言沙箱运行时设计
coomia-dip 的 FunctionRuntime 允许用户使用 Python、TypeScript、Groovy、WASM 和 Kotlin 五种语言编写自定义函数,嵌入到推理、决策和执行流程中。每个函数运行在独立的沙箱环境中,通过资源配额、超时控制和网络隔离保障平台安全…
通知引擎:9 种通知渠道的统一抽象
企业决策的最后一环是将结果通知到正确的人。coomia-dip 的 NotificationEngine 通过渠道适配器模式统一管理 9 种通知渠道——Email、SMS、Webhook、Slack、钉钉、企业微信、飞书、站内信和 Push。本文深入解析通知引擎的适配器架构、模板…
Webhook 回写与外部系统集成
在企业环境中,智能决策的结果往往需要同步到 ERP、CRM、财务系统等外部平台。coomia-dip 通过 WebhookExecutor 实现标准化的外部系统回写能力,支持 HMAC 签名验证、指数退避重试、幂等投递、请求/响应映射以及双向同步。本文详解 Webhook 回写的…
Mutation Rules:声明式状态变更编排
Mutation Rules 是 coomia-dip 中连接业务规则与 Action 执行的桥梁。业务人员通过声明式 YAML/JSON 定义"当条件满足时,执行什么操作",系统自动将这些规则编译为 ActionRequest 序列并通过 ActionEngine 执行。本文深…
Saga 模式:长事务的补偿与回滚设计
当一个决策需要跨越多个微服务执行多步操作时,传统的分布式事务(2PC)无法满足高可用和性能要求。coomia-dip 采用 Saga 模式 配合 Temporal 工作流引擎,将长事务拆解为一系列可补偿的本地事务。每个步骤定义正向操作和补偿操作,当某一步失败时按反序执行补偿,确保…
Saga 模式:长事务的补偿与回滚设计
当一个决策需要跨越多个微服务执行多步操作时,传统的分布式事务(2PC)无法满足高可用和性能要求。coomia-dip 采用 Saga 模式 配合 Temporal 工作流引擎,将长事务拆解为一系列可补偿的本地事务。每个步骤定义正向操作和补偿操作,当某一步失败时按反序执行补偿,确保…
Action 执行引擎:10 种执行器的统一调度
Action 执行引擎是 coomia-dip 决策闭环中 Act(执行) 阶段的核心组件。它将决策结果转化为对 Ontology 的实际变更操作,通过统一的 Executor 抽象支持 10 种执行器类型——CreateObject、UpdateObject、DeleteObj…
决策追踪链:从输入到执行的端到端可追溯
企业级决策系统必须回答一个核心问题:"这个决策是怎么做出的?" coomia-dip 构建了从原始数据输入到最终执行结果的 端到端决策追踪链(Decision Trace Chain),基于 OpenTelemetry 分布式追踪标准,将 Sense、Think、Decide、A…
审批工作流:Temporal + 状态机的企业级审批引擎
企业审批流程是决策引擎的核心执行环节:一个决策做出后,可能需要经过多级审批才能生效。coomia-dip 使用 Temporal 作为工作流编排引擎,结合 有限状态机(FSM) 管理审批状态,实现了支持串行、并行、条件分支和超时升级的企业级审批引擎。本文深入解析审批工作流的架构设…
约束求解与 OR-Tools:从线性规划到组合优化
企业决策中有大量场景需要在满足多个约束条件下找到最优解:物流路径规划、人员排班、资源分配、生产调度等。coomia-dip 集成了 Google OR-Tools 作为约束求解引擎的核心后端,支持 线性规划(LP)、混合整数规划(MIP)、约束满足问题(CSP) 和 车辆路径问题…
决策 Dry-Run:影子模式与 What-If 分析
在生产环境中直接修改决策逻辑是高风险操作。coomia-dip 提供了 Dry-Run 框架,包括三种模式:Shadow Mode(影子模式) 在生产流量上并行运行新旧决策逻辑并比较差异;What-If Mode 支持用户手动构造假设场景进行模拟决策;Replay Mode 通过…
决策引擎架构:决策树 + 约束求解双引擎
coomia-dip 的 DecisionEngine 采用 决策树引擎 + 约束求解引擎 的双引擎架构,通过统一的 DecisionContext 在两个引擎之间路由和融合结果。决策树引擎擅长处理确定性的分支逻辑(如审批流程、风控规则),约束求解引擎擅长处理优化类问题(如资源分…
推理结果可解释性:为什么系统做了这个决策
在金融合规、医疗决策和司法领域,"系统为什么做了这个决策"比"系统做了什么决策"更重要。coomia-dip 构建了完整的推理可解释性框架,涵盖规则追踪链、ML 模型解释(SHAP/LIME)、因果图构建以及自然语言解释生成。本文深入解析可解释性的四个层次、解释数据模型、实时解释…
规则脚本引擎:Python/Groovy 编写高级规则
YAML DSL 能处理大部分业务规则,但遇到复杂的数据变换、外部 API 调用或自定义算法时就力不从心了。coomia-dip 的 FunctionRuntime 支持 Python、Groovy、TypeScript、Kotlin 和 WASM 五种语言编写高级规则脚本,通过…
低代码规则:用 YAML 定义复杂业务规则
业务人员不应该需要学习 Python 或 Java 来定义决策规则。coomia-dip 提供了基于 YAML 的低代码规则定义语言,将 YAML 配置文件编译为可执行的规则链。本文深入解析 YAML 规则 DSL 的语法设计、编译器架构、类型安全校验、运行时执行引擎以及热更新机…
混合推理模式:当规则引擎遇上机器学习
单一推理模式无法满足企业级决策的复杂需求。coomia-dip 采用规则层 + ML 层 + 人工审核层的三层混合推理架构,将确定性规则推理、概率性机器学习推断和人工专家判断有机结合。本文深入解析三层架构的设计原理、层间路由机制、置信度融合算法以及降级策略,展示如何在 Reaso…
规则引擎设计:前向链推理的原理与实现
前向链推理(Forward Chaining)是 coomia-dip ReasoningEngine 的核心推理模式。本文深入解析 Rete 网络的数据结构设计、Alpha/Beta 节点的匹配算法、规则冲突解决策略以及增量事实更新机制。通过完整的代码实现和性能基准测试,展示如…
从数据到决策:企业智能的四步闭环
企业智能决策不是一步到位的过程,而是由 Sense(感知)→ Think(推理)→ Decide(决策)→ Act(执行) 四个阶段构成的闭环系统。coomia-dip 的 Reasoning & Decision Layer(推理与决策引擎)和 Agent Runtime La…
金融风控 Ontology 建模:实时风险感知与关系网络分析
金融领域的关系复杂度远超其他行业:
制造业 Ontology 建模:从产线到产品的全链路数字化
制造企业的系统全景:
Ontology 实战:电商平台建模
一个中型电商平台通常涉及以下核心业务实体:
Ontology 建模最佳实践:6 条黄金法则
在参与了超过 20 个 Ontology 建模项目后,我们总结出一个规律:80% 的建模问题不是技术问题,而是设计决策问题。
连接注册表:11 种外部数据源的统一接入
在企业数字化转型中,一个中型企业通常拥有 15-30 个独立数据源:MySQL 生产库、PostgreSQL 分析库、MongoDB 日志库、S3 对象存储、Kafka 消息队列、第三方 REST API……
自动供给:定义即部署的 Ontology 基础设施
传统方式:定义一个新的业务对象需要多少人工操作?
自动供给:定义即部署的 Ontology 基础设施
传统方式:定义一个新的业务对象需要多少人工操作?
数据接入:从外部数据源到 Ontology 对象
企业数据源的典型分布:
Metrics 作为 Ontology:统一业务指标与运营监控
传统方式:Metrics 和业务数据是两个世界
Schema 变更管理:不停机的 Ontology 演进
噩梦场景:
派生属性依赖 DAG:级联计算的底层机制
场景:单层派生属性(S4-07 已覆盖)
派生属性:让数据自己"算"出来
场景:订单的"总金额"
InterfaceType 与 StructType:类型系统高级特性
场景:多种实体都有"地理位置"
ActionType 详解:把业务操作变成平台原生能力
在传统架构中,业务操作分散在各个服务中:
RelationType 与知识图谱:如何用关系连接业务世界
在传统关系数据库中,表与表之间的关系通过外键表达:
ObjectType 生命周期:从 DRAFT 到 ARCHIVED 的状态机
在传统开发中,数据库 Schema 变更是一个危险的操作:
ObjectType 深度解析:属性类型系统与约束体系
在传统数据库中,你只有 VARCHAR、INT、DECIMAL、TIMESTAMP 等有限类型。当业务需要表达"这个字段只能是 3 个值之一"或"这个字段是一个嵌套的地址结构"时,你不得不在应用层处理。
为什么"数据模型"不够用:从 ER 图到 Ontology 的认知跃迁
假设你是一家中型制造企业的架构师。你花了三个月设计了一套"完美"的 ER 数据模型——200 张表、500 多个字段、精心设计的外键关系。然后你发现:
Flight SQL:高性能数据传输协议
Tags: #FlightSQL #ArrowFlight #HighPerformance #DataTransfer #JDBC #智策平台
数据导出:多格式批量与流式输出
Tags: #DataExport #BatchExport #StreamExport #CSV #Parquet #智策平台
订阅系统:实时数据变更通知
Tags: #Subscription #Realtime #ChangeNotification #WebSocket #EventDriven #智策平台
World Transform:全局数据一致性变换
Tags: #WorldTransform #Consistency #GlobalState #Transaction #Ontology #智策平台
Transform 执行器:多引擎适配层
Tags: #TransformExecutor #MultiEngine #Flink #Spark #DuckDB #智策平台
DolphinScheduler 集成:工作流编排引擎
Tags: #DolphinScheduler #Workflow #Scheduling #DAG #Orchestration #智策平台
S3-18 Pipeline DSL 设计:Python 链式 API
智策平台的 Pipeline DSL 提供了一套 Python 链式 API,让用户以声明式方式定义数据处理管道。通过 Pipeline.create().source().transform().sink().build() 的链式调用,用户无需编写底层 Flink/Spark…
S3-17 实时数据接入:Flink CDC 全链路
Flink CDC(Change Data Capture)是智策平台实现实时数据接入的核心管道。通过 Debezium Connector 捕获上游数据库(MySQL / PostgreSQL / Oracle)的 binlog 变更,经过 Flink 流处理引擎进行 Sche…
S3-16 实体 360° 视图:InstanceDetailService 聚合视图
实体 360° 视图是 Ontology 平台中最核心的数据消费能力之一。InstanceDetailService 通过统一的聚合视图接口,将一个实体对象的基础属性、关联关系、时序数据、指标计算结果、审计日志和操作历史整合到一个结构化的响应中。本文完整拆解 InstanceDe…
S3-15 物化视图自动化:注册指标即创建物化视图
智策平台的 MaterializedViewService 实现了"注册指标即创建物化视图"的自动化能力。支持三种刷新模式(手动 / 定时 / 事件驱动),提供过期检测机制,并在 Schema 变更时自动级联失效。本文完整拆解物化视图的自动创建、刷新调度、过期检测和 Schema…
S3-14 指标系统:6 种计算策略的优先级路由
智策平台的指标系统 MetricRegistryService 支持 6 种计算策略(REALTIME / VIRTUALCOLUMN / UDF / CACHED / ROLLUP / MATERIALIZED),通过 ComputationCoordinator 进行优先级路…
S3-13 搜索引擎设计:6 种搜索模式 + 分面 + 热词建议
智策平台的搜索引擎 SearchService 提供 6 种搜索模式(BESTMATCH / PREFIX / FUZZY / EXACT / WILDCARD / REGEX),支持分面搜索(TERMS / RANGE / DATERANGE)、基于 Redis 的热词与历史建…
分析引擎:OLAP 能力的 Ontology 封装
Tags: #AnalyticsEngine #OLAP #Doris #Aggregation #Dashboard #智策平台
Diff 查询:分支对比与变更追踪
Tags: #DiffQuery #BranchDiff #ChangeTracking #Nessie #Audit #智策平台
时间旅行:Iceberg 快照的深度应用
Tags: #TimeTravel #Iceberg #Snapshot #VersionedQuery #TemporalData #智策平台
查询优化:从逻辑计划到物理执行
Tags: #QueryOptimization #LogicalPlan #PhysicalPlan #CostModel #Vectorization #智策平台
查询联邦:跨引擎统一查询
Tags: #QueryFederation #CrossEngine #Doris #DuckDB #Elasticsearch #智策平台
OQL 解析器实现:从文本到 AST
Tags: #OQL #Parser #AST #Lexer #RecursiveDescent #智策平台
OQL:我们设计的 Ontology 查询语言(语法篇)
Tags: #OQL #QueryLanguage #BNF #GraphTraversal #MetricExpansion #智策平台
entity_common / entity_edge / entity_event:三表模型设计
Tags: #ThreeTableModel #Ontology #SchemaDesign #QueryPatterns #EntityModel #智策平台
MinIO 对象存储:大文件和模型制品管理
Tags: #MinIO #ObjectStorage #ModelArtifacts #PresignedURL #BucketPerProject #智策平台
DuckDB 嵌入式分析引擎:轻量级计算的秘密武器
Tags: #DuckDB #EmbeddedAnalytics #OLAP #DerivedProperty #FunctionContext #智策平台
像 Git 一样管理数据:Nessie + Iceberg 实现数据版本控制
Tags: #Nessie #Iceberg #DataVersioning #Lakehouse #GitForData #智策平台
Apache Doris 统一 OLAP、向量搜索和全文检索的实践
Tags: #Doris #OLAP #VectorSearch #HNSW #InvertedIndex #FullTextSearch #智策平台
架构决策记录:用 ADR 追踪每一个关键技术选型
TL;DR
测试金字塔:多语言混合平台的质量保障体系
TL;DR
AI + 人类协作开发模式:Claude 实现 10x 效率
智策平台对标 Palantir Foundry,一个拥有数千名工程师花费十年构建的系统。我们的目标是用 3-5 人在一年内交付一个功能完备的开源替代品。按传统开发效率,这是不可能的任务。
配置管理:从 YAML 到运行时的配置链路
在一个由三个进程组成的平台中,配置管理看似简单,实则是运维痛点的重灾区。一个错误的数据库连接字符串可以让整个平台瘫痪,一个遗漏的环境变量可以让功能神秘消失。
错误处理哲学:三个进程如何优雅处理故障
在分布式系统中,网络分区、进程崩溃、资源耗尽都是日常。智策平台由三个独立进程组成——onto-control(Control Layer)、onto-data(Data Layer)、onto-intelligence(Reasoning & Decision Layer + A…
一致性模型:分布式系统中的数据一致性设计
CAP 定理告诉我们:在分布式系统中,一致性(Consistency)、可用性(Availability)、分区容错性(Partition Tolerance)不可兼得。智策平台作为一个 3 进程分布式系统,必须在这三者之间做出选择。
数据流全景:一条数据从采集到决策的完整旅程
要真正理解一个平台的架构,最好的方式不是看静态的架构图,而是跟踪一条数据的完整生命周期。
API 设计哲学:63 个 proto + 59 个 REST 端点的统一治理
在任何分布式平台中,API 不仅仅是"接口"——它是系统的契约层、协作协议和演进边界。一个设计良好的 API 体系可以让团队独立开发、独立部署、独立演进;一个混乱的 API 体系则会让每次变更都变成一场噩梦。
计算策略路由:7 种计算模式的优先级调度
TL;DR
事件驱动架构:Kafka 在平台中的 7 种角色
TL;DR
多租户架构:从租户到世界的 5 级隔离模型
TL;DR
我们的 Ontology 内核:一切操作必须经过本体层
TL;DR
存储架构演进:从 9 个组件到 5 个的统一之路
TL;DR
为什么我们选 gRPC 而不是 REST?内部通信设计决策
TL;DR
从 0 到 1 设计一个 Palantir:分层架构全景
TL;DR
我们为什么要做中国版 Palantir?以及我们的路线图
1. [Palantir 为什么不服务中国?](#1-palantir-为什么不服务中国)
Palantir OSDK:开发者如何与 Ontology 交互?
1. [什么是 OSDK?](#1-什么是-osdk)
Palantir 股价从 6 到 80:资本市场读懂了什么?
1. [直接上市:一场非常规的 IPO](#1-直接上市一场非常规的-ipo)
为什么没人能"复制" Palantir?技术壁垒深度分析
Palantir 的 7 层技术壁垒
Palantir 的定价与商业模式:为什么客户愿意付 1 亿美金/年
Palantir 收入结构 (2024 财年)
Palantir 的搜索与发现:在百万对象中找到你要的那个
我们每天都在使用 Google、百度搜索互联网内容,体验流畅自然。但当你在企业内部搜索数据时,体验往往是灾难性的。
Palantir 的数据血缘追踪:每一个数值从哪里来?
想象你在超市买了一瓶橄榄油。食品安全法规要求你能追溯这瓶油的完整来历:
Palantir Apollo:持续部署到任何环境的黑科技
当人们谈论 Palantir 时,通常会聚焦于 Ontology(本体)、AI/ML 能力或者数据融合。但很少有人意识到,部署能力才是 Palantir 真正的"黑科技"。
Palantir 的权限模型:为什么政府敢把机密数据交给它
对大多数企业来说,数据安全是一个合规问题——罚款、声誉损失、客户流失。
Palantir 的 Actions 和 Rules:从数据洞察到业务操作的桥梁
每个使用过 BI 工具的人都经历过这个场景:
Palantir Workshop:低代码构建企业应用
每个大型组织都有这个痛点:业务部门有大量的定制化应用需求,但 IT 部门的开发排期永远排不过来。
Palantir Contour:人人都能用的企业级数据分析
每个企业都买了 BI 工具。Tableau、PowerBI、Qlik、Looker——市面上不缺选择。然而一个尴尬的现实是:
Palantir 的 Pipeline Builder:数据管道的可视化编排
在任何数据密集型组织中,"把数据从 A 搬到 B 并做转换"这件事听起来简单,做起来要命。让我们看看一个典型的数据工程团队日常面对的噩梦:
Palantir AIP:当大模型遇上企业数据操作系统
2023 年,ChatGPT 引爆了全球 AI 热潮。每个 CEO 都在问:"我们怎么用 AI?"但当企业真正尝试落地时,撞上了五面墙:
Palantir 的 Branching:像 Git 一样管理数据世界
传统数据库的本质是"单世界"系统——全局只有一份数据,所有用户共享同一个现实:
为什么我们要做开源版 Palantir?Coomia DIP 的愿景与路线图
Palantir 无法服务全球 70% 的企业市场,Coomia DIP 用开源方式让 Ontology 驱动的智能决策能力成为每个企业都能使用的基础设施。
Ontology:Palantir 的灵魂概念,也是它的护城河
"Ontology"(本体论)这个词源自希腊语 ontos(存在)和 logos(研究),最早可以追溯到亚里士多德(公元前 384-322 年)。
为什么摩根大通、空客、NHS 都用 Palantir?Foundry 企业案例深度拆解
从 2003 到 2014 年,Palantir 几乎是一家纯政府业务的公司。Gotham 在 CIA、NSA、美军中取得了巨大成功,但华尔街的投资者不断问同一个问题:"你们能把这个东西卖给企业吗?"
为什么美军把最高机密交给 Palantir?Gotham 深度拆解
2004 年,伊拉克战场上的美军面临一个致命问题:简易爆炸装置(IED)每天在公路上炸死士兵,而情报分析师坐在遥远的基地里,面对着十几个互不兼容的数据库,试图找出制造 IED 的网络。
Palantir 的两条产品线:Gotham(国防)与 Foundry(企业)
大多数科技公司只有一条产品线。Google 的核心是搜索,Salesforce 的核心是 CRM,Snowflake 的核心是云数据仓库。
Palantir 到底是什么?一家被误解了 20 年的公司
如果你在街上随便拉住一个科技从业者,问他"Palantir 是做什么的",你大概率会得到这些回答:
Palantir 股价从 $6 到 $80:资本市场读懂了什么?
深度分析 Palantir 股价从 IPO 低谷到历史新高的完整旅程,解读 AIP 催化剂、Rule of 40 突破以及 Ontology 驱动平台的估值逻辑。
Palantir Actions 与 Rules 引擎:从数据洞察到业务操作的闭环
深入解析 Palantir 的 Actions 和 Rules 引擎如何实现数据到行动的自动化闭环,以及为什么这是区别于 BI 平台的核心竞争力。
Palantir Workshop 深度解析:Ontology 驱动的低代码应用构建平台
深入分析 Palantir Workshop 如何通过 Ontology 绑定实现低代码应用构建,以及为什么它与传统低代码平台本质不同。
Palantir AIP 深度解析:当大模型遇上企业数据操作系统
全面解析 Palantir AIP 如何将 LLM 与 Ontology 结合,实现企业级 AI 操作系统,以及开源替代方案的实现路径。
Palantir 数据分支深度解析:像 Git 一样管理企业数据世界
全面解析 Palantir 的数据分支技术,涵盖零拷贝分支、三方合并、时间旅行查询,以及开源替代方案的实现路径。
深度解析 Palantir Ontology:从亚里士多德到企业数据操作系统的灵魂概念
全面解析 Palantir 的核心概念 Ontology,涵盖 ObjectType、LinkType、ActionType 三大支柱,以及为什么它是 Palantir 最深的护城河。
为什么摩根大通、空客、NHS 都用 Palantir?Foundry 企业案例深度拆解
通过空客、摩根大通、NHS、BP、法拉利 5 个详细案例,深度解析 Palantir Foundry 如何用 Ontology 统一建模解决企业数据难题。
为什么美军把最高机密交给 Palantir?Gotham 军事平台深度拆解
深入解析 Palantir Gotham 的技术架构、多层安全模型、Pattern of Life 分析方法论,以及它如何颠覆传统国防承包商。
Palantir 的两条产品线:Gotham(国防)与 Foundry(企业)深度对比
深度对比 Palantir 的 Gotham 和 Foundry 两大产品线,理解从军事情报到企业数据操作系统的演进路径和共享 Ontology 核心。
业务本体:为什么你的数据需要一种共同语言
介绍 AIP 中的业务本体概念,以及它如何弥合数据工程与业务战略之间的鸿沟。
从提示词到生产环境:用 AI 在几分钟内构建数据管线
了解 AIP AI 管线构建器如何将自然语言描述转化为基于 Doris 的生产级 Flink SQL 管线,附带血缘、契约与监控。
AIP 发布:AI 原生数据智能平台
了解 AIP 如何通过 AI 驱动的管线构建、业务本体和决策智能来变革数据工程。