Xorq:面向多引擎计算的声明式表达式管理框架,助力构建可复用、跨 Python 与 SQL 的机器学习流水线。| #框架
• 统一 pandas 风格和 Ibis 语法,支持 DuckDB、Snowflake、DataFusion 等多引擎无缝切换。
• 以 YAML 格式定义表达式,实现计算流程可版本化、可复现、易共享。
• 支持可移植的 UDF/UDAF,自动序列化,避免引擎锁定。
• 内置基于表达式哈希的缓存机制,最大限度减少重复计算,提升效率。
• 提供列级血缘追踪与可视化,便于调试与审计。
• 编译时校验数据模式和关系完整性,降低运行时错误风险。
• 输出完整表达式图、元数据及 SQL 文件,方便持续集成与审查。
• 基于 Apache Arrow 零拷贝数据传输,底层集成 Ibis 与 DataFusion,保障高性能。
Xorq 正处于快速迭代的 beta 阶段,适合追求流水线一致性与跨平台灵活性的团队提前布局。