覆盖数据全生命周期,从汇聚、治理到智能服务与可视化
支持数据库、文件、消息流、网页等多源数据采集。兼容 FTP/SFTP/NFS 及主流国产数据库,支持 TCP/UDP 私有协议采集,实现海量数据的高效入库。
提供数据质量稽查、数据标准定义及数据清洗功能。支持正则校验、数据脱敏、拆分转换,结合 AI 技术实现图片/文本自动分类与标注。
内置统计分析、数据挖掘算法库(Tensorflow/Pytorch)。支持 OCR 图文识别、语音识别、RAG 私有知识库问答及 MCP 智能数据分析助手。
基于自主轻量级分布式框架 GIIWA,实现存算分离与湖仓一体
采用 3+N 融合架构,实现数据仓库、数据湖与源数据的存算分离与共享,打破信息孤岛。
4 层架构设计(物理/逻辑/隔离/访问),支持横向多级目录挂载,兼顾高速访问与大容量存储。
解耦存储与计算模块,支持独立平行扩展。支持 R/Python 引擎进行内存计算与统计分析。
相较于传统 Hadoop/Spark 平台,我们更轻量、更自主、更易用
| 对比维度 | DVISUAL AI 数据开发平台 | 基于 Hadoop 的大数据平台 |
|---|---|---|
| 硬件与部署 | 轻量级,成本低。支持单机部署(4核16G),亦可横向扩展至 PB 级。适合中小规模数据管理。 | 重量级,成本高。通常需要 5 台以上服务器集群,对硬件资源要求较高。 |
| 自主可控性 | 高。基于自研 GIIWA 框架,支持国产 CPU/OS/数据库,拥有完全自主知识产权。 | 中等。核心生态依赖国外开源社区,国产化适配难度较大。 |
| 运维难度 | 简单。集成度高,依赖子系统少,无需专业大数据工程师即可维护。 | 复杂。子系统繁多(HDFS/ZK/Spark等),故障排查与数据恢复难度大。 |
| 开发与扩展 | 灵活开放。支持 JS/Python/R 脚本开发,支持二次开发与算法插件扩展,流程化配置直观简便。 | 相对封闭。多采用封装算子方式,扩展自定义算法需重新开发底层代码。 |
直接使用:作为数据中台,进行数据采集、治理与可视化大屏展示。 OEM/行业定制:作为行业管理系统后台,预置行业模型与标准。 低代码后台:作为其他业务系统的 B/S 或 C/S 后台子系统。