Weka 官网

Weka 图文介绍：

Weka（简称WEKA）成立于2013年，总部加州坎贝尔，核心产品为“WEKA数据平台”——一套100%软件定义、可横向扩展的并行文件系统。通过自研NVMe原生架构与AI机器学习算法，平台把数据IO延迟降至微秒级，带宽突破TB/s，被Gartner 2024《文件与对象存储魔力象限》列入“远见者”，为全球2000强AI超算中心、自动驾驶与金融量化提供存储底座。

主要功能

AI级性能：单节点90 GB/s、250 µs延迟，线性扩展至1000+节点，满足GPU/TPU持续喂数据需求。

• 零调优分层：自动在NVMe SSD、对象存储、云端S3间冷热分层，策略可由AI模型预测访问模式。
• 多协议并行：同一命名空间同时支持POSIX、NFS、SMB、S3、GPUDirect Storage与Kubernetes CSI。
• 快照与克隆：秒级可写快照，元数据仅增量化，支持训练checkpoint秒级回滚。
• 数据安全：端到端AES-256加密、WORM、RBAC，通过FIPS 140-2与ISO 27001认证。
• 云原生弹性：可在AWS、Azure、GCP、OCI裸机一键Marketplace部署，支持Spot+Auto-Scaling，训练完即缩容降本。

应用场景

• 大模型训练：为A100/H100 GPU集群提供TB级持续带宽，减少checkpoint等待，训练时间缩短30–50%。
• 自动驾驶：每日数千车·小时视频数据实时汇聚，单集群支持200 GB/s写入，供仿真平台并行读取。
• 金融量化：低延迟快照保存盘前/盘中数据，回测任务秒级克隆，无需复制物理数据。
• 生信分析：基因组FASTQ文件并行读写，加速二级/三级分析流程，提升CPU利用率2×。

是否收费

• 订阅模式：按有效容量（TB）+功能模块计费，起订100 TB，现场询价约0.15–0.25 USD/GB/年（含支持）。
• 云Marketplace：AWS/Azure提供按需Hourly License，最低4节点起，约6 USD/节点/小时。
• 永久买断：部分私有化项目可一次性买断，含5年原厂支持。
• 学术/科研：通过“WEKA Academic Program”免费申请最多50 TB三年授权，已在全球80+高校AI实验室部署。

平台兼容性

• 硬件：x86_64、ARM64；支持InfiniBand HDR/NDR、100-400 GbE、RoCE v2、NVMe-oF。
• OS：RHEL/CentOS 7/8、Ubuntu 20.04+、SLES 15；提供Docker、Singularity镜像。
• 云：AWS（EC2 i3en/i4gn、EFA）、Azure Lsv3、GCP C3、OCI BM.Standard.E5。
• 编排：Kubernetes CSI插件、OpenShift Operator、SLURM插件均GitHub开源。
• API：RESTful管理API、Prometheus exporter、Grafana dashboard一键导入。

数据与隐私

• 采用零信任架构，支持KMIP外部密钥管理；符合GDPR、HIPAA、SOX合规要求。
• 提供双活异地容灾（Active-Active DR）与不可变快照，防勒索软件。

WEKA用软件定义方式把“超算级IO”与“云弹性”合二为一，解决大模型、自动驾驶、生信等场景“GPU等数据”的瓶颈。相比传统Lustre+自建对象存储，WEKA部署周期缩短80%，性能提升3–5倍；相比公有云FSx/Lustre，其跨云可移植与弹性计费显著降低TCO。若企业需要TB/s带宽、微秒延迟且希望在多云间无缝迁移，WEKA是当前市场上经过实测验证的领先AI数据平台之一。