Hugging Face·· 2023-06-07精选AI 评分72
Hugging Face Hub 集成 DuckDB 支持对超 5 万个数据集执行 SQL 查询
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub
AI 导读
Hugging Face Hub 宣布集成 DuckDB，支持用户直接使用 SQL 查询 Hub 上存储的超过 5 万个公开数据集。Dataset Viewer 会自动将公开数据集转换为 Parquet 格式并切分为 500MB 分片，开发者通过 /parquet 接口获取文件 URL 后，利用 DuckDB 的 httpfs 扩展即可直接对远程文件执行复杂分析查询。
推荐理由
HF Hub 将公开数据集自动转为 Parquet 分片，开发者可直接借助 DuckDB 远程运行 SQL 分析而无需完整下载数据。
来源：Hugging Face · huggingface.co