限制项 | 说明 |
来源端类型 | 半结构化数据源（FTP / SFTP / COS / HDFS / REST API 等） |
目标端类型 | DataBuddy Catalog 下的表（Iceberg 原生表） |
读取方式 | |
文件路径 | 路径下无文件或仅有空文件时任务正常运行成功，但目标端无新增数据 |
字段映射 | 来源端不读取字段元数据，需要用户手动添加字段并指定类型 |
参数 | 说明 | 是否必填 |
数据源类型 | 选择来源数据源类型 | 是 |
源连接 | 选择已注册的数据源连接 | 是 |
文件路径 | 文件或文件夹路径；点击文件夹图标可弹出路径选择器逐层下钻；支持插入参数与正则； | 是 |
读取方式 | 是 | |
文件格式 | 数据同步模式下选择 Text/CSV/JSON/ORC/Parquet | 是 |
格式设置 | 按文件类型展示对应字段； | 视文件类型 |
高级设置 | 数据源专属扩展参数 | 否 |
参数 | 说明 | 是否必填 |
数据源类型 | REST API | 是 |
数据源连接 | 选择已注册的 API 数据源 | 是 |
读取方式 | 解析数据 ：解析结构化数据内容，按字段关系进行数据内容映射与同步; 原始文件 ：不做内容解析传输整个文件，可应用于非结构化数据同步 | 是 |
请求方式 | GET / POST | 是 |
数据路径 | 接口返回中数据所在 JSON 路径（如 data.list） | 否 |
返回结构 | 单条 JSON / 数组 JSON | 是 |
请求 Header | 自定义请求头 | 否 |
请求参数 | GET 查询参数或 POST 请求体参数 | 否 |
第一行作为字段 | 当返回为表格类结构时是否将首行作为字段名 | 否 |
高级设置 | 请求方式 ：单次请求 / 多次请求；参数 ：分页参数等 | 否 |
文件类型 | 关键配置 |
Text | 列分隔符（自定义 / ; / | / Tab）、行分隔符（自定义 / 回车 / 断行）、第一行作为字段行、转义字符（默认 \\） |
CSV | 列分隔符（自定义 / , / ; / Tab）、转义符（" / \\）、第一行作为字段名、行跨行 |
JSON | 将时间文本转换为时间类型、允许使用单引号、过滤注释、行跨行 当存在 JSON 嵌套时，嵌套的值会被解析为一个文本对象（不会自动展开为多列）。 |
ORC / Parquet | 无需额外配置（自描述格式） |
链路 | 来源端字段映射 | 目标端字段映射 |
文件（解析） → 表 | 可设置（需手动添加字段） | 可设置 |
DESCRIBE 或简单查询观察实际写入字段。get_json_object / from_json 等函数后处理。<root><record>...</record></root> 中行标签应为 record。文档反馈