kettle从入门到精通 第五十八课 ETL之kettle HTTP post使用教程

news/2024/9/29 21:27:40

1、今天群里有位朋友问我有没有关于调用http接口的kettle 示例,我下意识的去翻我的公众号推文,愣是没找到。果断开始撸。

 2、本次演示流程通过调用接口【网易云音乐随机歌曲】,然后解析返回的数据,接口信息如下图所示:

3、本次演示流程通过调用接口【网易云音乐随机歌曲】,然后解析返回的数据,流程设计信息如下图所示:

1)步骤【生产记录】驱动测试流程。

2)步骤【HTTP post】发起请求。

3)步骤【解析result】解析第一层json数据。

4)步骤【result日志】记录解析result字段信息,方便调试。

5)步骤【解析data】解析第二层json数据。

4)步骤【data日志】记录解析data字段信息,方便调试。

4、步骤【HTTP post】步骤配置-General,如下图所示:

1)URL:调用地址,可以直接写死或者通过变量获取。

2)Accept URL from field?:如果选中,则必须指定从哪个字段检索URL。

3) URL field name:如果前面的选项被选中,这里就是您指定URL字段的地方。

4)Encoding:文件访问的编码标准。

5)Request entity field:字段的名称将包含POST请求。启用时,“Post a file”选项将检索该字段中命名的文件,并将该文件的内容发布。

6)Post a file:如果在“请求实体字段”中定义了文件,则如果选中此选项,其内容将被发布。目前,“请求实体字段”必须填写才能使“发布文件”正常工作。选择“发布文件”并在“主体参数”下指定字段,但没有为“请求实体字段”(文件名的位置)选择值,将会静默失败。

7)Connection timeout:设置创建连接超时时间(默认为10000毫秒)。

8)Socket timeout:设置读取socket数据超时时间(默认为10000毫秒)。

9)Connection close wait time:定义连接关闭后的等待时间(单位为毫秒),默认值为-1,表示使用操作系统的默认等待时间(通常为2分钟)。

背景信息:每行打开一个连接,并将其保持在所谓的TIME-WAIT状态一段特定的时间。大量(可能是成千上万个)处于TIME-WAIT状态的连接会引入显着的内存开销。此选项可以通过减少关闭连接保持在TIME-WAIT状态的时间来减少这种内存开销。

10)Result field name:返回结果字段名称,可自定义,这里设置为result。

11)HTTP status code field name:响应http状态码字段名称,可自定义。

12)Response time (milliseconds) field name:响应时间字段名称,可自定义。

13)HTTP login:如果此表单需要身份验证,则此字段应包含用户名。

14)HTTP password:如果此表单需要身份验证,则此字段应包含与用户名对应的密码。

15)Proxy host:代理服务器的主机名或 IP 地址,如果你使用代理的话。

16)Proxy port:代理服务器的主机端口,如果你使用代理的话。

5、步骤【HTTP post】步骤配置-Fields,Fields 标签定义了 HTTP 请求头和请求体的参数,如下图所示:

 1)Body (Header) Parameters

如果你在“常规”标签中填写了 URL 和其他必要的细节,你可以使用“获取值”按钮来预填充这里的字段。请求体参数用于 POST 和 PUT 操作。

2)Query Parameters

如果你在“常规”标签中填写了 URL 和其他必要的细节,你可以使用“获取值”按钮来预填充这里的字段。查询参数在 URL 中指定,可以在任何 HTTP 方法中使用。

6、如下是使用JSON输入分别解析reult、data字段的主要配置,这里不做过多讲述,不熟悉JSON输入的可以查看之前的文章。

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/29972.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

通过Docker Compose部署GitLab和GitLab Runner(一)

GitLab 是一个用于版本控制、项目管理和持续集成的开源软件平台,它提供了一整套工具,能够帮助团队高效地协作开发。而 GitLab Runner 则是 GitLab CI/CD 的执行者,用于运行持续集成和持续交付任务。 在本文中,我们将使用 Docker Compose 来快速部署 GitLab 和 GitLab Runne…

d3d12龙书阅读----绘制几何体(下)

d3d12龙书阅读----绘制几何体(下) 本节在上一节的基础上,对整个绘制过程进行优化,将绘制单个几何体的内容拓展到了多个几何体,同时对根签名进行了进一步地探索。 帧资源 在之前绘制每帧的结尾,我们都要使用flushingcommandqueue方法,要一直等待gpu执行完所有命令,才会继…

如何使用postman测试带Token的登录以及其他的测试接口

参考文章:https://blog.csdn.net/xzytl60937234/article/details/845009371.Postman设置变量并访问 点击右上角眼睛,在Globals选项中,选择edit 然后add 在弹出的页面中:,填写token 填写成功之后,右下角,点击save 在登录接口中,Test 选项中加入以下代码 var data = JSO…

PTA-1002

原先主要错误: 没有考虑到有关0的相关情况观看的大佬代码整理思路无非就是在相同的指数的情况下,系数相加 因为最后是要从大到小输出来。注意要对最后的结果进行四舍五入; PTA的英语题对英语不好的我真心不友好。#include<map> #include<cmath> #include<iost…

【笔记】通过目标编码和分类损失的神经场分类器【ICLR2024】

这是一篇发表在 ICLR 2024 会议上的学术论文的阅读笔记,题为“通过目标编码和分类损失的神经场分类器”,作者来自北京交通大学和百度研究院。 为什么会找到这篇文章,因为文章的一个作者是HKUST一个基础实验室的,搞的是偏底层的算法理论,所以自然就顺下来了。但是看完之后发…

winform开发杂碎知识点

1、Form属性 起始位置:StartPosition 默认最大化:WindowState 最小尺寸:MinimumSize 是否父窗体:IsMdiContainer ImeMode 图标:icon2、Form事件3、Location 元素相对父控件或父元素的位置1 this.panelLogin.BackColor = System.Drawing.Color.White;2 this.p…

【软件构造课程相关】幻方及其构造(下)

前言 ​ 在上一篇博客(click here)中,我们完成了实验要求的部分,即实现奇数阶幻方的构造。接下来我们将要着手实现剩下的4M阶幻方和4M+2阶幻方的构造。 构造方法 4M阶幻方 ​ 4M阶幻方的构造方法较奇数阶幻方的构造更为复杂,在此我们采用对角线法,其策略如下:…

vision mamba的跑通(wsl2, 单卡)

动机 随着mamba模型的出现,出现了mamba模型可以超越transformer的风头,视觉领域采用了vision mamba encoder(虽然说是mamba encoder, 更像是用了mamba的思想做的一个双向ssm的特征提取器), 个人认为这种新的架构应该可以用在自己的任务上, 因此进行了代码跑通尝试。 本文阐…