前端网站推荐,成都商城网站制作,网站开发模版下载,网站开发需要什么语言博主历时三年精心创作的《大数据平台架构与原型实现#xff1a;数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行#xff0c;点击《重磅推荐#xff1a;建大数据平台太难了#xff01;给我发个工程原型吧#xff01;》了解图书详情#xff0c;…博主历时三年精心创作的《大数据平台架构与原型实现数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行点击《重磅推荐建大数据平台太难了给我发个工程原型吧》了解图书详情京东购书链接https://item.jd.com/12677623.html扫描左侧二维码进入京东手机购书页面。
DataGen 是开源 Flink 就内置的随机数据生成器DataGen 生成的数据仅支持随机和序列值两种且也并不是所有的数据类型都能支持随机或序列值例如最常见的一个需求针对时间类型就不能生成指定区间内的单调递增的数值相较而言Faker 的功能要明显强于 DataGen我们只需掌握 Faker 这一种数据生成器就足够了。
1. 安装 sudo -u flink wget https://github.com/knaufk/flink-faker/releases/download/v0.5.3/flink-faker-0.5.3.jar -P /usr/lib/flink/lib/2. 示例 -- example 1: currency_ratesdrop table if exists currency_rates;create table if not exists currency_rates (currency_code string,eur_rate decimal(6,4),rate_time timestamp(3)
)
with (connector faker,fields.currency_code.expression #{Currency.code},fields.eur_rate.expression #{Number.randomdouble 4,0,10},fields.rate_time.expression #{date.past 15,SECONDS},rows-per-second 100
);select * from currency_rates;-- example 2: transactionsdrop table if exists transactions;create table if not exists transactions (id string,currency_code string,total decimal(10,2),transaction_time timestamp(3),watermark for transaction_time as transaction_time - interval 30 second
) with (connector faker,fields.id.expression #{Internet.UUID},fields.currency_code.expression #{Currency.code},fields.total.expression #{Number.randomDouble 2,10,1000},fields.transaction_time.expression #{date.past 30,SECONDS},rows-per-second 100
);select * from transactions;3. 资源 Flink Faker 项目地址https://github.com/knaufk/flink-faker/?tabreadme-ov-file
表达式文档https://github.com/datafaker-net/datafaker
