请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

用户数据真实数据缺失,生产同步脚本不起作用

8-9节中res表中数据有嘛,提供的真实用户数据有嘛,老师。提供的日志文件都是无序用户数据
【如何把生产数据同步到ch】
图片描述
生产环境 flume 导数据到 Kafka会报错
图片描述
无论执行哪个脚本都报一样的错

【执行成功之后】
图片描述
脚本执行成功也无法将数据导入kafka并同步到ch,而且现有的日志文件数据都是乱序不具有参考性。
图片描述
事件类型也全是click。

正在回答 回答被采纳积分+3

4回答

小简同学 2023-12-13 11:27:15

同学你好,项目一直在不断优化,可能有些地方衔接不上,非常感谢你指出不足,还有指出的是,项目的行为数据都是尽量模拟用户行为生成的,以及模拟风险行为,虽然会有点生硬,课程的主要目的就是使用Flink过滤出其中的风险行为,仅此而以,因为没有涉及Ai算法,无需使用真实的用户行为,课程的核心应该在Flink的运用。

0 回复 有任何疑惑可以回复我~
  • 提问者 小龙人123 #1
    好的,感谢
    回复 有任何疑惑可以回复我~ 2023-12-13 14:07:53
  • 现在还是无法正常生成生产数据,请问老师什么时候能更新呢
    回复 有任何疑惑可以回复我~ 2024-05-05 14:21:34
  • 是 Kafka 无法同步到 clichouse 吗?
    回复 有任何疑惑可以回复我~ 2024-05-05 15:05:21
小简同学 2023-12-13 11:11:14

同学你好,kafka 同步数据到 ch 亲测是没有问题的,同学可以再尝试一下,有问题可以再次提出

https://img1.sycdn.imooc.com/szimg/657920cb09d5919911340885.jpg

0 回复 有任何疑惑可以回复我~
小简同学 2023-12-13 10:55:18

同学你好,你的第2个问题,日志数据是乱序的。

日志数据不是乱序的,首先时间上不是乱序,其次,用户的行为都是有逻辑性的,例如,付款的行为不会放到买东西之前,虽然数据是生成的,都会尽量模仿用户的行为逻辑,用户行为名称的字段是 "event_name" ,不是 "event_behavior_name", 可能名称上造成误解,  后面会优化的,将不必要的字段删除, 

https://img1.sycdn.imooc.com/szimg/65791d0e0931346918510714.jpg

0 回复 有任何疑惑可以回复我~
小简同学 2023-12-13 10:43:07

同学你好,针对你第一个报错的信息

https://img1.sycdn.imooc.com/szimg/65787cf709ac7fd706680038.jpg

执行脚本,报 source 命令找不到, 是因为你的 shell 不是 bash,

解决如下:


* 确定Linux使用的 shell 是 bash

`(特别是ubuntu,默认shell是dash)`

**`非常非常非常重要`**

```

//查看正在使用的shell

ls -l /bin/sh


//这里以ubuntu为例, 将shell更改为 bash

sudo dpkg-reconfigure dash

//在弹出的对话框选择 NO


//再次查看shell, 确认shell是bash

ls -l /bin/sh


```


0 回复 有任何疑惑可以回复我~
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信