关于 ClickHouse 验证副本同步

Question

本地环境：

linux120 :) select * from system.clusters where cluster='mycluster';

SELECT *
FROM system.clusters
WHERE cluster = 'mycluster'

Query id: 5a59047b-5013-4fbf-803f-b54d8fe35300

┌─cluster───┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ mycluster │         1 │            1 │           1 │ linux120  │ 192.168.0.120 │ 9003 │        1 │ default │                  │            0 │               0 │                       0 │
│ mycluster │         1 │            1 │           2 │ linux121  │ 192.168.0.121 │ 9003 │        0 │ default │                  │            0 │               0 │                       0 │
│ mycluster │         2 │            1 │           1 │ linux122  │ 192.168.0.122 │ 9003 │        0 │ default │                  │            0 │               0 │                       0 │
└───────────┴───────────┴──────────────┴─────────────┴───────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘

3 rows in set. Elapsed: 0.001 sec.

我在 linux120 下插入数据，linux121 可以同步到，但是在 linux121 上插入数据 linux120 无法同步，查看日志发现如下信息：

2022.10.26 16:08:31.940160 [ 113696 ] {} <Error> default.tb_local2 (dee7f3dc-f240-4502-a023-18b47b0c225d): auto DB::StorageReplicatedMergeTree::processQueueEntry(ReplicatedMergeTreeQueue::SelectedEntryPtr)::(anonymous class)::operator()(DB::StorageReplicatedMergeTree::LogEntryPtr &) const: std::exception. Code: 1001, type: std::__1::__fs::filesystem::filesystem_error, e.what() = filesystem error: in weakly_canonical: Permission denied ["store/dee/dee7f3dc-f240-4502-a023-18b47b0c225d/tmp-fetch_aaf93cc08163cf52b36a2581ff5221e0_0_0_0/checksums.txt"], Stack trace (when copying this message, always include the lines below):
0. std::__1::system_error::system_error(std::__1::error_code, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&) @ 0x186b7a4d in ?
4. std::__1::__fs::filesystem::__weakly_canonical(std::__1::__fs::filesystem::path const&, std::__1::error_code*) @ 0x1866398e in /usr/bin/clickhouse

对应目录权限都是clickhouse:clickhouse
查看目录发现，checksums.txt 并不存在，请问老师如何解决？
相关 issue：https://github.com/ClickHouse/ClickHouse/issues/39309
已尝试但无效的操作：

• 删除表重新创建
• 创建新表
• 修改权限为 755 和 777
• 删除 tmp-fetch 目录
• 重启 linux120 的 ClickHouse

Answer 1

xiaochen 2022-10-26 22:11:28

看issule上有一个描述：In some cases clickhouse-server might left garbage subdirectories in store/ (for example, on unsuccessful table creation) and those dirs were never been removed.。

如果是新安装环境，卸载ch，把/var/lib/clickhouse/store删除，然后重新安装，看下是否能正常？

• 提问者 零晨夜 #1

  重新安装+更改目录成/var/lib/clickhouse-server还是有这个问题

• xiaochen #2

  在/etc/hosts文件配置有所有主机名和ip地址的解析没有？

• 提问者 零晨夜 回复 xiaochen #3

  配置都是按课程来的，这个问题不解决有什么影响么？就是不能验证高可用之类的内容了对吧？

点开查看后面1条评论