关于paox group的问题

[zhixinwen]

Hello,

问题基于微信开源PhxQueue：高可用、高可靠、高性能的分布式队列

1. 物理文件存储颗粒度是paxos group，而一个paxos group有多个Queue。这是不是意味着一个文件里有多个Queue的信息？Consumer在读取单个Queue时，是否需要读取Queue所在的paxos group的其他Queue的Message再做filtering还是你们采取了特殊的文件格式（不仅仅是append write）？
2. 文中提到多DC部署下，单个paxos group的TPS理论最高250。这是不是意味着在多DC部署下，单个Queue的TPS理论最高为250？PhxQueue应该是只能保证单个Queue里Message的顺序，对于一些逻辑250的TPS是不是不够用？

谢谢！

[unixliang]

感谢关注，我回答一下哈。

物理文件存储颗粒度是paxos group，而一个paxos group有多个Queue。这是不是意味着一个文件里有多个Queue的信息？

是的，这里有两点考虑：

1. paxos group（文件数）决定写并发，我们希望 queue 的变化（业务变化）不会影响写并发；
2. queue 到 paxos group 是多对一的关系，做 group commit 时聚合效果更好。

Consumer在读取单个Queue时，是否需要读取Queue所在的paxos group的其他Queue的Message再做filtering还是你们采取了特殊的文件格式（不仅仅是append write）？

对一个 paxos group 来说，写入是 append 的。

读取逻辑如下：

1. 状态机层在内存中保存了单个 queue 中所有未读数据的 instance id；
2. paxos 层在 LevelDB 中保存了 instance id 到数据所在文件位置的映射。

通过这两层索引，可以直接拉取到目标queue的数据。
这里的确可能会同时拉到其它 queue 的数据，需要再进一步做filter。原因是写入时 group commit 可能把不同 queue 的数据写到一起了。
不过瓶颈不在读带宽，可以接受。

文中提到多DC部署下，单个paxos group的TPS理论最高250。这是不是意味着在多DC部署下，单个Queue的TPS理论最高为250？PhxQueue应该是只能保证单个Queue里Message的顺序，对于一些逻辑250的TPS是不是不够用？

单个 paxos group 的理论最高 TPS 并不等价于单个 queue 的理论最高 TPS，因为有做 group commit，所以一个 queue 相近时间内的多个写入可以合并起来。假设平均能合并100个，那 TPS 就是2.5w了。

[zhixinwen]

Thx!

…

________________________________ From: unixliang <notifications@github.com> Sent: Wednesday, September 13, 2017 8:32:08 PM To: Tencent/phxqueue Cc: Zhixin Wen; Author Subject: Re: [Tencent/phxqueue] 关于paox group的问题 (#5) 感谢关注，我回答一下哈。 物理文件存储颗粒度是paxos group，而一个paxos group有多个Queue。这是不是意味着一个文件里有多个Queue的信息？ 是的，这里有两点考虑： 1. paxos group（文件数）决定写并发，我们希望 queue 的变化（业务变化）不会影响写并发； 2. queue 到 paxos group 是多对一的关系，做 group commit 时聚合效果更好。 Consumer在读取单个Queue时，是否需要读取Queue所在的paxos group的其他Queue的Message再做filtering还是你们采取了特殊的文件格式（不仅仅是append write）？ 对一个 paxos group 来说，写入是 append 的。 读取逻辑如下： 1. 状态机层在内存中保存了单个 queue 中所有未读数据的 instance id； 2. paxos 层在 LevelDB 中保存了 instance id 到数据所在文件位置的映射。 通过这两层索引，可以直接拉取到目标queue的数据。 这里的确可能会同时拉到其它 queue 的数据，需要再进一步做filter。原因是写入时 group commit 可能把不同 queue 的数据写到一起了。 不过瓶颈不在读带宽，可以接受。 文中提到多DC部署下，单个paxos group的TPS理论最高250。这是不是意味着在多DC部署下，单个Queue的TPS理论最高为250？PhxQueue应该是只能保证单个Queue里Message的顺序，对于一些逻辑250的TPS是不是不够用？ 单个 paxos group 的理论最高 TPS 并不等价于单个 queue 的理论最高 TPS，因为有做 group commit，所以一个 queue 相近时间内的多个写入可以合并起来。假设平均能合并100个，那 TPS 就是2.5w了。 ― You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub<#5 (comment)>, or mute the thread<https://github.com/notifications/unsubscribe-auth/AJukqQxHyPtQB5UYwEbTh_blo2rjC0Jaks5siJ44gaJpZM4PWh7N>.