Tag: apache zookeeper

是否有可能在进程中启动一个zookeeper服务器实例,比如unit testing?

调用org.apache.zookeeper.server.quorum.QuorumPeerMain.main()不起作用。

卡夫卡:动物园pipe理员是必须的吗?

在卡夫卡,我只想使用一个经纪人,一个主题和一个单一的分区有一个生产者和多个消费者(每个消费者从经纪人获得自己的数据副本)。 鉴于此,我不想使用Zookeeper的开销; 我能不能只使用经纪人? 为什么一个Zookeeper必须?

有没有办法在每次运行之前删除主题中的所有数据或删除主题?

有没有办法在每次运行之前删除主题中的所有数据或删除主题? 我可以修改KafkaConfig.scala文件来更改logRetentionHours属性吗? 消费者读取消息时消息是否被删除? 我正在使用生产者从某处获取数据并将数据发送到消费者使用的特定主题,我可以在每次运行时删除该主题的所有数据吗? 每次我只想要新的数据。 有没有办法重新初始化这个话题?

supervisord停止subprocess

其中一个问题就是,当我有一个命令转而产生另一个进程的时候,supervisord是无法杀死它的。 例如,我有一个java进程,当正常运行就像 $ zkServer.sh start-foreground $ ps -eaf | grep zk user 30404 28280 0 09:21 pts/2 00:00:00 bash zkServer.sh start-foreground user 30413 30404 76 09:21 pts/2 00:00:10 java -Dzookeeper.something..something supervisordconfiguration文件如下所示: [program:zookeeper] command=zkServer.sh start-foreground autorestart=true stopsignal=KILL 这种有多个孩子的过程在监督方面不能很好地处理。 所以,当我从supervisord运行这个,并试图从supervisorctl停止它,只有顶级进程被杀死,但不是实际的Java进程。

在Zookeeper 3.4.6中使用Kafka 0.8.1时运行到LeaderNotAvailableException

我按照他们的网站安装了稳定版本的kafka(0.8.1和2.9.2 Scala),并且正在运行一个3节点zookeeper合奏(3.4.6)。 我试图创build一个testing主题,但是看到没有领导者被分配到主题的分区: [kafka_2.9.2-0.8.1]$ ./bin/kafka-topics.sh –zookeeper <zookeeper_ensemble> –describe –topic test-1 Topic:test-1 PartitionCount:1 ReplicationFactor:3 Configs: Topic: test-1 Partition: 0 **Leader: none** Replicas: 0,1,2 **Isr:** 我尝试使用控制台生产者编写主题,但遇到了LeaderNotAvailableExceptionexception: [kafka_2.9.2-0.8.1]$ ./kafka-console-producer.sh –broker-list <broker_list> –topic test-1 hello world [2014-04-22 11:58:48,297] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic […]

ZooKeeper的替代品? (集群协调服务)

ZooKeeper是一个高度可用的数据中心协调服务。 它起源于Hadoop项目。 可以实现locking,故障切换,领导选举,团体成员等协调问题。 ZooKeeper有没有其他的select? (当然免费软件)

分布式序列号的生成?

我通常在过去使用数据库序列来实现序列号的生成 。 例如使用Postgres SERIALtypeshttp://www.neilconway.org/docs/sequences/ 我很好奇,但是如何为没有数据库的大型分布式系统生成序列号。 有没有人有任何经验或build议的最佳做法,以线程安全的方式为多个客户端实现序列号的生成?

动物园pipe理员的真实世界使用

最近我一直在看Zookeeper ,想知道现在是否有人使用它,以及他们是如何专门使用它来存储的。 最常见的用例是configuration信息,但是您要存储什么样的数据和多less数据?

解释Apache ZooKeeper

我正在尝试了解ZooKeeper,它是如何工作的以及它是如何工作的。 而我完全困惑。 有什么可以和ZooKeeper相媲美的应用吗? 如果你知道,那么你会如何描述ZooKeeper的外行? (考虑到我是一个) 我已经尝试过Apache维基,zookeeper sourceforge …但我仍然无法与之联系。 任何帮助,将不胜感激! 我只是阅读通过http://zookeeper.sourceforge.net/index.sf.shtml ,所以没有更多的这样的服务? 这只是简单的复制服务器服务?

Zookeeper(docker外)卡夫卡节点网络中断

随机的时候,我正在面对这个问题,当与kookeeper连接卡夫卡节点。 门户,工人和websockets在码头集装箱内,而kafka zookeeper在外面。 这是码头网络问题还是我错过了一些配置? events.js:182 throw er; // Unhandled 'error' event ^ Error at ConnectionManager.cleanupPendingQueue (/tmp/node_modules/node-zookeeper-client/lib/ConnectionManager.js:189:46) at ConnectionManager.onSocketClosed (/tmp/node_modules/node-zookeeper-client/lib/ConnectionManager.js:274:10) at emitOne (events.js:115:13) at Socket.emit (events.js:210:7) at TCP._handle.close [as _onclose] (net.js:548:12) Producer { Error at ConnectionManager.cleanupPendingQueue (/tmp/node_modules/node-zookeeper-client/lib/ConnectionManager.js:189:46) at ConnectionManager.onSocketClosed (/tmp/node_modules/node-zookeeper-client/lib/ConnectionManager.js:274:10) at emitOne (events.js:115:13) at Socket.emit (events.js:210:7) at TCP._handle.close [as _onclose] (net.js:548:12) code: -4, name: 'CONNECTION_LOSS', path: […]