Tag: 分布式

从多个服务器聚合多个日志文件的最佳方式

我需要一种简单的方法来监视分布在许多HP-UX服务器上的多个文本日志文件。 它们是来自多个分布式遗留系统的文本和XML日志文件的混合体。 目前我们只是ssh到服务器,并使用tail -f和grep ,但是当你有很多日志需要跟踪的时候,这并不会扩展。 由于日志格式不同,只是文件夹中的文件(达到一定大小时会自动旋转),因此我需要远程收集这些日志,并对每个日志文件进行不同的parsing。 我最初的想法是做一个简单的守护进程,我可以在每台服务器上运行一个自定义的文件读取器来parsing每种文件types,将其parsing为可以通过套接字在networking上导出的通用格式。 另一个在本地运行的查看器程序将连接到这些套接字,并在一些简单的选项卡式GUI中显示parsing的日志或聚合到控制台。 如果我要这样实现,应该尝试使用哪种日志格式? 有其他更简单的方法吗? 我是否应该尝试将日志文件转换为log4j格式以与Chainsaw一起使用,还是有更好的可以连接到远程套接字的日志查看器? 我可以按照另一个日志问题中的build议使用BareTail吗? 这不是一个大规模的分布式系统,并且改变所有应用程序的当前日志logging实现以使用UDP广播或将消息放在JMS队列上不是一个选项。

传播与MPI vs zeromq?

在像TCP这样的可靠性的UDP广播的答案之一中,用户提到了Spread消息传递API。 我也跑了一个叫做ØMQ 。 我也对MPI有一些了解。 所以,我的主要问题是:为什么我会select一个呢? 更具体地说,为什么当MPI有成熟的实现时,我会select使用Spread或ØMQ?

替代memcached,可以坚持到磁盘

我目前正在使用我的Java应用程序的memcached,总体来说它工作得很好。 memcached对我来说最重要的function是: 它的速度很快,因为读取和写入都在内存中,不会触及磁盘 这只是一个关键/价值商店(因为这是我所有的应用程序的需求) 它是分布式的 它通过使每个对象正好位于一台服务器上而高效地使用内存 它不假定对象来自数据库(因为我的对象不是数据库对象) 然而,memcached做不到的事情是我想要做的。 我想定期(也许每天一次)将caching内容保存到磁盘。 我希望能够从保存的磁盘映像中恢复caching。 磁盘保存不需要非常复杂。 如果在保存时添加新的键/值,我不在乎它是否包含在保存中。 如果在保存过程中现有的键/值被修改,保存的值应该是旧值或新值,但我不在乎哪一个。 任何人都可以推荐另一个caching解决scheme(无论是自由还是商业),具有所有(或相当大比例)的memcachedfunction,对我来说很重要,也允许从磁盘保存和恢复整个caching?

分布式程序员缺乏什么工具?

我有一个梦想,改善分布式编程的世界:) 特别是,我感觉缺乏必要的工具来debugging,监视,理解和可视化分布式系统的行为(我必须编写自己的logging器和可视化器来满足我的需求),而且我正在编写一对这些工具在我的空闲时间。 社区,你有什么工具缺乏这方面的? 请描述一个答案,粗略地说明这个工具应该做什么。 其他人可以指出这样的工具的存在,或者有人可能会得到启发和写作。

.net服务总线build议?

我们需要具有发布/订阅function的分布式架构消息传递系统/服务总线。 有没有人有任何build议,我们可以使用.net应用程序的框架?

动物园pipe理员的真实世界使用

最近我一直在看Zookeeper ,想知道现在是否有人使用它,以及他们是如何专门使用它来存储的。 最常见的用例是configuration信息,但是您要存储什么样的数据和多less数据?

如何将本地Git分支复制到远程回购

到目前为止,我已经采取了以下步骤: 克隆一个远程Git回购 主分支分支到实验 编辑/testing/提交代码在实验分支 现在,我还没有准备好将实验合并到master中。 不过我想把它推回到远程回购,因为这是我与几个同事分享的信息库。 我想让他们看看我在实验分支中做了什么。 我通常只是通过SSH访问远程回购。 如何在远程仓库上共享本地分支,而不影响远程仓库的主分支?

用于数据模拟的高效低资源语言

我们的任务是创建多实例模拟器来发送不断变化的数据结构。 模拟器应该有多达25.000个隔离的实例,所以所有需要额外内存和环境空间的语言(如Java)都不被考虑。 我们可以用不同于Docker和C / C ++的方式来做到这一点吗?