Tag: 大文件

Git与大文件

情况 我有两个服务器,生产和发展。 在生产服务器上,有两个应用程序和多个(6)数据库(MySQL),我需要分发给开发人员进行testing。 所有源代码都存储在开发服务器的GitLab中 ,开发人员只能使用此服务器,并且无法访问生产服务器。 当我们发布一个应用程序,主要login到生产,并从Git拉新版本。 数据库很大(每个数据超过500M),我需要尽可能地将它们分发给开发人员进行testing。 可能的解决scheme 在将数据库转储到单个文件的备份脚本之后,执行一个将每个数据库推送到其自己的分支的脚本。 如果开发者想更新他的本地副本,开发人员就会select其中一个分支。 这一个被发现不工作。 生产服务器上的Cron每天保存二进制日志,并将它们推送到该数据库的分支中。 所以,在分支中,每天都会有文件被修改,开发者会拖拽他没有的文件。 当前的SQL转储将以另一种方式发送给开发人员。 当存储库的大小变得过大时,我们会将全部转储发送给开发人员,并清除存储库中的所有数据,并从头开始。 问题 解决scheme可能吗? 如果git是推送/从仓库中取出,是否上传/下载整个文件,或只是改变它们(即增加新的行或编辑当前的)? Git可以pipe理这么大的文件吗? 没有。 如何设置存储库中保存了多less个修订版本? 与新解决scheme无关。 有没有更好的解决scheme? 我不想强迫开发者通过FTP或类似的东西下载这样的大文件。

Bash – 如何find目录及其子目录中最大的文件?

我们刚刚开始一个UNIX类,正在学习各种Bash命令。 我们的任务涉及在一个目录下执行各种命令,这个目录下面还有许多文件夹。 我知道如何使用以下命令从根文件夹中列出和计算所有常规文件: find . -type l | wc -l 但我想知道从哪里去find整个目录中最大的文件。 我见过关于du命令的一些事情,但是我们还没有意识到,所以在我们学习的东西中我假设我们需要以某种方式将它连接到ls -t命令。 如果我的“行话”不正确,请原谅我,我还是习惯了!

如何阅读Windows上的大文本文件?

我有一个大的服务器日志文件(〜750 MB),我无法打开记事本或记事本++(他们都说这个文件太大)。 任何人都可以提出一个程序(对于Windows),只能将文件的一小部分一次读入内存? 或者我需要写我自己的应用程序来parsing这个文件?

最好的免费文本编辑器支持*超过* 4GB的文件?

我正在寻找一个文本编辑器,将能够加载一个4千兆字节的文件。 文本板不起作用。 我拥有它的一个副本,并已到其支持网站,它只是不这样做。 也许我需要新的硬件,但这是一个不同的问题。 编辑需要是免费的,如果花费我的话,不要超过30美元。 对于Windows。

在VIM中处理大量文件

我试图在VIM中打开一个巨大的(〜2GB)文件,但它窒息。 我实际上不需要编辑文件,只是有效地跳转。 我怎样才能在VIM中处理非常大的文件?

非常大的PHP上传

我想允许将非常大的file upload到我们的PHP应用程序(数百个megs – 8个演出)。 然而,这有几个问题。 浏览器: HTML上传有糟糕的反馈,我们需要轮询进展(这有点傻),或者根本没有反馈 Flash上​​传器在开始上传之前将整个文件放入内存中 服务器: PHP迫使我们设置post_max_size,这可能导致容易被攻击的DOS攻击。 我不想在全局设置这个设置。 服务器还需要一些其他variables在POSTvariables中,例如密钥。 我们希望能够立即拒绝请求,而不是在整个file upload之后。 要求: HTTP是必须的。 只要在浏览器中工作,我就可以灵活地使用客户端技术。 PHP不是必需的,如果有一些其他技术可以在Linux环境下正常工作,那非常酷。

HTML5 – 如何stream大型.mp4文件?

我试图设置一个非常基本的html5页面,加载一个20MB的.mp4video。 看起来,浏览器需要下载整个video,而不是只播放video的第一部分,其余部分则是stream媒体。 这篇文章是我search时发现的最接近的东西…我尝试了双手制动和数据围绕都没有出现有所作为: 任何想法如何做到这一点,如果有可能? 这是我正在使用的代码: <video controls="controls"> <source src="/video.mp4" type="video/mp4" /> Your browser does not support the video tag. </video>

在C#中为大文件创build校验和的最快方法是什么?

我必须在一些机器上同步大文件。 这些文件的大小可以达到6GB。 同步将每几周手动完成。 我不能考虑文件名,因为他们可以随时更改。 我的计划是在目标PC和源PC上创build校验和,然后将所有不在目标中的校验和的文件复制到目的地。 我的第一个尝试是这样的: using System.IO; using System.Security.Cryptography; private static string GetChecksum(string file) { using (FileStream stream = File.OpenRead(file)) { SHA256Managed sha = new SHA256Managed(); byte[] checksum = sha.ComputeHash(stream); return BitConverter.ToString(checksum).Replace("-", String.Empty); } } 问题在于运行时间: – SHA256与一个1,6 GB的文件 – > 20分钟 – 与MD5的1,6 GB的文件 – > 6.15分钟 有没有更好的方法来获得校验和(也许有更好的散列函数)?

使用在PHP中分块上传1GB文件

我有一个Web应用程序,接受高达4 MB的file upload。 服务器端脚本是PHP,Web服务器是NGINX。 许多用户已经要求大幅增加这个限制,以允许上传video等。 但是,PHP似乎没有这个问题的简单解决scheme。 首先,在客户端,我正在寻找一些能够让我在传输过程中传输文件的东西。 SWFUpload似乎并没有这样做。 我想我可以使用Java FX上传stream( http://blogs.oracle.com/rakeshmenonp/entry/javafx_upload_file ),但我无法在PHP中find任何等效的request.getInputStream。 增加浏览器的client_post限制或php.ini上传或max_execution时间并不是一个真正的大文件(〜1GB)的解决scheme,因为浏览器可能会超时,并想到存储在内存中的所有blob。 有什么办法解决这个问题在服务器端使用PHP? 我将不胜感激您的答复。

在PHP中处理大型XML的最佳方法

我必须parsingPHP中的大型XML文件,其中一个是6.5 MB,他们可能会更大。 我读过的SimpleXML扩展将整个文件加载到一个对象中,这可能不是很有效。 根据你的经验,最好的方法是什么?