Tag: amazon s3

Node.js&Amazon S3:如何迭代桶中的所有文件?

是否有任何Node.js的Amazon S3客户端库允许列出S3存储桶中的所有文件? 最知名的aws2js和knox似乎没有这个function。

Cloudfront服务于自己的SSL证书

有没有人知道是否有可能通过您的自己的证书使用自己的CNAME与https的Cloudfront服务? 我什至不能find一种方法来设置我自己的SSL证书通过S3 …所以我不知道这是甚至可能的。 更新:如果有人对这个问题的更新感兴趣 – maxcdn.com提供您的域名托pipe您的SSL证书每月只需59美元的固定费用。 它不是亚马逊,但它甚至支持从您的服务器和永久托pipe,或者如果您发送一个caching控制标头,无论何时指定,直到它再次获取原始url。 整个报价是相当整洁。 :d

是否有可能执行批量上传到亚马逊S3?

亚马逊S3支持批量上传吗? 我有一份工作,需要上传每个晚上~100K的文件,可以达到1G,但强烈倾向于小文件(90%小于100字节,99%小于1000字节长)。 s3 API是否支持在单个HTTP调用中上传多个对象? 所有对象必须在S3中作为单独的对象可用。 我不能在任何其他地方(FTP等)或其他格式(数据库,EC2本地驱动器等)托pipe他们。 这是我无法改变的外部要求。

S3:使公用文件夹再次私密?

您如何使AWS S3公用文件夹再次变为私有? 我正在testing一些临时数据,所以我把整个文件夹公开在一个桶中。 我想再次限制其访问权限。 那么如何让文件夹再次保密呢?

如何通过aws Java SDK公开S3对象?

如何通过AWS Java SDK公开S3对象? 具体而言,通过Java AWS SDK可以使用哪些API方法在上载对象时公开对象?

从技术上说,s3n,s3a和s3有什么区别?

我知道https://wiki.apache.org/hadoop/AmazonS3的存在和下面的字眼: S3本地文件系统(URI scheme:s3n)在S3上读取和写入常规文件的本机文件系统。 这个文件系统的优点是你可以访问S3上用其他工具编写的文件。 相反,其他工具可以访问使用Hadoop编写的文件。 缺点是由S3强加的5GB文件大小限制。 S3A(URIscheme:s3a)S3 Native,s3n fs的后继者,S3a:系统使用Amazon的库与S3进行交互。 这允许S3a支持更大的文件(不超过5GB的限制),更高的性能操作等等。 这个文件系统的目的是成为S3 Native的替代品/inheritance者:从s3n:// URL访问的所有对象也应该可以通过简单地replaceURL模式从s3a访问。 S3块文件系统(URI scheme:s3)S3支持的基于块的文件系统。 文件存储为块,就像它们在HDFS中一样。 这允许有效实现重命名。 这个文件系统要求您为文件系统专用一个存储桶 – 不应该使用包含文件的现有存储桶,或者将其他文件写入同一个存储桶。 这个文件系统存储的文件可能大于5GB,但是不能与其他S3工具交互操作。 为什么URI上的一个字母改变会使这样的区别? 例如 val data = sc.textFile("s3n://bucket-name/key") 至 val data = sc.textFile("s3a://bucket-name/key") 这种变化背后的技术差异是什么? 有什么好的文章可以阅读吗?

通过Node.js将base64编码的图像上传到Amazon S3

昨天,我做了一个深夜编码会议,并创build了一个小node.js / JS(实际上是CoffeeScript,但CoffeeScript只是JavaScript,所以可以说JS)的应用程序。 目标是什么: 客户端发送一个canvas数据(PNG)到服务器(通过socket.io) 服务器上传图像到亚马逊S3 步骤1完成。 服务器现在有一个string拉 data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAMgAAADICAYAAACt… 我的问题是: 我的下一步将数据“stream”上传到Amazon S3并在那里创build实际的映像? knox https://github.com/LearnBoost/knox看起来像一个很好的库,把一些东西给S3, 但我缺less的是base64编码图像string和实际上传行为之间的粘合 ? 任何想法,指针和反馈的欢迎。 很多,franz

Amazon S3对象redirect

是否有可能把redirect头在s3对象上? 像301redirect一样。 例如: mybucket.amazon-aws.com/myobject –> example.com/test 优选地,通过在对象上设置像这样的头部: HTTP/1.1 301 Moved Permanently Location: http://example.com/test Content-Type: text/html Content-Length: 0

适用于Amazon S3静态网站的HTTPS

我想使用Amazon S3和CloudFront托pipe仅HTTPS的静态网站。 以下是我迄今为止所做的: 为静态网站托pipe设置一个S3存储桶,并将我的网站文件放入其中 创build了CloudFront分配并将其指向S3存储桶 在指向CloudFront存储桶的www子域名的域名服务器中添加了CNAMElogging。 到目前为止,这么好 – 我可以使用www.example.com地址访问我的网站。 但是,我希望网站只能通过HTTPS访问,为此我从GoDaddy购买了SSL证书。 现在的问题是: 有没有办法在S3托pipe的网站上安装这个第三方SSL证书? 有没有办法有一个自动http httpsredirect与此设置?

是否有可能将所有文件从一个S3存储桶复制到另一个s3cmd?

我对s3cmd非常满意,但有一个问题:如何将所有文件从一个S3存储桶复制到另一个存储区? 这甚至有可能吗? 编辑:我已经find一种方法来使用Python与boto之间的桶之间复制文件: from boto.s3.connection import S3Connection def copyBucket(srcBucketName, dstBucketName, maxKeys = 100): conn = S3Connection(awsAccessKey, awsSecretKey) srcBucket = conn.get_bucket(srcBucketName); dstBucket = conn.get_bucket(dstBucketName); resultMarker = '' while True: keys = srcBucket.get_all_keys(max_keys = maxKeys, marker = resultMarker) for k in keys: print 'Copying ' + k.key + ' from ' + srcBucketName + ' to ' […]