UnicodeEncodeError：'ascii'编解码器不能在位置0编码字符u'\ xef'：序号不在范围内（128）
我想parsing我的XML文档。 所以我已经存储了我的XML文档如下
class XMLdocs(db.Expando): id = db.IntegerProperty() name=db.StringProperty() content=db.BlobProperty() 现在我的下面是我的代码
parser = make_parser() curHandler = BasketBallHandler() parser.setContentHandler(curHandler) for q in XMLdocs.all(): parser.parse(StringIO.StringIO(q.content))
我得到以下错误
'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128) Traceback (most recent call last): File "/base/python_runtime/python_lib/versions/1/google/appengine/ext/webapp/__init__.py", line 517, in __call__ handler.post(*groups) File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/base_handler.py", line 59, in post self.handle() File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 168, in handle scan_aborted = not self.process_entity(entity, ctx) File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 233, in process_entity handler(entity) File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 71, in process parser.parse(StringIO.StringIO(q.content)) File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 107, in parse xmlreader.IncrementalParser.parse(self, source) File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/xmlreader.py", line 123, in parse self.feed(buffer) File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 207, in feed self._parser.Parse(data, isFinal) File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 136, in characters print ch UnicodeEncodeError: 'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128)
看来你正在击中一个UTF-8字节顺序标记（BOM）。 尝试使用这个带有BOM的Unicodestring：
import codecs content = unicode(q.content.strip(codecs.BOM_UTF8), 'utf-8') parser.parse(StringIO.StringIO(content))
我使用strip而不是lstrip因为在你的情况下，你有多个BOM的出现，可能是由于连接的文件内容。
这个问题的实际最佳答案取决于你的环境，特别是你的terminal所期望的编码。
最快的单线解决scheme是将您打印的所有内容编码为ASCII码，而terminal几乎可以接受，而丢弃不能打印的字符：
print ch #fails print ch.encode('ascii', 'ignore')
更好的解决方法是将terminal的编码更改为utf-8，并在打印前将所有内容编码为utf-8。 每当你打印或读取一个string时，你应该养成考虑你的unicode编码的习惯。
只要在对象末尾放置.encode('utf-8')就可以完成最近版本的Python的工作。
这对我工作：
from django.utils.encoding import smart_str content = smart_str(content)
跟踪回溯的问题是parseXML.py第136行的print语句。 不幸的是，你没有看到适合发布你的代码的一部分，但我会猜测它只是在那里进行debugging。 如果您将其更改为：
print repr(ch)
那么你至less应该看看你想要打印什么。
问题是你正试图打印一个unicode字符到一个可能的非unicodeterminal。 您需要在打印之前使用'replace选项进行编码，例如， print ch.encode(sys.stdout.encoding, 'replace') 。
克服这个问题的一个简单的解决scheme是将你的默认编码设置为utf8。 跟随就是一个例子
import sys reload(sys) sys.setdefaultencoding('utf8')
