Unicode Regex; 无效的XML字符

有效的XML字符列表是众所周知的,按照规范定义:

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF] 

我的问题是,如果不使用Unicode常规类别实际编码代码点,是否有可能为此(或其反转)生成PCRE正则expression式。 除了不正确地覆盖了换行符和制表符以及其他一些无效字符之外,倒数可能是类似[\ p {Cc} \ p {Cs} \ p {Cn}]的东西。

4 Solutions collect form web for “Unicode Regex; 无效的XML字符”

我知道这不完全是你的问题的答案,但这是有帮助的:

正则expression式匹配有效的 XML字符:

 [\u0009\u000a\u000d\u0020-\uD7FF\uE000-\uFFFD] 

所以要从XML中删除无效的字符,你会做类似的事情

 // filters control characters but allows only properly-formed surrogate sequences private static Regex _invalidXMLChars = new Regex( @"(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]|[\uD800-\uDBFF](?![\uDC00-\uDFFF])|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F\uFEFF\uFFFE\uFFFF]", RegexOptions.Compiled); /// <summary> /// removes any unusual unicode characters that can't be encoded into XML /// </summary> public static string RemoveInvalidXMLChars(string text) { if (string.IsNullOrEmpty(text)) return ""; return _invalidXMLChars.Replace(text, ""); } 

我有我们的常驻正则expression式/ XML天才, 他的4,400 + upvotedpost ,检查这一点,他签了字。

对于以UTF-16内部存储代码点的系统,通常使用代理对(xD800-xDFFF)作为0xFFFF以上的代码点,在这些系统中,您必须validation您是否真的可以使用例如\ u12345,或者必须指定为代理对。 (我刚刚发现在C#中可以使用\ u1234(16位)和\ U0​​0001234(32位) )

根据微软的说法,W3C的build议不允许在元素或属性名称中使用代理字符。 在searchW3s网站时,我发现C079和C078可能是有趣的。

我在java中试过这个工作:

 private String filterContent(String content) { return content.replaceAll("[^\\u0009\\u000a\\u000d\\u0020-\\uD7FF\\uE000-\\uFFFD]", ""); } 

谢谢杰夫。

如果hex代码存在于xml中,上述解决scheme对我不起作用。 例如

<element>&#x8;</element>

下面的代码会中断:

 string xmlFormat = "<element>{0}</element>"; string invalid = " &#x8;"; string xml = string.Format(xmlFormat, invalid); xml = Regex.Replace(xml, @"[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]", ""); XDocument.Parse(xml); 

它返回:

XmlException :“',hex值0x08,是一个无效的字符。 1号线,位置14。

以下是改进的正则expression式并解决了上面提到的问题:

&#×([0-8BCEFbcef] | 1 [0-9A-发F]); | [\ x01- \ X08 \ X0B \ X0C \ x0E \ X0F \ u0000- \ u0008 \ u000B \ u000C \ u000E- \ u001F]

以下是对前300个Unicode字符的unit testing ,并validation只删除无效字符:

 [Fact] public void validate_that_RemoveInvalidData_only_remove_all_invalid_data() { string xmlFormat = "<element>{0}</element>"; string[] allAscii = (Enumerable.Range('\x1', 300).Select(x => ((char)x).ToString()).ToArray()); string[] allAsciiInHexCode = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("X") + ";").ToArray()); string[] allAsciiInHexCodeLoweCase = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("x") + ";").ToArray()); bool hasParserError = false; IXmlSanitizer sanitizer = new XmlSanitizer(); foreach (var test in allAscii.Concat(allAsciiInHexCode).Concat(allAsciiInHexCodeLoweCase)) { bool shouldBeRemoved = false; string xml = string.Format(xmlFormat, test); try { XDocument.Parse(xml); shouldBeRemoved = false; } catch (Exception e) { if (test != "<" && test != "&") //these char are taken care of automatically by my convertor so don't need to test. You might need to add these. { shouldBeRemoved = true; } } int xmlCurrentLength = xml.Length; int xmlLengthAfterSanitize = Regex.Replace(xml, @"&#x([0-8BCEF]|1[0-9A-F]);|[\u0000-\u0008\u000B\u000C\u000E-\u001F]", "").Length; if ((shouldBeRemoved && xmlCurrentLength == xmlLengthAfterSanitize) //it wasn't properly Removed ||(!shouldBeRemoved && xmlCurrentLength != xmlLengthAfterSanitize)) //it was removed but shouldn't have been { hasParserError = true; Console.WriteLine(test + xml); } } Assert.Equal(false, hasParserError); } 
  • 如何从我的XML文件中删除BOM字符
  • UTF-8和Unicode,0xC0和0x80是什么?
  • 在HTML中显示unicode符号
  • 为什么表情符号像👩👩👧👦在Swift中被如此奇怪地对待?
  • Python 2.6中对csv文件的一般Unicode / UTF-8支持
  • 如何正确地修剪Java中的string的空格?
  • 在Delphi 2009中将TMemoryStream转换为“String”
  • 将Unicode字符打印到PowerShell提示符
  • 没有BOM的UTF-8和UTF-8有什么区别?
  • 如何将wstring转换为string?
  • UTF8到/从STL宽字符转换