fix(markdown): identify CJK correctly (#5402)

prettier · Nov 9, 2018 · 4e7fca5 · 4e7fca5
1 parent 1bce579
commit 4e7fca5
Show file tree

Hide file tree

Showing 3 changed files with 23 additions and 2 deletions.
diff --git a/src/language-markdown/constants.evaluate.js b/src/language-markdown/constants.evaluate.js
@@ -4,8 +4,23 @@ const cjkRegex = require("cjk-regex");
 const regexpUtil = require("regexp-util");
 const unicodeRegex = require("unicode-regex");
 
-const cjkPattern = cjkRegex().toString();
-const kPattern = unicodeRegex({ Script: ["Hangul"] }).toString();
+const cjkPattern = cjkRegex()
+  .union(
+    unicodeRegex({
+      Script_Extensions: ["Han", "Katakana", "Hiragana", "Hangul", "Bopomofo"],
+      General_Category: [
+        "Other_Letter",
+        "Letter_Number",
+        "Other_Symbol",
+        "Modifier_Letter"
+      ]
+    })
+  )
+  .toString();
+
+const kPattern = unicodeRegex({ Script: ["Hangul"] })
+  .union(unicodeRegex({ Script_Extensions: ["Hangul"] }))
+  .toString();
 
 // http://spec.commonmark.org/0.25/#ascii-punctuation-character
 const asciiPunctuationCharset = /* prettier-ignore */ regexpUtil.charset(

diff --git a/tests/markdown_splitCjkText/__snapshots__/jsfmt.spec.js.snap b/tests/markdown_splitCjkText/__snapshots__/jsfmt.spec.js.snap
@@ -6,6 +6,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = `
 全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白
 
 空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白
+
+何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 這是一段很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長
 很長的段落
@@ -16,6 +18,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = `
 空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白
 全形空白　空白全形空白全形空白全形空白
 
+何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
+
 `;
 
 exports[`korean.md - markdown-verify 1`] = `

diff --git a/tests/markdown_splitCjkText/chinese-japanese.md b/tests/markdown_splitCjkText/chinese-japanese.md
@@ -3,3 +3,5 @@
 全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白全　　形　空白
 
 空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白　空白全形空白全形空白全形空白
+
+何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。