diff --git a/src/language-markdown/constants.evaluate.js b/src/language-markdown/constants.evaluate.js index b341820aa61b..946a4d16e039 100644 --- a/src/language-markdown/constants.evaluate.js +++ b/src/language-markdown/constants.evaluate.js @@ -4,8 +4,23 @@ const cjkRegex = require("cjk-regex"); const regexpUtil = require("regexp-util"); const unicodeRegex = require("unicode-regex"); -const cjkPattern = cjkRegex().toString(); -const kPattern = unicodeRegex({ Script: ["Hangul"] }).toString(); +const cjkPattern = cjkRegex() + .union( + unicodeRegex({ + Script_Extensions: ["Han", "Katakana", "Hiragana", "Hangul", "Bopomofo"], + General_Category: [ + "Other_Letter", + "Letter_Number", + "Other_Symbol", + "Modifier_Letter" + ] + }) + ) + .toString(); + +const kPattern = unicodeRegex({ Script: ["Hangul"] }) + .union(unicodeRegex({ Script_Extensions: ["Hangul"] })) + .toString(); // http://spec.commonmark.org/0.25/#ascii-punctuation-character const asciiPunctuationCharset = /* prettier-ignore */ regexpUtil.charset( diff --git a/tests/markdown_splitCjkText/__snapshots__/jsfmt.spec.js.snap b/tests/markdown_splitCjkText/__snapshots__/jsfmt.spec.js.snap index 73f580378df0..dcd91714daf2 100644 --- a/tests/markdown_splitCjkText/__snapshots__/jsfmt.spec.js.snap +++ b/tests/markdown_splitCjkText/__snapshots__/jsfmt.spec.js.snap @@ -6,6 +6,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = ` 全  形 空白全  形 空白全  形 空白全  形 空白全  形 空白全  形 空白全  形 空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 + +何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 這是一段很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長 很長的段落 @@ -16,6 +18,8 @@ exports[`chinese-japanese.md - markdown-verify 1`] = ` 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白 全形空白 空白全形空白全形空白全形空白 +何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。 + `; exports[`korean.md - markdown-verify 1`] = ` diff --git a/tests/markdown_splitCjkText/chinese-japanese.md b/tests/markdown_splitCjkText/chinese-japanese.md index 1183fe9e52ff..a88925416ff4 100644 --- a/tests/markdown_splitCjkText/chinese-japanese.md +++ b/tests/markdown_splitCjkText/chinese-japanese.md @@ -3,3 +3,5 @@ 全  形 空白全  形 空白全  形 空白全  形 空白全  形 空白全  形 空白全  形 空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 空白全形空白全形空白全形空白 + +何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。