Grammalecte  Hex Artifact Content

Artifact c796a47a037848ab90d040e34498a8701ce35e6124e9d5568eb52cffb48a7a48:


0000: 22 22 22 0a 47 72 61 6d 6d 61 6c 65 63 74 65 0a  """.Grammalecte.
0010: 47 72 61 6d 6d 61 72 20 63 68 65 63 6b 65 72 20  Grammar checker 
0020: 65 6e 67 69 6e 65 0a 22 22 22 0a 0a 69 6d 70 6f  engine."""..impo
0030: 72 74 20 72 65 0a 69 6d 70 6f 72 74 20 74 72 61  rt re.import tra
0040: 63 65 62 61 63 6b 0a 23 69 6d 70 6f 72 74 20 75  ceback.#import u
0050: 6e 69 63 6f 64 65 64 61 74 61 0a 66 72 6f 6d 20  nicodedata.from 
0060: 69 74 65 72 74 6f 6f 6c 73 20 69 6d 70 6f 72 74  itertools import
0070: 20 63 68 61 69 6e 0a 0a 66 72 6f 6d 20 2e 2e 67   chain..from ..g
0080: 72 61 70 68 73 70 65 6c 6c 2e 73 70 65 6c 6c 63  raphspell.spellc
0090: 68 65 63 6b 65 72 20 69 6d 70 6f 72 74 20 53 70  hecker import Sp
00a0: 65 6c 6c 43 68 65 63 6b 65 72 0a 66 72 6f 6d 20  ellChecker.from 
00b0: 2e 2e 67 72 61 70 68 73 70 65 6c 6c 2e 65 63 68  ..graphspell.ech
00c0: 6f 20 69 6d 70 6f 72 74 20 65 63 68 6f 0a 0a 66  o import echo..f
00d0: 72 6f 6d 20 2e 2e 20 69 6d 70 6f 72 74 20 74 65  rom .. import te
00e0: 78 74 0a 0a 66 72 6f 6d 20 2e 20 69 6d 70 6f 72  xt..from . impor
00f0: 74 20 67 63 5f 6f 70 74 69 6f 6e 73 0a 0a 74 72  t gc_options..tr
0100: 79 3a 0a 20 20 20 20 23 20 4c 69 62 72 65 4f 66  y:.    # LibreOf
0110: 66 69 63 65 20 2f 20 4f 70 65 6e 4f 66 66 69 63  fice / OpenOffic
0120: 65 0a 20 20 20 20 66 72 6f 6d 20 63 6f 6d 2e 73  e.    from com.s
0130: 75 6e 2e 73 74 61 72 2e 6c 69 6e 67 75 69 73 74  un.star.linguist
0140: 69 63 32 20 69 6d 70 6f 72 74 20 53 69 6e 67 6c  ic2 import Singl
0150: 65 50 72 6f 6f 66 72 65 61 64 69 6e 67 45 72 72  eProofreadingErr
0160: 6f 72 0a 20 20 20 20 66 72 6f 6d 20 63 6f 6d 2e  or.    from com.
0170: 73 75 6e 2e 73 74 61 72 2e 74 65 78 74 2e 54 65  sun.star.text.Te
0180: 78 74 4d 61 72 6b 75 70 54 79 70 65 20 69 6d 70  xtMarkupType imp
0190: 6f 72 74 20 50 52 4f 4f 46 52 45 41 44 49 4e 47  ort PROOFREADING
01a0: 0a 20 20 20 20 66 72 6f 6d 20 63 6f 6d 2e 73 75  .    from com.su
01b0: 6e 2e 73 74 61 72 2e 62 65 61 6e 73 20 69 6d 70  n.star.beans imp
01c0: 6f 72 74 20 50 72 6f 70 65 72 74 79 56 61 6c 75  ort PropertyValu
01d0: 65 0a 20 20 20 20 23 69 6d 70 6f 72 74 20 6c 69  e.    #import li
01e0: 67 68 74 70 72 6f 6f 66 5f 68 61 6e 64 6c 65 72  ghtproof_handler
01f0: 5f 24 7b 69 6d 70 6c 6e 61 6d 65 7d 20 61 73 20  _${implname} as 
0200: 6f 70 74 0a 20 20 20 20 5f 62 57 72 69 74 65 72  opt.    _bWriter
0210: 45 72 72 6f 72 20 3d 20 54 72 75 65 0a 65 78 63  Error = True.exc
0220: 65 70 74 20 49 6d 70 6f 72 74 45 72 72 6f 72 3a  ept ImportError:
0230: 0a 20 20 20 20 5f 62 57 72 69 74 65 72 45 72 72  .    _bWriterErr
0240: 6f 72 20 3d 20 46 61 6c 73 65 0a 0a 0a 5f 5f 61  or = False...__a
0250: 6c 6c 5f 5f 20 3d 20 5b 20 22 6c 61 6e 67 22 2c  ll__ = [ "lang",
0260: 20 22 6c 6f 63 61 6c 65 73 22 2c 20 22 70 6b 67   "locales", "pkg
0270: 22 2c 20 22 6e 61 6d 65 22 2c 20 22 76 65 72 73  ", "name", "vers
0280: 69 6f 6e 22 2c 20 22 61 75 74 68 6f 72 22 2c 20  ion", "author", 
0290: 5c 0a 20 20 20 20 20 20 20 20 20 20 20 20 22 6c  \.            "l
02a0: 6f 61 64 22 2c 20 22 70 61 72 73 65 22 2c 20 22  oad", "parse", "
02b0: 67 65 74 53 70 65 6c 6c 43 68 65 63 6b 65 72 22  getSpellChecker"
02c0: 2c 20 5c 0a 20 20 20 20 20 20 20 20 20 20 20 20  , \.            
02d0: 22 73 65 74 4f 70 74 69 6f 6e 22 2c 20 22 73 65  "setOption", "se
02e0: 74 4f 70 74 69 6f 6e 73 22 2c 20 22 67 65 74 4f  tOptions", "getO
02f0: 70 74 69 6f 6e 73 22 2c 20 22 67 65 74 44 65 66  ptions", "getDef
0300: 61 75 6c 74 4f 70 74 69 6f 6e 73 22 2c 20 22 67  aultOptions", "g
0310: 65 74 4f 70 74 69 6f 6e 73 4c 61 62 65 6c 73 22  etOptionsLabels"
0320: 2c 20 22 72 65 73 65 74 4f 70 74 69 6f 6e 73 22  , "resetOptions"
0330: 2c 20 22 64 69 73 70 6c 61 79 4f 70 74 69 6f 6e  , "displayOption
0340: 73 22 2c 20 5c 0a 20 20 20 20 20 20 20 20 20 20  s", \.          
0350: 20 20 22 69 67 6e 6f 72 65 52 75 6c 65 22 2c 20    "ignoreRule", 
0360: 22 72 65 73 65 74 49 67 6e 6f 72 65 52 75 6c 65  "resetIgnoreRule
0370: 73 22 2c 20 22 72 65 61 63 74 69 76 61 74 65 52  s", "reactivateR
0380: 75 6c 65 22 2c 20 22 6c 69 73 74 52 75 6c 65 73  ule", "listRules
0390: 22 2c 20 22 64 69 73 70 6c 61 79 52 75 6c 65 73  ", "displayRules
03a0: 22 2c 20 22 73 65 74 57 72 69 74 65 72 55 6e 64  ", "setWriterUnd
03b0: 65 72 6c 69 6e 69 6e 67 53 74 79 6c 65 22 20 5d  erliningStyle" ]
03c0: 0a 0a 5f 5f 76 65 72 73 69 6f 6e 5f 5f 20 3d 20  ..__version__ = 
03d0: 22 24 7b 76 65 72 73 69 6f 6e 7d 22 0a 0a 0a 6c  "${version}"...l
03e0: 61 6e 67 20 3d 20 22 24 7b 6c 61 6e 67 7d 22 0a  ang = "${lang}".
03f0: 6c 6f 63 61 6c 65 73 20 3d 20 24 7b 6c 6f 63 7d  locales = ${loc}
0400: 0a 70 6b 67 20 3d 20 22 24 7b 69 6d 70 6c 6e 61  .pkg = "${implna
0410: 6d 65 7d 22 0a 6e 61 6d 65 20 3d 20 22 24 7b 6e  me}".name = "${n
0420: 61 6d 65 7d 22 0a 76 65 72 73 69 6f 6e 20 3d 20  ame}".version = 
0430: 22 24 7b 76 65 72 73 69 6f 6e 7d 22 0a 61 75 74  "${version}".aut
0440: 68 6f 72 20 3d 20 22 24 7b 61 75 74 68 6f 72 7d  hor = "${author}
0450: 22 0a 0a 23 20 4d 6f 64 75 6c 65 73 0a 5f 72 75  "..# Modules._ru
0460: 6c 65 73 20 3d 20 4e 6f 6e 65 20 20 20 20 20 20  les = None      
0470: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0480: 20 20 20 20 20 20 20 20 20 23 20 6d 6f 64 75 6c           # modul
0490: 65 20 67 63 5f 72 75 6c 65 73 0a 5f 72 75 6c 65  e gc_rules._rule
04a0: 73 5f 67 72 61 70 68 20 3d 20 4e 6f 6e 65 20 20  s_graph = None  
04b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
04c0: 20 20 20 20 20 20 20 23 20 6d 6f 64 75 6c 65 20         # module 
04d0: 67 63 5f 72 75 6c 65 73 5f 67 72 61 70 68 0a 0a  gc_rules_graph..
04e0: 23 20 44 61 74 61 0a 5f 73 41 70 70 43 6f 6e 74  # Data._sAppCont
04f0: 65 78 74 20 3d 20 22 22 20 20 20 20 20 20 20 20  ext = ""        
0500: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0510: 20 20 20 23 20 77 68 61 74 20 73 6f 66 74 77 61     # what softwa
0520: 72 65 20 69 73 20 72 75 6e 6e 69 6e 67 0a 5f 64  re is running._d
0530: 4f 70 74 69 6f 6e 73 20 3d 20 4e 6f 6e 65 0a 5f  Options = None._
0540: 64 4f 70 74 69 6f 6e 73 43 6f 6c 6f 72 73 20 3d  dOptionsColors =
0550: 20 4e 6f 6e 65 0a 5f 6f 53 70 65 6c 6c 43 68 65   None._oSpellChe
0560: 63 6b 65 72 20 3d 20 4e 6f 6e 65 0a 5f 6f 54 6f  cker = None._oTo
0570: 6b 65 6e 69 7a 65 72 20 3d 20 4e 6f 6e 65 0a 5f  kenizer = None._
0580: 61 49 67 6e 6f 72 65 64 52 75 6c 65 73 20 3d 20  aIgnoredRules = 
0590: 73 65 74 28 29 0a 0a 23 20 57 72 69 74 65 72 20  set()..# Writer 
05a0: 75 6e 64 65 72 6c 69 6e 69 6e 67 20 73 74 79 6c  underlining styl
05b0: 65 0a 5f 62 4d 75 6c 74 69 63 6f 6c 6f 72 20 3d  e._bMulticolor =
05c0: 20 54 72 75 65 0a 5f 6e 55 6e 64 65 72 6c 69 6e   True._nUnderlin
05d0: 69 6e 67 53 74 79 6c 65 20 3d 20 30 0a 0a 0a 23  ingStyle = 0...#
05e0: 23 23 23 20 49 6e 69 74 69 61 6c 69 7a 61 74 69  ### Initializati
05f0: 6f 6e 0a 0a 64 65 66 20 6c 6f 61 64 20 28 73 43  on..def load (sC
0600: 6f 6e 74 65 78 74 3d 22 50 79 74 68 6f 6e 22 2c  ontext="Python",
0610: 20 73 43 6f 6c 6f 72 54 79 70 65 3d 22 61 52 47   sColorType="aRG
0620: 42 22 29 3a 0a 20 20 20 20 22 69 6e 69 74 69 61  B"):.    "initia
0630: 6c 69 7a 61 74 69 6f 6e 20 6f 66 20 74 68 65 20  lization of the 
0640: 67 72 61 6d 6d 61 72 20 63 68 65 63 6b 65 72 22  grammar checker"
0650: 0a 20 20 20 20 67 6c 6f 62 61 6c 20 5f 6f 53 70  .    global _oSp
0660: 65 6c 6c 43 68 65 63 6b 65 72 0a 20 20 20 20 67  ellChecker.    g
0670: 6c 6f 62 61 6c 20 5f 73 41 70 70 43 6f 6e 74 65  lobal _sAppConte
0680: 78 74 0a 20 20 20 20 67 6c 6f 62 61 6c 20 5f 64  xt.    global _d
0690: 4f 70 74 69 6f 6e 73 0a 20 20 20 20 67 6c 6f 62  Options.    glob
06a0: 61 6c 20 5f 64 4f 70 74 69 6f 6e 73 43 6f 6c 6f  al _dOptionsColo
06b0: 72 73 0a 20 20 20 20 67 6c 6f 62 61 6c 20 5f 6f  rs.    global _o
06c0: 54 6f 6b 65 6e 69 7a 65 72 0a 20 20 20 20 74 72  Tokenizer.    tr
06d0: 79 3a 0a 20 20 20 20 20 20 20 20 5f 6f 53 70 65  y:.        _oSpe
06e0: 6c 6c 43 68 65 63 6b 65 72 20 3d 20 53 70 65 6c  llChecker = Spel
06f0: 6c 43 68 65 63 6b 65 72 28 22 24 7b 6c 61 6e 67  lChecker("${lang
0700: 7d 22 2c 20 22 24 7b 64 69 63 5f 6d 61 69 6e 5f  }", "${dic_main_
0710: 66 69 6c 65 6e 61 6d 65 5f 70 79 7d 22 2c 20 22  filename_py}", "
0720: 24 7b 64 69 63 5f 63 6f 6d 6d 75 6e 69 74 79 5f  ${dic_community_
0730: 66 69 6c 65 6e 61 6d 65 5f 70 79 7d 22 2c 20 22  filename_py}", "
0740: 24 7b 64 69 63 5f 70 65 72 73 6f 6e 61 6c 5f 66  ${dic_personal_f
0750: 69 6c 65 6e 61 6d 65 5f 70 79 7d 22 29 0a 20 20  ilename_py}").  
0760: 20 20 20 20 20 20 5f 73 41 70 70 43 6f 6e 74 65        _sAppConte
0770: 78 74 20 3d 20 73 43 6f 6e 74 65 78 74 0a 20 20  xt = sContext.  
0780: 20 20 20 20 20 20 5f 64 4f 70 74 69 6f 6e 73 20        _dOptions 
0790: 3d 20 67 63 5f 6f 70 74 69 6f 6e 73 2e 67 65 74  = gc_options.get
07a0: 4f 70 74 69 6f 6e 73 28 73 43 6f 6e 74 65 78 74  Options(sContext
07b0: 29 2e 63 6f 70 79 28 29 20 20 20 23 20 64 75 70  ).copy()   # dup
07c0: 6c 69 63 61 74 69 6f 6e 20 6e 65 63 65 73 73 61  lication necessa
07d0: 72 79 2c 20 74 6f 20 62 65 20 61 62 6c 65 20 74  ry, to be able t
07e0: 6f 20 72 65 73 65 74 20 74 6f 20 64 65 66 61 75  o reset to defau
07f0: 6c 74 0a 20 20 20 20 20 20 20 20 5f 64 4f 70 74  lt.        _dOpt
0800: 69 6f 6e 73 43 6f 6c 6f 72 73 20 3d 20 67 63 5f  ionsColors = gc_
0810: 6f 70 74 69 6f 6e 73 2e 67 65 74 4f 70 74 69 6f  options.getOptio
0820: 6e 73 43 6f 6c 6f 72 73 28 73 43 6f 6e 74 65 78  nsColors(sContex
0830: 74 2c 20 73 43 6f 6c 6f 72 54 79 70 65 29 0a 20  t, sColorType). 
0840: 20 20 20 20 20 20 20 5f 6f 54 6f 6b 65 6e 69 7a         _oTokeniz
0850: 65 72 20 3d 20 5f 6f 53 70 65 6c 6c 43 68 65 63  er = _oSpellChec
0860: 6b 65 72 2e 67 65 74 54 6f 6b 65 6e 69 7a 65 72  ker.getTokenizer
0870: 28 29 0a 20 20 20 20 20 20 20 20 5f 6f 53 70 65  ().        _oSpe
0880: 6c 6c 43 68 65 63 6b 65 72 2e 61 63 74 69 76 61  llChecker.activa
0890: 74 65 53 74 6f 72 61 67 65 28 29 0a 20 20 20 20  teStorage().    
08a0: 65 78 63 65 70 74 3a 0a 20 20 20 20 20 20 20 20  except:.        
08b0: 74 72 61 63 65 62 61 63 6b 2e 70 72 69 6e 74 5f  traceback.print_
08c0: 65 78 63 28 29 0a 0a 0a 64 65 66 20 67 65 74 53  exc()...def getS
08d0: 70 65 6c 6c 43 68 65 63 6b 65 72 20 28 29 3a 0a  pellChecker ():.
08e0: 20 20 20 20 22 72 65 74 75 72 6e 20 74 68 65 20      "return the 
08f0: 73 70 65 6c 6c 63 68 65 63 6b 65 72 20 6f 62 6a  spellchecker obj
0900: 65 63 74 22 0a 20 20 20 20 72 65 74 75 72 6e 20  ect".    return 
0910: 5f 6f 53 70 65 6c 6c 43 68 65 63 6b 65 72 0a 0a  _oSpellChecker..
0920: 0a 23 23 23 23 20 52 75 6c 65 73 0a 0a 64 65 66  .#### Rules..def
0930: 20 5f 67 65 74 52 75 6c 65 73 20 28 62 50 61 72   _getRules (bPar
0940: 61 67 72 61 70 68 29 3a 0a 20 20 20 20 74 72 79  agraph):.    try
0950: 3a 0a 20 20 20 20 20 20 20 20 69 66 20 6e 6f 74  :.        if not
0960: 20 62 50 61 72 61 67 72 61 70 68 3a 0a 20 20 20   bParagraph:.   
0970: 20 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20           return 
0980: 5f 72 75 6c 65 73 2e 6c 53 65 6e 74 65 6e 63 65  _rules.lSentence
0990: 52 75 6c 65 73 0a 20 20 20 20 20 20 20 20 72 65  Rules.        re
09a0: 74 75 72 6e 20 5f 72 75 6c 65 73 2e 6c 50 61 72  turn _rules.lPar
09b0: 61 67 72 61 70 68 52 75 6c 65 73 0a 20 20 20 20  agraphRules.    
09c0: 65 78 63 65 70 74 3a 0a 20 20 20 20 20 20 20 20  except:.        
09d0: 5f 6c 6f 61 64 52 75 6c 65 73 28 29 0a 20 20 20  _loadRules().   
09e0: 20 69 66 20 6e 6f 74 20 62 50 61 72 61 67 72 61   if not bParagra
09f0: 70 68 3a 0a 20 20 20 20 20 20 20 20 72 65 74 75  ph:.        retu
0a00: 72 6e 20 5f 72 75 6c 65 73 2e 6c 53 65 6e 74 65  rn _rules.lSente
0a10: 6e 63 65 52 75 6c 65 73 0a 20 20 20 20 72 65 74  nceRules.    ret
0a20: 75 72 6e 20 5f 72 75 6c 65 73 2e 6c 50 61 72 61  urn _rules.lPara
0a30: 67 72 61 70 68 52 75 6c 65 73 0a 0a 0a 64 65 66  graphRules...def
0a40: 20 5f 6c 6f 61 64 52 75 6c 65 73 20 28 29 3a 0a   _loadRules ():.
0a50: 20 20 20 20 66 72 6f 6d 20 2e 20 69 6d 70 6f 72      from . impor
0a60: 74 20 67 63 5f 72 75 6c 65 73 0a 20 20 20 20 66  t gc_rules.    f
0a70: 72 6f 6d 20 2e 20 69 6d 70 6f 72 74 20 67 63 5f  rom . import gc_
0a80: 72 75 6c 65 73 5f 67 72 61 70 68 0a 20 20 20 20  rules_graph.    
0a90: 67 6c 6f 62 61 6c 20 5f 72 75 6c 65 73 0a 20 20  global _rules.  
0aa0: 20 20 67 6c 6f 62 61 6c 20 5f 72 75 6c 65 73 5f    global _rules_
0ab0: 67 72 61 70 68 0a 20 20 20 20 5f 72 75 6c 65 73  graph.    _rules
0ac0: 20 3d 20 67 63 5f 72 75 6c 65 73 0a 20 20 20 20   = gc_rules.    
0ad0: 5f 72 75 6c 65 73 5f 67 72 61 70 68 20 3d 20 67  _rules_graph = g
0ae0: 63 5f 72 75 6c 65 73 5f 67 72 61 70 68 0a 20 20  c_rules_graph.  
0af0: 20 20 23 20 63 6f 6d 70 69 6c 65 20 72 75 6c 65    # compile rule
0b00: 73 20 72 65 67 65 78 0a 20 20 20 20 66 6f 72 20  s regex.    for 
0b10: 73 4f 70 74 69 6f 6e 2c 20 6c 52 75 6c 65 47 72  sOption, lRuleGr
0b20: 6f 75 70 20 69 6e 20 63 68 61 69 6e 28 5f 72 75  oup in chain(_ru
0b30: 6c 65 73 2e 6c 50 61 72 61 67 72 61 70 68 52 75  les.lParagraphRu
0b40: 6c 65 73 2c 20 5f 72 75 6c 65 73 2e 6c 53 65 6e  les, _rules.lSen
0b50: 74 65 6e 63 65 52 75 6c 65 73 29 3a 0a 20 20 20  tenceRules):.   
0b60: 20 20 20 20 20 69 66 20 73 4f 70 74 69 6f 6e 20       if sOption 
0b70: 21 3d 20 22 40 40 40 40 22 3a 0a 20 20 20 20 20  != "@@@@":.     
0b80: 20 20 20 20 20 20 20 66 6f 72 20 61 52 75 6c 65         for aRule
0b90: 20 69 6e 20 6c 52 75 6c 65 47 72 6f 75 70 3a 0a   in lRuleGroup:.
0ba0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0bb0: 74 72 79 3a 0a 20 20 20 20 20 20 20 20 20 20 20  try:.           
0bc0: 20 20 20 20 20 20 20 20 20 61 52 75 6c 65 5b 30           aRule[0
0bd0: 5d 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 61  ] = re.compile(a
0be0: 52 75 6c 65 5b 30 5d 29 0a 20 20 20 20 20 20 20  Rule[0]).       
0bf0: 20 20 20 20 20 20 20 20 20 65 78 63 65 70 74 20           except 
0c00: 28 49 6e 64 65 78 45 72 72 6f 72 2c 20 72 65 2e  (IndexError, re.
0c10: 65 72 72 6f 72 29 3a 0a 20 20 20 20 20 20 20 20  error):.        
0c20: 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68 6f              echo
0c30: 28 22 42 61 64 20 72 65 67 75 6c 61 72 20 65 78  ("Bad regular ex
0c40: 70 72 65 73 73 69 6f 6e 20 69 6e 20 23 20 22 20  pression in # " 
0c50: 2b 20 73 74 72 28 61 52 75 6c 65 5b 32 5d 29 29  + str(aRule[2]))
0c60: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
0c70: 20 20 20 20 20 61 52 75 6c 65 5b 30 5d 20 3d 20       aRule[0] = 
0c80: 22 28 3f 69 29 3c 47 72 61 6d 6d 61 6c 65 63 74  "(?i)<Grammalect
0c90: 65 3e 22 0a 0a 0a 64 65 66 20 69 67 6e 6f 72 65  e>"...def ignore
0ca0: 52 75 6c 65 20 28 73 52 75 6c 65 49 64 29 3a 0a  Rule (sRuleId):.
0cb0: 20 20 20 20 22 64 69 73 61 62 6c 65 20 72 75 6c      "disable rul
0cc0: 65 20 3c 73 52 75 6c 65 49 64 3e 22 0a 20 20 20  e <sRuleId>".   
0cd0: 20 5f 61 49 67 6e 6f 72 65 64 52 75 6c 65 73 2e   _aIgnoredRules.
0ce0: 61 64 64 28 73 52 75 6c 65 49 64 29 0a 0a 0a 64  add(sRuleId)...d
0cf0: 65 66 20 72 65 73 65 74 49 67 6e 6f 72 65 52 75  ef resetIgnoreRu
0d00: 6c 65 73 20 28 29 3a 0a 20 20 20 20 22 63 6c 65  les ():.    "cle
0d10: 61 72 20 61 6c 6c 20 69 67 6e 6f 72 65 64 20 72  ar all ignored r
0d20: 75 6c 65 73 22 0a 20 20 20 20 5f 61 49 67 6e 6f  ules".    _aIgno
0d30: 72 65 64 52 75 6c 65 73 2e 63 6c 65 61 72 28 29  redRules.clear()
0d40: 0a 0a 0a 64 65 66 20 72 65 61 63 74 69 76 61 74  ...def reactivat
0d50: 65 52 75 6c 65 20 28 73 52 75 6c 65 49 64 29 3a  eRule (sRuleId):
0d60: 0a 20 20 20 20 22 28 72 65 29 61 63 74 69 76 61  .    "(re)activa
0d70: 74 65 20 72 75 6c 65 20 3c 73 52 75 6c 65 49 64  te rule <sRuleId
0d80: 3e 22 0a 20 20 20 20 5f 61 49 67 6e 6f 72 65 64  >".    _aIgnored
0d90: 52 75 6c 65 73 2e 64 69 73 63 61 72 64 28 73 52  Rules.discard(sR
0da0: 75 6c 65 49 64 29 0a 0a 0a 64 65 66 20 6c 69 73  uleId)...def lis
0db0: 74 52 75 6c 65 73 20 28 73 46 69 6c 74 65 72 3d  tRules (sFilter=
0dc0: 4e 6f 6e 65 29 3a 0a 20 20 20 20 22 67 65 6e 65  None):.    "gene
0dd0: 72 61 74 6f 72 3a 20 72 65 74 75 72 6e 73 20 74  rator: returns t
0de0: 79 70 6c 65 20 28 73 4f 70 74 69 6f 6e 2c 20 73  yple (sOption, s
0df0: 4c 69 6e 65 49 64 2c 20 73 52 75 6c 65 49 64 29  LineId, sRuleId)
0e00: 22 0a 20 20 20 20 69 66 20 73 46 69 6c 74 65 72  ".    if sFilter
0e10: 3a 0a 20 20 20 20 20 20 20 20 74 72 79 3a 0a 20  :.        try:. 
0e20: 20 20 20 20 20 20 20 20 20 20 20 7a 46 69 6c 74             zFilt
0e30: 65 72 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28  er = re.compile(
0e40: 73 46 69 6c 74 65 72 29 0a 20 20 20 20 20 20 20  sFilter).       
0e50: 20 65 78 63 65 70 74 20 72 65 2e 65 72 72 6f 72   except re.error
0e60: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 65 63  :.            ec
0e70: 68 6f 28 22 23 20 45 72 72 6f 72 2e 20 4c 69 73  ho("# Error. Lis
0e80: 74 20 72 75 6c 65 73 3a 20 77 72 6f 6e 67 20 72  t rules: wrong r
0e90: 65 67 65 78 2e 22 29 0a 20 20 20 20 20 20 20 20  egex.").        
0ea0: 20 20 20 20 73 46 69 6c 74 65 72 20 3d 20 4e 6f      sFilter = No
0eb0: 6e 65 0a 20 20 20 20 23 20 72 65 67 65 78 20 72  ne.    # regex r
0ec0: 75 6c 65 73 0a 20 20 20 20 66 6f 72 20 73 4f 70  ules.    for sOp
0ed0: 74 69 6f 6e 2c 20 6c 52 75 6c 65 47 72 6f 75 70  tion, lRuleGroup
0ee0: 20 69 6e 20 63 68 61 69 6e 28 5f 67 65 74 52 75   in chain(_getRu
0ef0: 6c 65 73 28 54 72 75 65 29 2c 20 5f 67 65 74 52  les(True), _getR
0f00: 75 6c 65 73 28 46 61 6c 73 65 29 29 3a 0a 20 20  ules(False)):.  
0f10: 20 20 20 20 20 20 69 66 20 73 4f 70 74 69 6f 6e        if sOption
0f20: 20 21 3d 20 22 40 40 40 40 22 3a 0a 20 20 20 20   != "@@@@":.    
0f30: 20 20 20 20 20 20 20 20 66 6f 72 20 5f 2c 20 5f          for _, _
0f40: 2c 20 73 4c 69 6e 65 49 64 2c 20 73 52 75 6c 65  , sLineId, sRule
0f50: 49 64 2c 20 5f 2c 20 5f 20 69 6e 20 6c 52 75 6c  Id, _, _ in lRul
0f60: 65 47 72 6f 75 70 3a 0a 20 20 20 20 20 20 20 20  eGroup:.        
0f70: 20 20 20 20 20 20 20 20 69 66 20 6e 6f 74 20 73          if not s
0f80: 46 69 6c 74 65 72 20 6f 72 20 7a 46 69 6c 74 65  Filter or zFilte
0f90: 72 2e 73 65 61 72 63 68 28 73 52 75 6c 65 49 64  r.search(sRuleId
0fa0: 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  ):.             
0fb0: 20 20 20 20 20 20 20 79 69 65 6c 64 20 28 22 52         yield ("R
0fc0: 65 67 45 78 22 2c 20 73 4f 70 74 69 6f 6e 2c 20  egEx", sOption, 
0fd0: 73 4c 69 6e 65 49 64 2c 20 73 52 75 6c 65 49 64  sLineId, sRuleId
0fe0: 29 0a 20 20 20 20 23 20 74 6f 6b 65 6e 73 20 72  ).    # tokens r
0ff0: 75 6c 65 73 0a 20 20 20 20 66 6f 72 20 73 52 75  ules.    for sRu
1000: 6c 65 4e 61 6d 65 2c 20 6c 41 63 74 69 6f 6e 73  leName, lActions
1010: 20 69 6e 20 5f 72 75 6c 65 73 5f 67 72 61 70 68   in _rules_graph
1020: 2e 64 52 75 6c 65 2e 69 74 65 6d 73 28 29 3a 0a  .dRule.items():.
1030: 20 20 20 20 20 20 20 20 73 4c 69 6e 65 49 64 2c          sLineId,
1040: 20 73 4f 70 74 69 6f 6e 2c 20 5f 2c 20 63 41 63   sOption, _, cAc
1050: 74 69 6f 6e 54 79 70 65 2c 20 2a 5f 20 3d 20 6c  tionType, *_ = l
1060: 41 63 74 69 6f 6e 73 0a 20 20 20 20 20 20 20 20  Actions.        
1070: 69 66 20 63 41 63 74 69 6f 6e 54 79 70 65 20 3d  if cActionType =
1080: 3d 20 22 2d 22 3a 0a 20 20 20 20 20 20 20 20 20  = "-":.         
1090: 20 20 20 79 69 65 6c 64 28 22 54 6f 6b 65 6e 73     yield("Tokens
10a0: 22 2c 20 73 4f 70 74 69 6f 6e 2c 20 73 4c 69 6e  ", sOption, sLin
10b0: 65 49 64 2c 20 73 52 75 6c 65 4e 61 6d 65 29 0a  eId, sRuleName).
10c0: 0a 0a 64 65 66 20 64 69 73 70 6c 61 79 52 75 6c  ..def displayRul
10d0: 65 73 20 28 73 46 69 6c 74 65 72 3d 4e 6f 6e 65  es (sFilter=None
10e0: 29 3a 0a 20 20 20 20 22 64 69 73 70 6c 61 79 20  ):.    "display 
10f0: 74 68 65 20 6e 61 6d 65 20 6f 66 20 72 75 6c 65  the name of rule
1100: 73 2c 20 77 69 74 68 20 74 68 65 20 66 69 6c 74  s, with the filt
1110: 65 72 20 3c 73 46 69 6c 74 65 72 3e 22 0a 20 20  er <sFilter>".  
1120: 20 20 65 63 68 6f 28 22 4c 69 73 74 20 6f 66 20    echo("List of 
1130: 72 75 6c 65 73 2e 20 46 69 6c 74 65 72 3a 20 3c  rules. Filter: <
1140: 3c 20 22 20 2b 20 73 74 72 28 73 46 69 6c 74 65  < " + str(sFilte
1150: 72 29 20 2b 20 22 20 3e 3e 22 29 0a 20 20 20 20  r) + " >>").    
1160: 66 6f 72 20 73 4f 70 74 69 6f 6e 2c 20 73 4c 69  for sOption, sLi
1170: 6e 65 49 64 2c 20 73 52 75 6c 65 49 64 2c 20 73  neId, sRuleId, s
1180: 54 79 70 65 20 69 6e 20 6c 69 73 74 52 75 6c 65  Type in listRule
1190: 73 28 73 46 69 6c 74 65 72 29 3a 0a 20 20 20 20  s(sFilter):.    
11a0: 20 20 20 20 65 63 68 6f 28 22 7b 3a 3c 38 7d 20      echo("{:<8} 
11b0: 7b 3a 3c 31 30 7d 20 7b 3a 3c 31 30 7d 20 7b 7d  {:<10} {:<10} {}
11c0: 22 2e 66 6f 72 6d 61 74 28 73 4f 70 74 69 6f 6e  ".format(sOption
11d0: 2c 20 73 4c 69 6e 65 49 64 2c 20 73 52 75 6c 65  , sLineId, sRule
11e0: 49 64 2c 20 73 54 79 70 65 29 29 0a 0a 0a 23 23  Id, sType))...##
11f0: 23 23 20 4f 70 74 69 6f 6e 73 0a 0a 64 65 66 20  ## Options..def 
1200: 73 65 74 4f 70 74 69 6f 6e 20 28 73 4f 70 74 2c  setOption (sOpt,
1210: 20 62 56 61 6c 29 3a 0a 20 20 20 20 22 73 65 74   bVal):.    "set
1220: 20 6f 70 74 69 6f 6e 20 3c 73 4f 70 74 3e 20 77   option <sOpt> w
1230: 69 74 68 20 3c 62 56 61 6c 3e 20 69 66 20 69 74  ith <bVal> if it
1240: 20 65 78 69 73 74 73 22 0a 20 20 20 20 69 66 20   exists".    if 
1250: 73 4f 70 74 20 69 6e 20 5f 64 4f 70 74 69 6f 6e  sOpt in _dOption
1260: 73 3a 0a 20 20 20 20 20 20 20 20 5f 64 4f 70 74  s:.        _dOpt
1270: 69 6f 6e 73 5b 73 4f 70 74 5d 20 3d 20 62 56 61  ions[sOpt] = bVa
1280: 6c 0a 0a 0a 64 65 66 20 73 65 74 4f 70 74 69 6f  l...def setOptio
1290: 6e 73 20 28 64 4f 70 74 29 3a 0a 20 20 20 20 22  ns (dOpt):.    "
12a0: 75 70 64 61 74 65 20 74 68 65 20 64 69 63 74 69  update the dicti
12b0: 6f 6e 61 72 79 20 6f 66 20 6f 70 74 69 6f 6e 73  onary of options
12c0: 20 77 69 74 68 20 3c 64 4f 70 74 3e 22 0a 20 20   with <dOpt>".  
12d0: 20 20 66 6f 72 20 73 4b 65 79 2c 20 62 56 61 6c    for sKey, bVal
12e0: 20 69 6e 20 64 4f 70 74 2e 69 74 65 6d 73 28 29   in dOpt.items()
12f0: 3a 0a 20 20 20 20 20 20 20 20 69 66 20 73 4b 65  :.        if sKe
1300: 79 20 69 6e 20 5f 64 4f 70 74 69 6f 6e 73 3a 0a  y in _dOptions:.
1310: 20 20 20 20 20 20 20 20 20 20 20 20 5f 64 4f 70              _dOp
1320: 74 69 6f 6e 73 5b 73 4b 65 79 5d 20 3d 20 62 56  tions[sKey] = bV
1330: 61 6c 0a 0a 0a 64 65 66 20 67 65 74 4f 70 74 69  al...def getOpti
1340: 6f 6e 73 20 28 29 3a 0a 20 20 20 20 22 72 65 74  ons ():.    "ret
1350: 75 72 6e 20 74 68 65 20 64 69 63 74 69 6f 6e 61  urn the dictiona
1360: 72 79 20 6f 66 20 63 75 72 72 65 6e 74 20 6f 70  ry of current op
1370: 74 69 6f 6e 73 22 0a 20 20 20 20 72 65 74 75 72  tions".    retur
1380: 6e 20 5f 64 4f 70 74 69 6f 6e 73 0a 0a 0a 64 65  n _dOptions...de
1390: 66 20 67 65 74 44 65 66 61 75 6c 74 4f 70 74 69  f getDefaultOpti
13a0: 6f 6e 73 20 28 29 3a 0a 20 20 20 20 22 72 65 74  ons ():.    "ret
13b0: 75 72 6e 20 74 68 65 20 64 69 63 74 69 6f 6e 61  urn the dictiona
13c0: 72 79 20 6f 66 20 64 65 66 61 75 6c 74 20 6f 70  ry of default op
13d0: 74 69 6f 6e 73 22 0a 20 20 20 20 72 65 74 75 72  tions".    retur
13e0: 6e 20 67 63 5f 6f 70 74 69 6f 6e 73 2e 67 65 74  n gc_options.get
13f0: 4f 70 74 69 6f 6e 73 28 5f 73 41 70 70 43 6f 6e  Options(_sAppCon
1400: 74 65 78 74 29 2e 63 6f 70 79 28 29 0a 0a 0a 64  text).copy()...d
1410: 65 66 20 67 65 74 4f 70 74 69 6f 6e 73 4c 61 62  ef getOptionsLab
1420: 65 6c 73 20 28 73 4c 61 6e 67 29 3a 0a 20 20 20  els (sLang):.   
1430: 20 22 72 65 74 75 72 6e 20 6f 70 74 69 6f 6e 73   "return options
1440: 20 6c 61 62 65 6c 73 22 0a 20 20 20 20 72 65 74   labels".    ret
1450: 75 72 6e 20 67 63 5f 6f 70 74 69 6f 6e 73 2e 67  urn gc_options.g
1460: 65 74 55 49 28 73 4c 61 6e 67 29 0a 0a 0a 64 65  etUI(sLang)...de
1470: 66 20 64 69 73 70 6c 61 79 4f 70 74 69 6f 6e 73  f displayOptions
1480: 20 28 73 4c 61 6e 67 3d 22 24 7b 6c 61 6e 67 7d   (sLang="${lang}
1490: 22 29 3a 0a 20 20 20 20 22 64 69 73 70 6c 61 79  "):.    "display
14a0: 20 74 68 65 20 6c 69 73 74 20 6f 66 20 67 72 61   the list of gra
14b0: 6d 6d 61 72 20 63 68 65 63 6b 69 6e 67 20 6f 70  mmar checking op
14c0: 74 69 6f 6e 73 22 0a 20 20 20 20 65 63 68 6f 28  tions".    echo(
14d0: 22 4f 70 74 69 6f 6e 73 3a 22 29 0a 20 20 20 20  "Options:").    
14e0: 65 63 68 6f 28 22 5c 6e 22 2e 6a 6f 69 6e 28 20  echo("\n".join( 
14f0: 5b 20 6b 2b 22 3a 5c 74 22 2b 73 74 72 28 76 29  [ k+":\t"+str(v)
1500: 2b 22 5c 74 22 2b 67 63 5f 6f 70 74 69 6f 6e 73  +"\t"+gc_options
1510: 2e 67 65 74 55 49 28 73 4c 61 6e 67 29 2e 67 65  .getUI(sLang).ge
1520: 74 28 6b 2c 20 28 22 3f 22 2c 20 22 22 29 29 5b  t(k, ("?", ""))[
1530: 30 5d 20 20 66 6f 72 20 6b 2c 20 76 20 20 69 6e  0]  for k, v  in
1540: 20 73 6f 72 74 65 64 28 5f 64 4f 70 74 69 6f 6e   sorted(_dOption
1550: 73 2e 69 74 65 6d 73 28 29 29 20 5d 20 29 29 0a  s.items()) ] )).
1560: 20 20 20 20 65 63 68 6f 28 22 22 29 0a 0a 0a 64      echo("")...d
1570: 65 66 20 72 65 73 65 74 4f 70 74 69 6f 6e 73 20  ef resetOptions 
1580: 28 29 3a 0a 20 20 20 20 22 73 65 74 20 6f 70 74  ():.    "set opt
1590: 69 6f 6e 73 20 74 6f 20 64 65 66 61 75 6c 74 20  ions to default 
15a0: 76 61 6c 75 65 73 22 0a 20 20 20 20 67 6c 6f 62  values".    glob
15b0: 61 6c 20 5f 64 4f 70 74 69 6f 6e 73 0a 20 20 20  al _dOptions.   
15c0: 20 5f 64 4f 70 74 69 6f 6e 73 20 3d 20 67 65 74   _dOptions = get
15d0: 44 65 66 61 75 6c 74 4f 70 74 69 6f 6e 73 28 29  DefaultOptions()
15e0: 0a 0a 0a 64 65 66 20 73 65 74 57 72 69 74 65 72  ...def setWriter
15f0: 55 6e 64 65 72 6c 69 6e 69 6e 67 53 74 79 6c 65  UnderliningStyle
1600: 20 28 73 53 74 79 6c 65 3d 22 42 4f 4c 44 57 41   (sStyle="BOLDWA
1610: 56 45 22 2c 20 62 4d 75 6c 74 69 63 6f 6c 6f 72  VE", bMulticolor
1620: 3d 54 72 75 65 29 3a 0a 20 20 20 20 22 73 65 74  =True):.    "set
1630: 20 75 6e 64 65 72 6c 69 6e 69 6e 67 20 73 74 79   underlining sty
1640: 6c 65 20 66 6f 72 20 57 72 69 74 65 72 20 28 57  le for Writer (W
1650: 41 56 45 2c 20 42 4f 4c 44 57 41 56 45 2c 20 42  AVE, BOLDWAVE, B
1660: 4f 4c 44 29 22 0a 20 20 20 20 67 6c 6f 62 61 6c  OLD)".    global
1670: 20 5f 6e 55 6e 64 65 72 6c 69 6e 69 6e 67 53 74   _nUnderliningSt
1680: 79 6c 65 0a 20 20 20 20 67 6c 6f 62 61 6c 20 5f  yle.    global _
1690: 62 4d 75 6c 74 69 63 6f 6c 6f 72 0a 20 20 20 20  bMulticolor.    
16a0: 23 20 68 74 74 70 73 3a 2f 2f 61 70 69 2e 6c 69  # https://api.li
16b0: 62 72 65 6f 66 66 69 63 65 2e 6f 72 67 2f 64 6f  breoffice.org/do
16c0: 63 73 2f 69 64 6c 2f 72 65 66 2f 46 6f 6e 74 55  cs/idl/ref/FontU
16d0: 6e 64 65 72 6c 69 6e 65 5f 38 69 64 6c 2e 68 74  nderline_8idl.ht
16e0: 6d 6c 0a 20 20 20 20 23 20 57 41 56 45 3a 20 31  ml.    # WAVE: 1
16f0: 30 2c 20 42 4f 4c 44 3a 20 31 32 2c 20 42 4f 4c  0, BOLD: 12, BOL
1700: 44 57 41 56 45 3a 20 31 38 20 44 41 53 48 3a 20  DWAVE: 18 DASH: 
1710: 35 0a 20 20 20 20 69 66 20 73 53 74 79 6c 65 20  5.    if sStyle 
1720: 3d 3d 20 22 57 41 56 45 22 3a 0a 20 20 20 20 20  == "WAVE":.     
1730: 20 20 20 5f 6e 55 6e 64 65 72 6c 69 6e 69 6e 67     _nUnderlining
1740: 53 74 79 6c 65 20 3d 20 30 20 20 23 20 30 20 66  Style = 0  # 0 f
1750: 6f 72 20 64 65 66 61 75 6c 74 20 57 72 69 74 65  or default Write
1760: 72 20 73 65 74 74 69 6e 67 0a 20 20 20 20 65 6c  r setting.    el
1770: 69 66 20 73 53 74 79 6c 65 20 3d 3d 20 22 42 4f  if sStyle == "BO
1780: 4c 44 57 41 56 45 22 3a 0a 20 20 20 20 20 20 20  LDWAVE":.       
1790: 20 5f 6e 55 6e 64 65 72 6c 69 6e 69 6e 67 53 74   _nUnderliningSt
17a0: 79 6c 65 20 3d 20 31 38 0a 20 20 20 20 65 6c 69  yle = 18.    eli
17b0: 66 20 73 53 74 79 6c 65 20 3d 3d 20 22 42 4f 4c  f sStyle == "BOL
17c0: 44 22 3a 0a 20 20 20 20 20 20 20 20 5f 6e 55 6e  D":.        _nUn
17d0: 64 65 72 6c 69 6e 69 6e 67 53 74 79 6c 65 20 3d  derliningStyle =
17e0: 20 31 32 0a 20 20 20 20 65 6c 69 66 20 73 53 74   12.    elif sSt
17f0: 79 6c 65 20 3d 3d 20 22 44 41 53 48 22 3a 0a 20  yle == "DASH":. 
1800: 20 20 20 20 20 20 20 5f 6e 55 6e 64 65 72 6c 69         _nUnderli
1810: 6e 69 6e 67 53 74 79 6c 65 20 3d 20 35 0a 20 20  ningStyle = 5.  
1820: 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20    else:.        
1830: 5f 6e 55 6e 64 65 72 6c 69 6e 69 6e 67 53 74 79  _nUnderliningSty
1840: 6c 65 20 3d 20 30 0a 20 20 20 20 5f 62 4d 75 6c  le = 0.    _bMul
1850: 74 69 63 6f 6c 6f 72 20 3d 20 62 4d 75 6c 74 69  ticolor = bMulti
1860: 63 6f 6c 6f 72 0a 0a 0a 23 23 23 23 20 50 61 72  color...#### Par
1870: 73 69 6e 67 0a 0a 64 65 66 20 70 61 72 73 65 20  sing..def parse 
1880: 28 73 54 65 78 74 2c 20 73 43 6f 75 6e 74 72 79  (sText, sCountry
1890: 3d 22 24 7b 63 6f 75 6e 74 72 79 5f 64 65 66 61  ="${country_defa
18a0: 75 6c 74 7d 22 2c 20 62 44 65 62 75 67 3d 46 61  ult}", bDebug=Fa
18b0: 6c 73 65 2c 20 64 4f 70 74 69 6f 6e 73 3d 4e 6f  lse, dOptions=No
18c0: 6e 65 2c 20 62 43 6f 6e 74 65 78 74 3d 46 61 6c  ne, bContext=Fal
18d0: 73 65 2c 20 62 46 75 6c 6c 49 6e 66 6f 3d 46 61  se, bFullInfo=Fa
18e0: 6c 73 65 29 3a 0a 20 20 20 20 22 69 6e 69 74 20  lse):.    "init 
18f0: 70 6f 69 6e 74 20 74 6f 20 61 6e 61 6c 79 73 65  point to analyse
1900: 20 3c 73 54 65 78 74 3e 20 61 6e 64 20 72 65 74   <sText> and ret
1910: 75 72 6e 73 20 61 6e 20 69 74 65 72 61 62 6c 65  urns an iterable
1920: 20 6f 66 20 65 72 72 6f 72 73 20 6f 72 20 28 77   of errors or (w
1930: 69 74 68 20 6f 70 74 69 6f 6e 20 3c 62 46 75 6c  ith option <bFul
1940: 6c 49 6e 66 6f 3e 29 20 70 61 72 61 67 72 61 70  lInfo>) paragrap
1950: 68 73 20 65 72 72 6f 72 73 20 61 6e 64 20 73 65  hs errors and se
1960: 6e 74 65 6e 63 65 73 20 77 69 74 68 20 74 6f 6b  ntences with tok
1970: 65 6e 73 20 61 6e 64 20 65 72 72 6f 72 73 22 0a  ens and errors".
1980: 20 20 20 20 6f 54 65 78 74 20 3d 20 54 65 78 74      oText = Text
1990: 50 61 72 73 65 72 28 73 54 65 78 74 29 0a 20 20  Parser(sText).  
19a0: 20 20 72 65 74 75 72 6e 20 6f 54 65 78 74 2e 70    return oText.p
19b0: 61 72 73 65 28 73 43 6f 75 6e 74 72 79 2c 20 62  arse(sCountry, b
19c0: 44 65 62 75 67 2c 20 64 4f 70 74 69 6f 6e 73 2c  Debug, dOptions,
19d0: 20 62 43 6f 6e 74 65 78 74 2c 20 62 46 75 6c 6c   bContext, bFull
19e0: 49 6e 66 6f 29 0a 0a 0a 23 23 23 23 20 54 45 58  Info)...#### TEX
19f0: 54 20 50 41 52 53 45 52 0a 0a 63 6c 61 73 73 20  T PARSER..class 
1a00: 54 65 78 74 50 61 72 73 65 72 3a 0a 20 20 20 20  TextParser:.    
1a10: 22 54 65 78 74 20 70 61 72 73 65 72 22 0a 0a 20  "Text parser".. 
1a20: 20 20 20 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 20     def __init__ 
1a30: 28 73 65 6c 66 2c 20 73 54 65 78 74 29 3a 0a 20  (self, sText):. 
1a40: 20 20 20 20 20 20 20 73 65 6c 66 2e 73 54 65 78         self.sTex
1a50: 74 20 3d 20 73 54 65 78 74 0a 20 20 20 20 20 20  t = sText.      
1a60: 20 20 73 65 6c 66 2e 73 54 65 78 74 30 20 3d 20    self.sText0 = 
1a70: 73 54 65 78 74 0a 20 20 20 20 20 20 20 20 73 65  sText.        se
1a80: 6c 66 2e 73 53 65 6e 74 65 6e 63 65 20 3d 20 22  lf.sSentence = "
1a90: 22 0a 20 20 20 20 20 20 20 20 73 65 6c 66 2e 73  ".        self.s
1aa0: 53 65 6e 74 65 6e 63 65 30 20 3d 20 22 22 0a 20  Sentence0 = "". 
1ab0: 20 20 20 20 20 20 20 73 65 6c 66 2e 6e 4f 66 66         self.nOff
1ac0: 73 65 74 57 69 74 68 69 6e 50 61 72 61 67 72 61  setWithinParagra
1ad0: 70 68 20 3d 20 30 0a 20 20 20 20 20 20 20 20 73  ph = 0.        s
1ae0: 65 6c 66 2e 6c 54 6f 6b 65 6e 20 3d 20 5b 5d 0a  elf.lToken = [].
1af0: 20 20 20 20 20 20 20 20 73 65 6c 66 2e 64 54 6f          self.dTo
1b00: 6b 65 6e 50 6f 73 20 3d 20 7b 7d 20 20 20 20 20  kenPos = {}     
1b10: 20 20 20 20 23 20 7b 70 6f 73 69 74 69 6f 6e 3a      # {position:
1b20: 20 74 6f 6b 65 6e 7d 0a 20 20 20 20 20 20 20 20   token}.        
1b30: 73 65 6c 66 2e 64 54 61 67 73 20 3d 20 7b 7d 20  self.dTags = {} 
1b40: 20 20 20 20 20 20 20 20 20 20 20 20 23 20 7b 70              # {p
1b50: 6f 73 69 74 69 6f 6e 3a 20 74 61 67 73 7d 0a 20  osition: tags}. 
1b60: 20 20 20 20 20 20 20 73 65 6c 66 2e 64 45 72 72         self.dErr
1b70: 6f 72 20 3d 20 7b 7d 20 20 20 20 20 20 20 20 20  or = {}         
1b80: 20 20 20 23 20 7b 70 6f 73 69 74 69 6f 6e 3a 20     # {position: 
1b90: 65 72 72 6f 72 7d 0a 20 20 20 20 20 20 20 20 73  error}.        s
1ba0: 65 6c 66 2e 64 53 65 6e 74 65 6e 63 65 45 72 72  elf.dSentenceErr
1bb0: 6f 72 20 3d 20 7b 7d 20 20 20 20 23 20 7b 70 6f  or = {}    # {po
1bc0: 73 69 74 69 6f 6e 3a 20 65 72 72 6f 72 7d 20 28  sition: error} (
1bd0: 66 6f 72 20 74 68 65 20 63 75 72 72 65 6e 74 20  for the current 
1be0: 73 65 6e 74 65 6e 63 65 20 6f 6e 6c 79 29 0a 20  sentence only). 
1bf0: 20 20 20 20 20 20 20 73 65 6c 66 2e 64 45 72 72         self.dErr
1c00: 6f 72 50 72 69 6f 72 69 74 79 20 3d 20 7b 7d 20  orPriority = {} 
1c10: 20 20 20 23 20 7b 70 6f 73 69 74 69 6f 6e 3a 20     # {position: 
1c20: 70 72 69 6f 72 69 74 79 20 6f 66 20 74 68 65 20  priority of the 
1c30: 63 75 72 72 65 6e 74 20 65 72 72 6f 72 7d 0a 0a  current error}..
1c40: 20 20 20 20 64 65 66 20 5f 5f 73 74 72 5f 5f 20      def __str__ 
1c50: 28 73 65 6c 66 29 3a 0a 20 20 20 20 20 20 20 20  (self):.        
1c60: 73 20 3d 20 22 3d 3d 3d 3d 3d 20 54 45 58 54 20  s = "===== TEXT 
1c70: 3d 3d 3d 3d 3d 5c 6e 22 0a 20 20 20 20 20 20 20  =====\n".       
1c80: 20 73 20 2b 3d 20 22 73 65 6e 74 65 6e 63 65 3a   s += "sentence:
1c90: 20 22 20 2b 20 73 65 6c 66 2e 73 53 65 6e 74 65   " + self.sSente
1ca0: 6e 63 65 30 20 2b 20 22 5c 6e 22 0a 20 20 20 20  nce0 + "\n".    
1cb0: 20 20 20 20 73 20 2b 3d 20 22 6e 6f 77 3a 20 20      s += "now:  
1cc0: 20 20 20 20 22 20 2b 20 73 65 6c 66 2e 73 53 65      " + self.sSe
1cd0: 6e 74 65 6e 63 65 20 20 2b 20 22 5c 6e 22 0a 20  ntence  + "\n". 
1ce0: 20 20 20 20 20 20 20 66 6f 72 20 64 54 6f 6b 65         for dToke
1cf0: 6e 20 69 6e 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e  n in self.lToken
1d00: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 20  :.            s 
1d10: 2b 3d 20 27 23 7b 69 7d 5c 74 7b 6e 53 74 61 72  += '#{i}\t{nStar
1d20: 74 7d 3a 7b 6e 45 6e 64 7d 5c 74 7b 73 56 61 6c  t}:{nEnd}\t{sVal
1d30: 75 65 7d 5c 74 7b 73 54 79 70 65 7d 27 2e 66 6f  ue}\t{sType}'.fo
1d40: 72 6d 61 74 28 2a 2a 64 54 6f 6b 65 6e 29 0a 20  rmat(**dToken). 
1d50: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 22 6c             if "l
1d60: 4d 6f 72 70 68 22 20 69 6e 20 64 54 6f 6b 65 6e  Morph" in dToken
1d70: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
1d80: 20 20 73 20 2b 3d 20 22 5c 74 22 20 2b 20 73 74    s += "\t" + st
1d90: 72 28 64 54 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68  r(dToken["lMorph
1da0: 22 5d 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  "]).            
1db0: 69 66 20 22 61 54 61 67 73 22 20 69 6e 20 64 54  if "aTags" in dT
1dc0: 6f 6b 65 6e 3a 0a 20 20 20 20 20 20 20 20 20 20  oken:.          
1dd0: 20 20 20 20 20 20 73 20 2b 3d 20 22 5c 74 22 20        s += "\t" 
1de0: 2b 20 73 74 72 28 64 54 6f 6b 65 6e 5b 22 61 54  + str(dToken["aT
1df0: 61 67 73 22 5d 29 0a 20 20 20 20 20 20 20 20 20  ags"]).         
1e00: 20 20 20 73 20 2b 3d 20 22 5c 6e 22 0a 20 20 20     s += "\n".   
1e10: 20 20 20 20 20 23 66 6f 72 20 6e 50 6f 73 2c 20       #for nPos, 
1e20: 64 54 6f 6b 65 6e 20 69 6e 20 73 65 6c 66 2e 64  dToken in self.d
1e30: 54 6f 6b 65 6e 50 6f 73 2e 69 74 65 6d 73 28 29  TokenPos.items()
1e40: 3a 0a 20 20 20 20 20 20 20 20 23 20 20 20 20 73  :.        #    s
1e50: 20 2b 3d 20 22 7b 7d 5c 74 7b 7d 5c 6e 22 2e 66   += "{}\t{}\n".f
1e60: 6f 72 6d 61 74 28 6e 50 6f 73 2c 20 64 54 6f 6b  ormat(nPos, dTok
1e70: 65 6e 29 0a 20 20 20 20 20 20 20 20 72 65 74 75  en).        retu
1e80: 72 6e 20 73 0a 0a 20 20 20 20 64 65 66 20 70 61  rn s..    def pa
1e90: 72 73 65 20 28 73 65 6c 66 2c 20 73 43 6f 75 6e  rse (self, sCoun
1ea0: 74 72 79 3d 22 24 7b 63 6f 75 6e 74 72 79 5f 64  try="${country_d
1eb0: 65 66 61 75 6c 74 7d 22 2c 20 62 44 65 62 75 67  efault}", bDebug
1ec0: 3d 46 61 6c 73 65 2c 20 64 4f 70 74 69 6f 6e 73  =False, dOptions
1ed0: 3d 4e 6f 6e 65 2c 20 62 43 6f 6e 74 65 78 74 3d  =None, bContext=
1ee0: 46 61 6c 73 65 2c 20 62 46 75 6c 6c 49 6e 66 6f  False, bFullInfo
1ef0: 3d 46 61 6c 73 65 29 3a 0a 20 20 20 20 20 20 20  =False):.       
1f00: 20 22 61 6e 61 6c 79 73 65 73 20 3c 73 54 65 78   "analyses <sTex
1f10: 74 3e 20 61 6e 64 20 72 65 74 75 72 6e 73 20 61  t> and returns a
1f20: 6e 20 69 74 65 72 61 62 6c 65 20 6f 66 20 65 72  n iterable of er
1f30: 72 6f 72 73 20 6f 72 20 28 77 69 74 68 20 6f 70  rors or (with op
1f40: 74 69 6f 6e 20 3c 62 46 75 6c 6c 49 6e 66 6f 3e  tion <bFullInfo>
1f50: 29 20 70 61 72 61 67 72 61 70 68 73 20 65 72 72  ) paragraphs err
1f60: 6f 72 73 20 61 6e 64 20 73 65 6e 74 65 6e 63 65  ors and sentence
1f70: 73 20 77 69 74 68 20 74 6f 6b 65 6e 73 20 61 6e  s with tokens an
1f80: 64 20 65 72 72 6f 72 73 22 0a 20 20 20 20 20 20  d errors".      
1f90: 20 20 23 73 54 65 78 74 20 3d 20 75 6e 69 63 6f    #sText = unico
1fa0: 64 65 64 61 74 61 2e 6e 6f 72 6d 61 6c 69 7a 65  dedata.normalize
1fb0: 28 22 4e 46 43 22 2c 20 73 54 65 78 74 29 0a 20  ("NFC", sText). 
1fc0: 20 20 20 20 20 20 20 64 4f 70 74 20 3d 20 64 4f         dOpt = dO
1fd0: 70 74 69 6f 6e 73 20 6f 72 20 5f 64 4f 70 74 69  ptions or _dOpti
1fe0: 6f 6e 73 0a 20 20 20 20 20 20 20 20 62 53 68 6f  ons.        bSho
1ff0: 77 52 75 6c 65 49 64 20 3d 20 6f 70 74 69 6f 6e  wRuleId = option
2000: 28 27 69 64 72 75 6c 65 27 29 0a 20 20 20 20 20  ('idrule').     
2010: 20 20 20 23 20 70 61 72 73 65 20 70 61 72 61 67     # parse parag
2020: 72 61 70 68 0a 20 20 20 20 20 20 20 20 74 72 79  raph.        try
2030: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 65  :.            se
2040: 6c 66 2e 70 61 72 73 65 54 65 78 74 28 73 65 6c  lf.parseText(sel
2050: 66 2e 73 54 65 78 74 2c 20 73 65 6c 66 2e 73 54  f.sText, self.sT
2060: 65 78 74 30 2c 20 54 72 75 65 2c 20 30 2c 20 73  ext0, True, 0, s
2070: 43 6f 75 6e 74 72 79 2c 20 64 4f 70 74 2c 20 62  Country, dOpt, b
2080: 53 68 6f 77 52 75 6c 65 49 64 2c 20 62 44 65 62  ShowRuleId, bDeb
2090: 75 67 2c 20 62 43 6f 6e 74 65 78 74 29 0a 20 20  ug, bContext).  
20a0: 20 20 20 20 20 20 65 78 63 65 70 74 3a 0a 20 20        except:.  
20b0: 20 20 20 20 20 20 20 20 20 20 72 61 69 73 65 0a            raise.
20c0: 20 20 20 20 20 20 20 20 69 66 20 62 46 75 6c 6c          if bFull
20d0: 49 6e 66 6f 3a 0a 20 20 20 20 20 20 20 20 20 20  Info:.          
20e0: 20 20 6c 50 61 72 61 67 72 61 70 68 45 72 72 6f    lParagraphErro
20f0: 72 73 20 3d 20 6c 69 73 74 28 73 65 6c 66 2e 64  rs = list(self.d
2100: 45 72 72 6f 72 2e 76 61 6c 75 65 73 28 29 29 0a  Error.values()).
2110: 20 20 20 20 20 20 20 20 20 20 20 20 6c 53 65 6e              lSen
2120: 74 65 6e 63 65 73 20 3d 20 5b 5d 0a 20 20 20 20  tences = [].    
2130: 20 20 20 20 20 20 20 20 73 65 6c 66 2e 64 53 65          self.dSe
2140: 6e 74 65 6e 63 65 45 72 72 6f 72 2e 63 6c 65 61  ntenceError.clea
2150: 72 28 29 0a 20 20 20 20 20 20 20 20 23 20 70 61  r().        # pa
2160: 72 73 65 20 73 65 6e 74 65 6e 63 65 73 0a 20 20  rse sentences.  
2170: 20 20 20 20 20 20 73 54 65 78 74 20 3d 20 73 65        sText = se
2180: 6c 66 2e 5f 67 65 74 43 6c 65 61 6e 54 65 78 74  lf._getCleanText
2190: 28 29 0a 20 20 20 20 20 20 20 20 66 6f 72 20 69  ().        for i
21a0: 53 74 61 72 74 2c 20 69 45 6e 64 20 69 6e 20 74  Start, iEnd in t
21b0: 65 78 74 2e 67 65 74 53 65 6e 74 65 6e 63 65 42  ext.getSentenceB
21c0: 6f 75 6e 64 61 72 69 65 73 28 73 54 65 78 74 29  oundaries(sText)
21d0: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 66  :.            if
21e0: 20 34 20 3c 20 28 69 45 6e 64 20 2d 20 69 53 74   4 < (iEnd - iSt
21f0: 61 72 74 29 20 3c 20 32 30 30 30 3a 0a 20 20 20  art) < 2000:.   
2200: 20 20 20 20 20 20 20 20 20 20 20 20 20 74 72 79               try
2210: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
2220: 20 20 20 20 20 20 73 65 6c 66 2e 73 53 65 6e 74        self.sSent
2230: 65 6e 63 65 20 3d 20 73 54 65 78 74 5b 69 53 74  ence = sText[iSt
2240: 61 72 74 3a 69 45 6e 64 5d 0a 20 20 20 20 20 20  art:iEnd].      
2250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 73 65                se
2260: 6c 66 2e 73 53 65 6e 74 65 6e 63 65 30 20 3d 20  lf.sSentence0 = 
2270: 73 65 6c 66 2e 73 54 65 78 74 30 5b 69 53 74 61  self.sText0[iSta
2280: 72 74 3a 69 45 6e 64 5d 0a 20 20 20 20 20 20 20  rt:iEnd].       
2290: 20 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c               sel
22a0: 66 2e 6e 4f 66 66 73 65 74 57 69 74 68 69 6e 50  f.nOffsetWithinP
22b0: 61 72 61 67 72 61 70 68 20 3d 20 69 53 74 61 72  aragraph = iStar
22c0: 74 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  t.              
22d0: 20 20 20 20 20 20 73 65 6c 66 2e 6c 54 6f 6b 65        self.lToke
22e0: 6e 20 3d 20 6c 69 73 74 28 5f 6f 54 6f 6b 65 6e  n = list(_oToken
22f0: 69 7a 65 72 2e 67 65 6e 54 6f 6b 65 6e 73 28 73  izer.genTokens(s
2300: 65 6c 66 2e 73 53 65 6e 74 65 6e 63 65 2c 20 54  elf.sSentence, T
2310: 72 75 65 29 29 0a 20 20 20 20 20 20 20 20 20 20  rue)).          
2320: 20 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 64            self.d
2330: 54 6f 6b 65 6e 50 6f 73 20 3d 20 7b 20 64 54 6f  TokenPos = { dTo
2340: 6b 65 6e 5b 22 6e 53 74 61 72 74 22 5d 3a 20 64  ken["nStart"]: d
2350: 54 6f 6b 65 6e 20 20 66 6f 72 20 64 54 6f 6b 65  Token  for dToke
2360: 6e 20 69 6e 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e  n in self.lToken
2370: 20 20 69 66 20 64 54 6f 6b 65 6e 5b 22 73 54 79    if dToken["sTy
2380: 70 65 22 5d 20 21 3d 20 22 49 4e 46 4f 22 20 7d  pe"] != "INFO" }
2390: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
23a0: 20 20 20 20 20 69 66 20 62 46 75 6c 6c 49 6e 66       if bFullInf
23b0: 6f 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  o:.             
23c0: 20 20 20 20 20 20 20 20 20 20 20 64 53 65 6e 74             dSent
23d0: 65 6e 63 65 20 3d 20 7b 20 22 6e 53 74 61 72 74  ence = { "nStart
23e0: 22 3a 20 69 53 74 61 72 74 2c 20 22 6e 45 6e 64  ": iStart, "nEnd
23f0: 22 3a 20 69 45 6e 64 2c 20 22 73 53 65 6e 74 65  ": iEnd, "sSente
2400: 6e 63 65 22 3a 20 73 65 6c 66 2e 73 53 65 6e 74  nce": self.sSent
2410: 65 6e 63 65 2c 20 22 6c 54 6f 6b 65 6e 22 3a 20  ence, "lToken": 
2420: 6c 69 73 74 28 73 65 6c 66 2e 6c 54 6f 6b 65 6e  list(self.lToken
2430: 29 20 7d 0a 20 20 20 20 20 20 20 20 20 20 20 20  ) }.            
2440: 20 20 20 20 20 20 20 20 20 20 20 20 66 6f 72 20              for 
2450: 64 54 6f 6b 65 6e 20 69 6e 20 64 53 65 6e 74 65  dToken in dSente
2460: 6e 63 65 5b 22 6c 54 6f 6b 65 6e 22 5d 3a 0a 20  nce["lToken"]:. 
2470: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2480: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 64 54             if dT
2490: 6f 6b 65 6e 5b 22 73 54 79 70 65 22 5d 20 3d 3d  oken["sType"] ==
24a0: 20 22 57 4f 52 44 22 3a 0a 20 20 20 20 20 20 20   "WORD":.       
24b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
24c0: 20 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 5b           dToken[
24d0: 22 62 56 61 6c 69 64 54 6f 6b 65 6e 22 5d 20 3d  "bValidToken"] =
24e0: 20 5f 6f 53 70 65 6c 6c 43 68 65 63 6b 65 72 2e   _oSpellChecker.
24f0: 69 73 56 61 6c 69 64 54 6f 6b 65 6e 28 64 54 6f  isValidToken(dTo
2500: 6b 65 6e 5b 22 73 56 61 6c 75 65 22 5d 29 0a 20  ken["sValue"]). 
2510: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2520: 20 20 20 20 20 20 20 23 20 74 68 65 20 6c 69 73         # the lis
2530: 74 20 6f 66 20 74 6f 6b 65 6e 73 20 69 73 20 64  t of tokens is d
2540: 75 70 6c 69 63 61 74 65 64 2c 20 74 6f 20 6b 65  uplicated, to ke
2550: 65 70 20 61 6c 6c 20 74 6f 6b 65 6e 73 20 66 72  ep all tokens fr
2560: 6f 6d 20 62 65 69 6e 67 20 64 65 6c 65 74 65 64  om being deleted
2570: 20 77 68 65 6e 20 61 6e 61 6c 79 73 69 73 0a 20   when analysis. 
2580: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2590: 20 20 20 73 65 6c 66 2e 70 61 72 73 65 54 65 78     self.parseTex
25a0: 74 28 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63 65  t(self.sSentence
25b0: 2c 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63 65  , self.sSentence
25c0: 30 2c 20 46 61 6c 73 65 2c 20 69 53 74 61 72 74  0, False, iStart
25d0: 2c 20 73 43 6f 75 6e 74 72 79 2c 20 64 4f 70 74  , sCountry, dOpt
25e0: 2c 20 62 53 68 6f 77 52 75 6c 65 49 64 2c 20 62  , bShowRuleId, b
25f0: 44 65 62 75 67 2c 20 62 43 6f 6e 74 65 78 74 29  Debug, bContext)
2600: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
2610: 20 20 20 20 20 69 66 20 62 46 75 6c 6c 49 6e 66       if bFullInf
2620: 6f 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  o:.             
2630: 20 20 20 20 20 20 20 20 20 20 20 64 53 65 6e 74             dSent
2640: 65 6e 63 65 5b 22 6c 47 72 61 6d 6d 61 72 45 72  ence["lGrammarEr
2650: 72 6f 72 73 22 5d 20 3d 20 6c 69 73 74 28 73 65  rors"] = list(se
2660: 6c 66 2e 64 53 65 6e 74 65 6e 63 65 45 72 72 6f  lf.dSentenceErro
2670: 72 2e 76 61 6c 75 65 73 28 29 29 0a 20 20 20 20  r.values()).    
2680: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2690: 20 20 20 20 6c 53 65 6e 74 65 6e 63 65 73 2e 61      lSentences.a
26a0: 70 70 65 6e 64 28 64 53 65 6e 74 65 6e 63 65 29  ppend(dSentence)
26b0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
26c0: 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 64 53           self.dS
26d0: 65 6e 74 65 6e 63 65 45 72 72 6f 72 2e 63 6c 65  entenceError.cle
26e0: 61 72 28 29 0a 20 20 20 20 20 20 20 20 20 20 20  ar().           
26f0: 20 20 20 20 20 65 78 63 65 70 74 3a 0a 20 20 20       except:.   
2700: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2710: 20 72 61 69 73 65 0a 20 20 20 20 20 20 20 20 69   raise.        i
2720: 66 20 62 46 75 6c 6c 49 6e 66 6f 3a 0a 20 20 20  f bFullInfo:.   
2730: 20 20 20 20 20 20 20 20 20 23 20 47 72 61 6d 6d           # Gramm
2740: 61 72 20 63 68 65 63 6b 69 6e 67 20 61 6e 64 20  ar checking and 
2750: 73 65 6e 74 65 6e 63 65 20 61 6e 61 6c 79 73 69  sentence analysi
2760: 73 0a 20 20 20 20 20 20 20 20 20 20 20 20 72 65  s.            re
2770: 74 75 72 6e 20 6c 50 61 72 61 67 72 61 70 68 45  turn lParagraphE
2780: 72 72 6f 72 73 2c 20 6c 53 65 6e 74 65 6e 63 65  rrors, lSentence
2790: 73 0a 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a  s.        else:.
27a0: 20 20 20 20 20 20 20 20 20 20 20 20 23 20 47 72              # Gr
27b0: 61 6d 6d 61 72 20 63 68 65 63 6b 69 6e 67 20 6f  ammar checking o
27c0: 6e 6c 79 0a 20 20 20 20 20 20 20 20 20 20 20 20  nly.            
27d0: 72 65 74 75 72 6e 20 73 65 6c 66 2e 64 45 72 72  return self.dErr
27e0: 6f 72 2e 76 61 6c 75 65 73 28 29 20 23 20 74 68  or.values() # th
27f0: 69 73 20 69 73 20 61 20 76 69 65 77 20 28 69 74  is is a view (it
2800: 65 72 61 62 6c 65 29 0a 0a 20 20 20 20 64 65 66  erable)..    def
2810: 20 5f 67 65 74 43 6c 65 61 6e 54 65 78 74 20 28   _getCleanText (
2820: 73 65 6c 66 29 3a 0a 20 20 20 20 20 20 20 20 73  self):.        s
2830: 54 65 78 74 20 3d 20 73 65 6c 66 2e 73 54 65 78  Text = self.sTex
2840: 74 0a 20 20 20 20 20 20 20 20 69 66 20 22 c2 a0  t.        if "..
2850: 22 20 69 6e 20 73 54 65 78 74 3a 0a 20 20 20 20  " in sText:.    
2860: 20 20 20 20 20 20 20 20 73 54 65 78 74 20 3d 20          sText = 
2870: 73 54 65 78 74 2e 72 65 70 6c 61 63 65 28 22 c2  sText.replace(".
2880: a0 22 2c 20 27 20 27 29 20 23 20 6e 62 73 70 0a  .", ' ') # nbsp.
2890: 20 20 20 20 20 20 20 20 69 66 20 22 e2 80 af 22          if "..."
28a0: 20 69 6e 20 73 54 65 78 74 3a 0a 20 20 20 20 20   in sText:.     
28b0: 20 20 20 20 20 20 20 73 54 65 78 74 20 3d 20 73         sText = s
28c0: 54 65 78 74 2e 72 65 70 6c 61 63 65 28 22 e2 80  Text.replace("..
28d0: af 22 2c 20 27 20 27 29 20 23 20 6e 6e 62 73 70  .", ' ') # nnbsp
28e0: 0a 20 20 20 20 20 20 20 20 69 66 20 22 27 22 20  .        if "'" 
28f0: 69 6e 20 73 54 65 78 74 3a 0a 20 20 20 20 20 20  in sText:.      
2900: 20 20 20 20 20 20 73 54 65 78 74 20 3d 20 73 54        sText = sT
2910: 65 78 74 2e 72 65 70 6c 61 63 65 28 22 27 22 2c  ext.replace("'",
2920: 20 22 e2 80 99 22 29 0a 20 20 20 20 20 20 20 20   "...").        
2930: 69 66 20 22 e2 80 91 22 20 69 6e 20 73 54 65 78  if "..." in sTex
2940: 74 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 73  t:.            s
2950: 54 65 78 74 20 3d 20 73 54 65 78 74 2e 72 65 70  Text = sText.rep
2960: 6c 61 63 65 28 22 e2 80 91 22 2c 20 22 2d 22 29  lace("...", "-")
2970: 20 23 20 6e 6f 62 72 65 61 6b 64 61 73 68 0a 20   # nobreakdash. 
2980: 20 20 20 20 20 20 20 69 66 20 22 40 40 22 20 69         if "@@" i
2990: 6e 20 73 54 65 78 74 3a 0a 20 20 20 20 20 20 20  n sText:.       
29a0: 20 20 20 20 20 73 54 65 78 74 20 3d 20 72 65 2e       sText = re.
29b0: 73 75 62 28 22 40 40 2b 22 2c 20 22 22 2c 20 73  sub("@@+", "", s
29c0: 54 65 78 74 29 0a 20 20 20 20 20 20 20 20 72 65  Text).        re
29d0: 74 75 72 6e 20 73 54 65 78 74 0a 0a 20 20 20 20  turn sText..    
29e0: 64 65 66 20 70 61 72 73 65 54 65 78 74 20 28 73  def parseText (s
29f0: 65 6c 66 2c 20 73 54 65 78 74 2c 20 73 54 65 78  elf, sText, sTex
2a00: 74 30 2c 20 62 50 61 72 61 67 72 61 70 68 2c 20  t0, bParagraph, 
2a10: 6e 4f 66 66 73 65 74 2c 20 73 43 6f 75 6e 74 72  nOffset, sCountr
2a20: 79 2c 20 64 4f 70 74 69 6f 6e 73 2c 20 62 53 68  y, dOptions, bSh
2a30: 6f 77 52 75 6c 65 49 64 2c 20 62 44 65 62 75 67  owRuleId, bDebug
2a40: 2c 20 62 43 6f 6e 74 65 78 74 29 3a 0a 20 20 20  , bContext):.   
2a50: 20 20 20 20 20 22 70 61 72 73 65 20 74 68 65 20       "parse the 
2a60: 74 65 78 74 20 77 69 74 68 20 72 75 6c 65 73 22  text with rules"
2a70: 0a 20 20 20 20 20 20 20 20 62 43 68 61 6e 67 65  .        bChange
2a80: 20 3d 20 46 61 6c 73 65 0a 20 20 20 20 20 20 20   = False.       
2a90: 20 66 6f 72 20 73 4f 70 74 69 6f 6e 2c 20 6c 52   for sOption, lR
2aa0: 75 6c 65 47 72 6f 75 70 20 69 6e 20 5f 67 65 74  uleGroup in _get
2ab0: 52 75 6c 65 73 28 62 50 61 72 61 67 72 61 70 68  Rules(bParagraph
2ac0: 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 69  ):.            i
2ad0: 66 20 73 4f 70 74 69 6f 6e 20 3d 3d 20 22 40 40  f sOption == "@@
2ae0: 40 40 22 3a 0a 20 20 20 20 20 20 20 20 20 20 20  @@":.           
2af0: 20 20 20 20 20 23 20 67 72 61 70 68 20 72 75 6c       # graph rul
2b00: 65 73 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  es.             
2b10: 20 20 20 69 66 20 6e 6f 74 20 62 50 61 72 61 67     if not bParag
2b20: 72 61 70 68 20 61 6e 64 20 62 43 68 61 6e 67 65  raph and bChange
2b30: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
2b40: 20 20 20 20 20 20 73 65 6c 66 2e 75 70 64 61 74        self.updat
2b50: 65 28 73 54 65 78 74 2c 20 62 44 65 62 75 67 29  e(sText, bDebug)
2b60: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
2b70: 20 20 20 20 20 62 43 68 61 6e 67 65 20 3d 20 46       bChange = F
2b80: 61 6c 73 65 0a 20 20 20 20 20 20 20 20 20 20 20  alse.           
2b90: 20 20 20 20 20 66 6f 72 20 73 47 72 61 70 68 4e       for sGraphN
2ba0: 61 6d 65 2c 20 73 4c 69 6e 65 49 64 20 69 6e 20  ame, sLineId in 
2bb0: 6c 52 75 6c 65 47 72 6f 75 70 3a 0a 20 20 20 20  lRuleGroup:.    
2bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2bd0: 69 66 20 73 47 72 61 70 68 4e 61 6d 65 20 6e 6f  if sGraphName no
2be0: 74 20 69 6e 20 64 4f 70 74 69 6f 6e 73 20 6f 72  t in dOptions or
2bf0: 20 64 4f 70 74 69 6f 6e 73 5b 73 47 72 61 70 68   dOptions[sGraph
2c00: 4e 61 6d 65 5d 3a 0a 20 20 20 20 20 20 20 20 20  Name]:.         
2c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69                 i
2c20: 66 20 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20  f bDebug:.      
2c30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2c40: 20 20 20 20 20 20 65 63 68 6f 28 22 5c 6e 3e 3e        echo("\n>>
2c50: 3e 3e 20 47 52 41 50 48 3a 20 22 20 2b 20 73 47  >> GRAPH: " + sG
2c60: 72 61 70 68 4e 61 6d 65 20 2b 20 22 20 22 20 2b  raphName + " " +
2c70: 20 73 4c 69 6e 65 49 64 29 0a 20 20 20 20 20 20   sLineId).      
2c80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2c90: 20 20 73 54 65 78 74 20 3d 20 73 65 6c 66 2e 70    sText = self.p
2ca0: 61 72 73 65 47 72 61 70 68 28 5f 72 75 6c 65 73  arseGraph(_rules
2cb0: 5f 67 72 61 70 68 2e 64 41 6c 6c 47 72 61 70 68  _graph.dAllGraph
2cc0: 5b 73 47 72 61 70 68 4e 61 6d 65 5d 2c 20 73 43  [sGraphName], sC
2cd0: 6f 75 6e 74 72 79 2c 20 64 4f 70 74 69 6f 6e 73  ountry, dOptions
2ce0: 2c 20 62 53 68 6f 77 52 75 6c 65 49 64 2c 20 62  , bShowRuleId, b
2cf0: 44 65 62 75 67 2c 20 62 43 6f 6e 74 65 78 74 29  Debug, bContext)
2d00: 0a 20 20 20 20 20 20 20 20 20 20 20 20 65 6c 69  .            eli
2d10: 66 20 6e 6f 74 20 73 4f 70 74 69 6f 6e 20 6f 72  f not sOption or
2d20: 20 64 4f 70 74 69 6f 6e 73 2e 67 65 74 28 73 4f   dOptions.get(sO
2d30: 70 74 69 6f 6e 2c 20 46 61 6c 73 65 29 3a 0a 20  ption, False):. 
2d40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 23                 #
2d50: 20 72 65 67 65 78 20 72 75 6c 65 73 0a 20 20 20   regex rules.   
2d60: 20 20 20 20 20 20 20 20 20 20 20 20 20 66 6f 72               for
2d70: 20 7a 52 65 67 65 78 2c 20 62 55 70 70 65 72 63   zRegex, bUpperc
2d80: 61 73 65 2c 20 73 4c 69 6e 65 49 64 2c 20 73 52  ase, sLineId, sR
2d90: 75 6c 65 49 64 2c 20 6e 50 72 69 6f 72 69 74 79  uleId, nPriority
2da0: 2c 20 6c 41 63 74 69 6f 6e 73 20 69 6e 20 6c 52  , lActions in lR
2db0: 75 6c 65 47 72 6f 75 70 3a 0a 20 20 20 20 20 20  uleGroup:.      
2dc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
2dd0: 20 73 52 75 6c 65 49 64 20 6e 6f 74 20 69 6e 20   sRuleId not in 
2de0: 5f 61 49 67 6e 6f 72 65 64 52 75 6c 65 73 3a 0a  _aIgnoredRules:.
2df0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2e00: 20 20 20 20 20 20 20 20 66 6f 72 20 6d 20 69 6e          for m in
2e10: 20 7a 52 65 67 65 78 2e 66 69 6e 64 69 74 65 72   zRegex.finditer
2e20: 28 73 54 65 78 74 29 3a 0a 20 20 20 20 20 20 20  (sText):.       
2e30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2e40: 20 20 20 20 20 62 43 6f 6e 64 4d 65 6d 6f 20 3d       bCondMemo =
2e50: 20 4e 6f 6e 65 0a 20 20 20 20 20 20 20 20 20 20   None.          
2e60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2e70: 20 20 66 6f 72 20 73 46 75 6e 63 43 6f 6e 64 2c    for sFuncCond,
2e80: 20 63 41 63 74 69 6f 6e 54 79 70 65 2c 20 73 57   cActionType, sW
2e90: 68 61 74 2c 20 2a 65 41 63 74 20 69 6e 20 6c 41  hat, *eAct in lA
2ea0: 63 74 69 6f 6e 73 3a 0a 20 20 20 20 20 20 20 20  ctions:.        
2eb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2ec0: 20 20 20 20 20 20 20 20 23 20 61 63 74 69 6f 6e          # action
2ed0: 20 69 6e 20 6c 41 63 74 69 6f 6e 73 3a 20 5b 20   in lActions: [ 
2ee0: 63 6f 6e 64 69 74 69 6f 6e 2c 20 61 63 74 69 6f  condition, actio
2ef0: 6e 20 74 79 70 65 2c 20 72 65 70 6c 61 63 65 6d  n type, replacem
2f00: 65 6e 74 2f 73 75 67 67 65 73 74 69 6f 6e 2f 61  ent/suggestion/a
2f10: 63 74 69 6f 6e 5b 2c 20 69 47 72 6f 75 70 5b 2c  ction[, iGroup[,
2f20: 20 6d 65 73 73 61 67 65 2c 20 55 52 4c 5d 5d 20   message, URL]] 
2f30: 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ].              
2f40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2f50: 20 20 74 72 79 3a 0a 20 20 20 20 20 20 20 20 20    try:.         
2f60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2f70: 20 20 20 20 20 20 20 20 20 20 20 62 43 6f 6e 64             bCond
2f80: 4d 65 6d 6f 20 3d 20 6e 6f 74 20 73 46 75 6e 63  Memo = not sFunc
2f90: 43 6f 6e 64 20 6f 72 20 67 6c 6f 62 61 6c 73 28  Cond or globals(
2fa0: 29 5b 73 46 75 6e 63 43 6f 6e 64 5d 28 73 54 65  )[sFuncCond](sTe
2fb0: 78 74 2c 20 73 54 65 78 74 30 2c 20 6d 2c 20 73  xt, sText0, m, s
2fc0: 65 6c 66 2e 64 54 6f 6b 65 6e 50 6f 73 2c 20 73  elf.dTokenPos, s
2fd0: 43 6f 75 6e 74 72 79 2c 20 62 43 6f 6e 64 4d 65  Country, bCondMe
2fe0: 6d 6f 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  mo).            
2ff0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3000: 20 20 20 20 20 20 20 20 69 66 20 62 43 6f 6e 64          if bCond
3010: 4d 65 6d 6f 3a 0a 20 20 20 20 20 20 20 20 20 20  Memo:.          
3020: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3030: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
3040: 20 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20 20   bDebug:.       
3050: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3060: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3070: 20 20 20 20 20 65 63 68 6f 28 22 52 55 4c 45 3a       echo("RULE:
3080: 20 22 20 2b 20 73 4c 69 6e 65 49 64 29 0a 20 20   " + sLineId).  
3090: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
30a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
30b0: 20 20 20 20 20 20 69 66 20 63 41 63 74 69 6f 6e        if cAction
30c0: 54 79 70 65 20 3d 3d 20 22 2d 22 3a 0a 20 20 20  Type == "-":.   
30d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
30e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
30f0: 20 20 20 20 20 20 20 20 20 23 20 67 72 61 6d 6d           # gramm
3100: 61 72 20 65 72 72 6f 72 0a 20 20 20 20 20 20 20  ar error.       
3110: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3120: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3130: 20 20 20 20 20 6e 45 72 72 6f 72 53 74 61 72 74       nErrorStart
3140: 20 3d 20 6e 4f 66 66 73 65 74 20 2b 20 6d 2e 73   = nOffset + m.s
3150: 74 61 72 74 28 65 41 63 74 5b 30 5d 29 0a 20 20  tart(eAct[0]).  
3160: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3170: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3180: 20 20 20 20 20 20 20 20 20 20 69 66 20 6e 45 72            if nEr
3190: 72 6f 72 53 74 61 72 74 20 6e 6f 74 20 69 6e 20  rorStart not in 
31a0: 73 65 6c 66 2e 64 45 72 72 6f 72 20 6f 72 20 6e  self.dError or n
31b0: 50 72 69 6f 72 69 74 79 20 3e 20 73 65 6c 66 2e  Priority > self.
31c0: 64 45 72 72 6f 72 50 72 69 6f 72 69 74 79 2e 67  dErrorPriority.g
31d0: 65 74 28 6e 45 72 72 6f 72 53 74 61 72 74 2c 20  et(nErrorStart, 
31e0: 2d 31 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20  -1):.           
31f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3200: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3210: 20 20 20 20 20 73 65 6c 66 2e 64 45 72 72 6f 72       self.dError
3220: 5b 6e 45 72 72 6f 72 53 74 61 72 74 5d 20 3d 20  [nErrorStart] = 
3230: 73 65 6c 66 2e 5f 63 72 65 61 74 65 45 72 72 6f  self._createErro
3240: 72 46 72 6f 6d 52 65 67 65 78 28 73 54 65 78 74  rFromRegex(sText
3250: 2c 20 73 54 65 78 74 30 2c 20 73 57 68 61 74 2c  , sText0, sWhat,
3260: 20 6e 4f 66 66 73 65 74 2c 20 6d 2c 20 65 41 63   nOffset, m, eAc
3270: 74 5b 30 5d 2c 20 73 4c 69 6e 65 49 64 2c 20 73  t[0], sLineId, s
3280: 52 75 6c 65 49 64 2c 20 62 55 70 70 65 72 63 61  RuleId, bUpperca
3290: 73 65 2c 20 65 41 63 74 5b 31 5d 2c 20 65 41 63  se, eAct[1], eAc
32a0: 74 5b 32 5d 2c 20 62 53 68 6f 77 52 75 6c 65 49  t[2], bShowRuleI
32b0: 64 2c 20 73 4f 70 74 69 6f 6e 2c 20 62 43 6f 6e  d, sOption, bCon
32c0: 74 65 78 74 29 0a 20 20 20 20 20 20 20 20 20 20  text).          
32d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
32e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
32f0: 20 20 20 20 20 20 73 65 6c 66 2e 64 45 72 72 6f        self.dErro
3300: 72 50 72 69 6f 72 69 74 79 5b 6e 45 72 72 6f 72  rPriority[nError
3310: 53 74 61 72 74 5d 20 3d 20 6e 50 72 69 6f 72 69  Start] = nPriori
3320: 74 79 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  ty.             
3330: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3340: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3350: 20 20 20 73 65 6c 66 2e 64 53 65 6e 74 65 6e 63     self.dSentenc
3360: 65 45 72 72 6f 72 5b 6e 45 72 72 6f 72 53 74 61  eError[nErrorSta
3370: 72 74 5d 20 3d 20 73 65 6c 66 2e 64 45 72 72 6f  rt] = self.dErro
3380: 72 5b 6e 45 72 72 6f 72 53 74 61 72 74 5d 0a 20  r[nErrorStart]. 
3390: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
33a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
33b0: 20 20 20 20 20 20 20 65 6c 69 66 20 63 41 63 74         elif cAct
33c0: 69 6f 6e 54 79 70 65 20 3d 3d 20 22 7e 22 3a 0a  ionType == "~":.
33d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
33e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
33f0: 20 20 20 20 20 20 20 20 20 20 20 20 23 20 74 65              # te
3400: 78 74 20 70 72 6f 63 65 73 73 6f 72 0a 20 20 20  xt processor.   
3410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3420: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3430: 20 20 20 20 20 20 20 20 20 73 54 65 78 74 20 3d           sText =
3440: 20 73 65 6c 66 2e 72 65 77 72 69 74 65 54 65 78   self.rewriteTex
3450: 74 28 73 54 65 78 74 2c 20 73 57 68 61 74 2c 20  t(sText, sWhat, 
3460: 65 41 63 74 5b 30 5d 2c 20 6d 2c 20 62 55 70 70  eAct[0], m, bUpp
3470: 65 72 63 61 73 65 29 0a 20 20 20 20 20 20 20 20  ercase).        
3480: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3490: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
34a0: 20 20 20 20 62 43 68 61 6e 67 65 20 3d 20 54 72      bChange = Tr
34b0: 75 65 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  ue.             
34c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
34d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69                 i
34e0: 66 20 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20  f bDebug:.      
34f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3500: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3510: 20 20 20 20 20 20 20 20 20 20 65 63 68 6f 28 22            echo("
3520: 7e 20 22 20 2b 20 73 54 65 78 74 20 2b 20 22 20  ~ " + sText + " 
3530: 20 2d 2d 20 22 20 2b 20 6d 2e 67 72 6f 75 70 28   -- " + m.group(
3540: 65 41 63 74 5b 30 5d 29 20 2b 20 22 20 20 23 20  eAct[0]) + "  # 
3550: 22 20 2b 20 73 4c 69 6e 65 49 64 29 0a 20 20 20  " + sLineId).   
3560: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3580: 20 20 20 20 20 65 6c 69 66 20 63 41 63 74 69 6f       elif cActio
3590: 6e 54 79 70 65 20 3d 3d 20 22 3d 22 3a 0a 20 20  nType == "=":.  
35a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
35b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
35c0: 20 20 20 20 20 20 20 20 20 20 23 20 64 69 73 61            # disa
35d0: 6d 62 69 67 75 61 74 69 6f 6e 0a 20 20 20 20 20  mbiguation.     
35e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
35f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3600: 20 20 20 20 20 20 20 69 66 20 6e 6f 74 20 62 50         if not bP
3610: 61 72 61 67 72 61 70 68 3a 0a 20 20 20 20 20 20  aragraph:.      
3620: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3630: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3640: 20 20 20 20 20 20 20 20 20 20 67 6c 6f 62 61 6c            global
3650: 73 28 29 5b 73 57 68 61 74 5d 28 73 54 65 78 74  s()[sWhat](sText
3660: 2c 20 6d 2c 20 73 65 6c 66 2e 64 54 6f 6b 65 6e  , m, self.dToken
3670: 50 6f 73 29 0a 20 20 20 20 20 20 20 20 20 20 20  Pos).           
3680: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3690: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
36a0: 20 20 20 20 20 69 66 20 62 44 65 62 75 67 3a 0a       if bDebug:.
36b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
36c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
36d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
36e0: 20 20 20 20 65 63 68 6f 28 22 3d 20 22 20 2b 20      echo("= " + 
36f0: 6d 2e 67 72 6f 75 70 28 30 29 20 2b 20 22 20 20  m.group(0) + "  
3700: 23 20 22 20 2b 20 73 4c 69 6e 65 49 64 29 0a 20  # " + sLineId). 
3710: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3720: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3730: 20 20 20 20 20 20 20 65 6c 69 66 20 63 41 63 74         elif cAct
3740: 69 6f 6e 54 79 70 65 20 3d 3d 20 22 3e 22 3a 0a  ionType == ">":.
3750: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3760: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3770: 20 20 20 20 20 20 20 20 20 20 20 20 23 20 77 65              # we
3780: 20 64 6f 20 6e 6f 74 68 69 6e 67 2c 20 74 68 69   do nothing, thi
3790: 73 20 74 65 73 74 20 69 73 20 6a 75 73 74 20 61  s test is just a
37a0: 20 63 6f 6e 64 69 74 69 6f 6e 20 74 6f 20 61 70   condition to ap
37b0: 70 6c 79 20 61 6c 6c 20 66 6f 6c 6c 6f 77 69 6e  ply all followin
37c0: 67 20 61 63 74 69 6f 6e 73 0a 20 20 20 20 20 20  g actions.      
37d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
37e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
37f0: 20 20 20 20 20 20 70 61 73 73 0a 20 20 20 20 20        pass.     
3800: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3810: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3820: 20 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20     else:.       
3830: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3840: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3850: 20 20 20 20 20 65 63 68 6f 28 22 23 20 65 72 72       echo("# err
3860: 6f 72 3a 20 75 6e 6b 6e 6f 77 6e 20 61 63 74 69  or: unknown acti
3870: 6f 6e 20 61 74 20 22 20 2b 20 73 4c 69 6e 65 49  on at " + sLineI
3880: 64 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  d).             
3890: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
38a0: 20 20 20 20 20 20 20 65 6c 69 66 20 63 41 63 74         elif cAct
38b0: 69 6f 6e 54 79 70 65 20 3d 3d 20 22 3e 22 3a 0a  ionType == ">":.
38c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
38d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
38e0: 20 20 20 20 20 20 20 20 62 72 65 61 6b 0a 20 20          break.  
38f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3900: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 65 78                ex
3910: 63 65 70 74 20 45 78 63 65 70 74 69 6f 6e 20 61  cept Exception a
3920: 73 20 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20  s e:.           
3930: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3940: 20 20 20 20 20 20 20 20 20 72 61 69 73 65 20 45           raise E
3950: 78 63 65 70 74 69 6f 6e 28 73 74 72 28 65 29 2c  xception(str(e),
3960: 20 22 23 20 22 20 2b 20 73 4c 69 6e 65 49 64 20   "# " + sLineId 
3970: 2b 20 22 20 23 20 22 20 2b 20 73 52 75 6c 65 49  + " # " + sRuleI
3980: 64 29 0a 20 20 20 20 20 20 20 20 69 66 20 62 43  d).        if bC
3990: 68 61 6e 67 65 3a 0a 20 20 20 20 20 20 20 20 20  hange:.         
39a0: 20 20 20 69 66 20 62 50 61 72 61 67 72 61 70 68     if bParagraph
39b0: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
39c0: 20 20 73 65 6c 66 2e 73 54 65 78 74 20 3d 20 73    self.sText = s
39d0: 54 65 78 74 0a 20 20 20 20 20 20 20 20 20 20 20  Text.           
39e0: 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20   else:.         
39f0: 20 20 20 20 20 20 20 73 65 6c 66 2e 73 53 65 6e         self.sSen
3a00: 74 65 6e 63 65 20 3d 20 73 54 65 78 74 0a 0a 20  tence = sText.. 
3a10: 20 20 20 64 65 66 20 75 70 64 61 74 65 20 28 73     def update (s
3a20: 65 6c 66 2c 20 73 53 65 6e 74 65 6e 63 65 2c 20  elf, sSentence, 
3a30: 62 44 65 62 75 67 3d 46 61 6c 73 65 29 3a 0a 20  bDebug=False):. 
3a40: 20 20 20 20 20 20 20 22 75 70 64 61 74 65 20 3c         "update <
3a50: 73 53 65 6e 74 65 6e 63 65 3e 20 61 6e 64 20 72  sSentence> and r
3a60: 65 74 6f 6b 65 6e 69 7a 65 22 0a 20 20 20 20 20  etokenize".     
3a70: 20 20 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63     self.sSentenc
3a80: 65 20 3d 20 73 53 65 6e 74 65 6e 63 65 0a 20 20  e = sSentence.  
3a90: 20 20 20 20 20 20 6c 4e 65 77 54 6f 6b 65 6e 20        lNewToken 
3aa0: 3d 20 6c 69 73 74 28 5f 6f 54 6f 6b 65 6e 69 7a  = list(_oTokeniz
3ab0: 65 72 2e 67 65 6e 54 6f 6b 65 6e 73 28 73 53 65  er.genTokens(sSe
3ac0: 6e 74 65 6e 63 65 2c 20 54 72 75 65 29 29 0a 20  ntence, True)). 
3ad0: 20 20 20 20 20 20 20 66 6f 72 20 64 54 6f 6b 65         for dToke
3ae0: 6e 20 69 6e 20 6c 4e 65 77 54 6f 6b 65 6e 3a 0a  n in lNewToken:.
3af0: 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20 22              if "
3b00: 6c 4d 6f 72 70 68 22 20 69 6e 20 73 65 6c 66 2e  lMorph" in self.
3b10: 64 54 6f 6b 65 6e 50 6f 73 2e 67 65 74 28 64 54  dTokenPos.get(dT
3b20: 6f 6b 65 6e 5b 22 6e 53 74 61 72 74 22 5d 2c 20  oken["nStart"], 
3b30: 7b 7d 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20  {}):.           
3b40: 20 20 20 20 20 64 54 6f 6b 65 6e 5b 22 6c 4d 6f       dToken["lMo
3b50: 72 70 68 22 5d 20 3d 20 73 65 6c 66 2e 64 54 6f  rph"] = self.dTo
3b60: 6b 65 6e 50 6f 73 5b 64 54 6f 6b 65 6e 5b 22 6e  kenPos[dToken["n
3b70: 53 74 61 72 74 22 5d 5d 5b 22 6c 4d 6f 72 70 68  Start"]]["lMorph
3b80: 22 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 69  "].            i
3b90: 66 20 22 61 54 61 67 73 22 20 69 6e 20 73 65 6c  f "aTags" in sel
3ba0: 66 2e 64 54 6f 6b 65 6e 50 6f 73 2e 67 65 74 28  f.dTokenPos.get(
3bb0: 64 54 6f 6b 65 6e 5b 22 6e 53 74 61 72 74 22 5d  dToken["nStart"]
3bc0: 2c 20 7b 7d 29 3a 0a 20 20 20 20 20 20 20 20 20  , {}):.         
3bd0: 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 5b 22 61         dToken["a
3be0: 54 61 67 73 22 5d 20 3d 20 73 65 6c 66 2e 64 54  Tags"] = self.dT
3bf0: 6f 6b 65 6e 50 6f 73 5b 64 54 6f 6b 65 6e 5b 22  okenPos[dToken["
3c00: 6e 53 74 61 72 74 22 5d 5d 5b 22 61 54 61 67 73  nStart"]]["aTags
3c10: 22 5d 0a 20 20 20 20 20 20 20 20 73 65 6c 66 2e  "].        self.
3c20: 6c 54 6f 6b 65 6e 20 3d 20 6c 4e 65 77 54 6f 6b  lToken = lNewTok
3c30: 65 6e 0a 20 20 20 20 20 20 20 20 73 65 6c 66 2e  en.        self.
3c40: 64 54 6f 6b 65 6e 50 6f 73 20 3d 20 7b 20 64 54  dTokenPos = { dT
3c50: 6f 6b 65 6e 5b 22 6e 53 74 61 72 74 22 5d 3a 20  oken["nStart"]: 
3c60: 64 54 6f 6b 65 6e 20 20 66 6f 72 20 64 54 6f 6b  dToken  for dTok
3c70: 65 6e 20 69 6e 20 73 65 6c 66 2e 6c 54 6f 6b 65  en in self.lToke
3c80: 6e 20 20 69 66 20 64 54 6f 6b 65 6e 5b 22 73 54  n  if dToken["sT
3c90: 79 70 65 22 5d 20 21 3d 20 22 49 4e 46 4f 22 20  ype"] != "INFO" 
3ca0: 7d 0a 20 20 20 20 20 20 20 20 69 66 20 62 44 65  }.        if bDe
3cb0: 62 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20  bug:.           
3cc0: 20 65 63 68 6f 28 22 55 50 44 41 54 45 3a 22 29   echo("UPDATE:")
3cd0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68  .            ech
3ce0: 6f 28 73 65 6c 66 29 0a 0a 20 20 20 20 64 65 66  o(self)..    def
3cf0: 20 5f 67 65 74 4e 65 78 74 50 6f 69 6e 74 65 72   _getNextPointer
3d00: 73 20 28 73 65 6c 66 2c 20 64 54 6f 6b 65 6e 2c  s (self, dToken,
3d10: 20 64 47 72 61 70 68 2c 20 64 50 6f 69 6e 74 65   dGraph, dPointe
3d20: 72 2c 20 62 44 65 62 75 67 3d 46 61 6c 73 65 29  r, bDebug=False)
3d30: 3a 0a 20 20 20 20 20 20 20 20 22 67 65 6e 65 72  :.        "gener
3d40: 61 74 6f 72 3a 20 72 65 74 75 72 6e 20 6e 6f 64  ator: return nod
3d50: 65 73 20 77 68 65 72 65 20 3c 64 54 6f 6b 65 6e  es where <dToken
3d60: 3e 20 e2 80 9c 76 61 6c 75 65 73 e2 80 9d 20 6d  > ...values... m
3d70: 61 74 63 68 20 3c 64 4e 6f 64 65 3e 20 61 72 63  atch <dNode> arc
3d80: 73 22 0a 20 20 20 20 20 20 20 20 64 4e 6f 64 65  s".        dNode
3d90: 20 3d 20 64 47 72 61 70 68 5b 64 50 6f 69 6e 74   = dGraph[dPoint
3da0: 65 72 5b 22 69 4e 6f 64 65 22 5d 5d 0a 20 20 20  er["iNode"]].   
3db0: 20 20 20 20 20 69 54 6f 6b 65 6e 31 20 3d 20 64       iToken1 = d
3dc0: 50 6f 69 6e 74 65 72 5b 22 69 54 6f 6b 65 6e 31  Pointer["iToken1
3dd0: 22 5d 0a 20 20 20 20 20 20 20 20 62 54 6f 6b 65  "].        bToke
3de0: 6e 46 6f 75 6e 64 20 3d 20 46 61 6c 73 65 0a 20  nFound = False. 
3df0: 20 20 20 20 20 20 20 23 20 74 6f 6b 65 6e 20 76         # token v
3e00: 61 6c 75 65 0a 20 20 20 20 20 20 20 20 69 66 20  alue.        if 
3e10: 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65 22 5d  dToken["sValue"]
3e20: 20 69 6e 20 64 4e 6f 64 65 3a 0a 20 20 20 20 20   in dNode:.     
3e30: 20 20 20 20 20 20 20 69 66 20 62 44 65 62 75 67         if bDebug
3e40: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
3e50: 20 20 65 63 68 6f 28 22 20 20 4d 41 54 43 48 3a    echo("  MATCH:
3e60: 20 22 20 2b 20 64 54 6f 6b 65 6e 5b 22 73 56 61   " + dToken["sVa
3e70: 6c 75 65 22 5d 29 0a 20 20 20 20 20 20 20 20 20  lue"]).         
3e80: 20 20 20 79 69 65 6c 64 20 7b 20 22 69 54 6f 6b     yield { "iTok
3e90: 65 6e 31 22 3a 20 69 54 6f 6b 65 6e 31 2c 20 22  en1": iToken1, "
3ea0: 69 4e 6f 64 65 22 3a 20 64 4e 6f 64 65 5b 64 54  iNode": dNode[dT
3eb0: 6f 6b 65 6e 5b 22 73 56 61 6c 75 65 22 5d 5d 20  oken["sValue"]] 
3ec0: 7d 0a 20 20 20 20 20 20 20 20 20 20 20 20 62 54  }.            bT
3ed0: 6f 6b 65 6e 46 6f 75 6e 64 20 3d 20 54 72 75 65  okenFound = True
3ee0: 0a 20 20 20 20 20 20 20 20 69 66 20 64 54 6f 6b  .        if dTok
3ef0: 65 6e 5b 22 73 56 61 6c 75 65 22 5d 5b 30 3a 32  en["sValue"][0:2
3f00: 5d 2e 69 73 74 69 74 6c 65 28 29 3a 20 23 20 77  ].istitle(): # w
3f10: 65 20 74 65 73 74 20 6f 6e 6c 79 20 32 20 66 69  e test only 2 fi
3f20: 72 73 74 20 63 68 61 72 73 2c 20 74 6f 20 6d 61  rst chars, to ma
3f30: 6b 65 20 76 61 6c 69 64 20 77 6f 72 64 73 20 73  ke valid words s
3f40: 75 63 68 20 61 73 20 22 4c 61 69 73 73 65 7a 2d  uch as "Laissez-
3f50: 6c 65 73 22 2c 20 22 50 61 73 73 65 2d 70 61 72  les", "Passe-par
3f60: 74 6f 75 74 22 2e 0a 20 20 20 20 20 20 20 20 20  tout"..         
3f70: 20 20 20 73 56 61 6c 75 65 20 3d 20 64 54 6f 6b     sValue = dTok
3f80: 65 6e 5b 22 73 56 61 6c 75 65 22 5d 2e 6c 6f 77  en["sValue"].low
3f90: 65 72 28 29 0a 20 20 20 20 20 20 20 20 20 20 20  er().           
3fa0: 20 69 66 20 73 56 61 6c 75 65 20 69 6e 20 64 4e   if sValue in dN
3fb0: 6f 64 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20  ode:.           
3fc0: 20 20 20 20 20 69 66 20 62 44 65 62 75 67 3a 0a       if bDebug:.
3fd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3fe0: 20 20 20 20 65 63 68 6f 28 22 20 20 4d 41 54 43      echo("  MATC
3ff0: 48 3a 20 22 20 2b 20 73 56 61 6c 75 65 29 0a 20  H: " + sValue). 
4000: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 79                 y
4010: 69 65 6c 64 20 7b 20 22 69 54 6f 6b 65 6e 31 22  ield { "iToken1"
4020: 3a 20 69 54 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64  : iToken1, "iNod
4030: 65 22 3a 20 64 4e 6f 64 65 5b 73 56 61 6c 75 65  e": dNode[sValue
4040: 5d 20 7d 0a 20 20 20 20 20 20 20 20 20 20 20 20  ] }.            
4050: 20 20 20 20 62 54 6f 6b 65 6e 46 6f 75 6e 64 20      bTokenFound 
4060: 3d 20 54 72 75 65 0a 20 20 20 20 20 20 20 20 65  = True.        e
4070: 6c 69 66 20 64 54 6f 6b 65 6e 5b 22 73 56 61 6c  lif dToken["sVal
4080: 75 65 22 5d 2e 69 73 75 70 70 65 72 28 29 3a 0a  ue"].isupper():.
4090: 20 20 20 20 20 20 20 20 20 20 20 20 73 56 61 6c              sVal
40a0: 75 65 20 3d 20 64 54 6f 6b 65 6e 5b 22 73 56 61  ue = dToken["sVa
40b0: 6c 75 65 22 5d 2e 6c 6f 77 65 72 28 29 0a 20 20  lue"].lower().  
40c0: 20 20 20 20 20 20 20 20 20 20 69 66 20 73 56 61            if sVa
40d0: 6c 75 65 20 69 6e 20 64 4e 6f 64 65 3a 0a 20 20  lue in dNode:.  
40e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
40f0: 20 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20 20   bDebug:.       
4100: 20 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68               ech
4110: 6f 28 22 20 20 4d 41 54 43 48 3a 20 22 20 2b 20  o("  MATCH: " + 
4120: 73 56 61 6c 75 65 29 0a 20 20 20 20 20 20 20 20  sValue).        
4130: 20 20 20 20 20 20 20 20 79 69 65 6c 64 20 7b 20          yield { 
4140: 22 69 54 6f 6b 65 6e 31 22 3a 20 69 54 6f 6b 65  "iToken1": iToke
4150: 6e 31 2c 20 22 69 4e 6f 64 65 22 3a 20 64 4e 6f  n1, "iNode": dNo
4160: 64 65 5b 73 56 61 6c 75 65 5d 20 7d 0a 20 20 20  de[sValue] }.   
4170: 20 20 20 20 20 20 20 20 20 20 20 20 20 62 54 6f               bTo
4180: 6b 65 6e 46 6f 75 6e 64 20 3d 20 54 72 75 65 0a  kenFound = True.
4190: 20 20 20 20 20 20 20 20 20 20 20 20 73 56 61 6c              sVal
41a0: 75 65 20 3d 20 64 54 6f 6b 65 6e 5b 22 73 56 61  ue = dToken["sVa
41b0: 6c 75 65 22 5d 2e 63 61 70 69 74 61 6c 69 7a 65  lue"].capitalize
41c0: 28 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 69  ().            i
41d0: 66 20 73 56 61 6c 75 65 20 69 6e 20 64 4e 6f 64  f sValue in dNod
41e0: 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  e:.             
41f0: 20 20 20 69 66 20 62 44 65 62 75 67 3a 0a 20 20     if bDebug:.  
4200: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4210: 20 20 65 63 68 6f 28 22 20 20 4d 41 54 43 48 3a    echo("  MATCH:
4220: 20 22 20 2b 20 73 56 61 6c 75 65 29 0a 20 20 20   " + sValue).   
4230: 20 20 20 20 20 20 20 20 20 20 20 20 20 79 69 65               yie
4240: 6c 64 20 7b 20 22 69 54 6f 6b 65 6e 31 22 3a 20  ld { "iToken1": 
4250: 69 54 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64 65 22  iToken1, "iNode"
4260: 3a 20 64 4e 6f 64 65 5b 73 56 61 6c 75 65 5d 20  : dNode[sValue] 
4270: 7d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  }.              
4280: 20 20 62 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d 20    bTokenFound = 
4290: 54 72 75 65 0a 20 20 20 20 20 20 20 20 23 20 72  True.        # r
42a0: 65 67 65 78 20 76 61 6c 75 65 20 61 72 63 73 0a  egex value arcs.
42b0: 20 20 20 20 20 20 20 20 69 66 20 64 54 6f 6b 65          if dToke
42c0: 6e 5b 22 73 54 79 70 65 22 5d 20 6e 6f 74 20 69  n["sType"] not i
42d0: 6e 20 66 72 6f 7a 65 6e 73 65 74 28 5b 22 49 4e  n frozenset(["IN
42e0: 46 4f 22 2c 20 22 50 55 4e 43 22 2c 20 22 53 49  FO", "PUNC", "SI
42f0: 47 4e 22 5d 29 3a 0a 20 20 20 20 20 20 20 20 20  GN"]):.         
4300: 20 20 20 69 66 20 22 3c 72 65 5f 76 61 6c 75 65     if "<re_value
4310: 3e 22 20 69 6e 20 64 4e 6f 64 65 3a 0a 20 20 20  >" in dNode:.   
4320: 20 20 20 20 20 20 20 20 20 20 20 20 20 66 6f 72               for
4330: 20 73 52 65 67 65 78 20 69 6e 20 64 4e 6f 64 65   sRegex in dNode
4340: 5b 22 3c 72 65 5f 76 61 6c 75 65 3e 22 5d 3a 0a  ["<re_value>"]:.
4350: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4360: 20 20 20 20 69 66 20 22 c2 ac 22 20 6e 6f 74 20      if ".." not 
4370: 69 6e 20 73 52 65 67 65 78 3a 0a 20 20 20 20 20  in sRegex:.     
4380: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4390: 20 20 20 23 20 6e 6f 20 61 6e 74 69 2d 70 61 74     # no anti-pat
43a0: 74 65 72 6e 0a 20 20 20 20 20 20 20 20 20 20 20  tern.           
43b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20               if 
43c0: 72 65 2e 73 65 61 72 63 68 28 73 52 65 67 65 78  re.search(sRegex
43d0: 2c 20 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65  , dToken["sValue
43e0: 22 5d 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20  "]):.           
43f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4400: 20 69 66 20 62 44 65 62 75 67 3a 0a 20 20 20 20   if bDebug:.    
4410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4420: 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68 6f              echo
4430: 28 22 20 20 4d 41 54 43 48 3a 20 7e 22 20 2b 20  ("  MATCH: ~" + 
4440: 73 52 65 67 65 78 29 0a 20 20 20 20 20 20 20 20  sRegex).        
4450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4460: 20 20 20 20 79 69 65 6c 64 20 7b 20 22 69 54 6f      yield { "iTo
4470: 6b 65 6e 31 22 3a 20 69 54 6f 6b 65 6e 31 2c 20  ken1": iToken1, 
4480: 22 69 4e 6f 64 65 22 3a 20 64 4e 6f 64 65 5b 22  "iNode": dNode["
4490: 3c 72 65 5f 76 61 6c 75 65 3e 22 5d 5b 73 52 65  <re_value>"][sRe
44a0: 67 65 78 5d 20 7d 0a 20 20 20 20 20 20 20 20 20  gex] }.         
44b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
44c0: 20 20 20 62 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d     bTokenFound =
44d0: 20 54 72 75 65 0a 20 20 20 20 20 20 20 20 20 20   True.          
44e0: 20 20 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a            else:.
44f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4500: 20 20 20 20 20 20 20 20 23 20 74 68 65 72 65 20          # there 
4510: 69 73 20 61 6e 20 61 6e 74 69 2d 70 61 74 74 65  is an anti-patte
4520: 72 6e 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  rn.             
4530: 20 20 20 20 20 20 20 20 20 20 20 73 50 61 74 74             sPatt
4540: 65 72 6e 2c 20 73 4e 65 67 50 61 74 74 65 72 6e  ern, sNegPattern
4550: 20 3d 20 73 52 65 67 65 78 2e 73 70 6c 69 74 28   = sRegex.split(
4560: 22 c2 ac 22 2c 20 31 29 0a 20 20 20 20 20 20 20  "..", 1).       
4570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4580: 20 69 66 20 73 4e 65 67 50 61 74 74 65 72 6e 20   if sNegPattern 
4590: 61 6e 64 20 72 65 2e 73 65 61 72 63 68 28 73 4e  and re.search(sN
45a0: 65 67 50 61 74 74 65 72 6e 2c 20 64 54 6f 6b 65  egPattern, dToke
45b0: 6e 5b 22 73 56 61 6c 75 65 22 5d 29 3a 0a 20 20  n["sValue"]):.  
45c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
45d0: 20 20 20 20 20 20 20 20 20 20 63 6f 6e 74 69 6e            contin
45e0: 75 65 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  ue.             
45f0: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 6e 6f             if no
4600: 74 20 73 50 61 74 74 65 72 6e 20 6f 72 20 72 65  t sPattern or re
4610: 2e 73 65 61 72 63 68 28 73 50 61 74 74 65 72 6e  .search(sPattern
4620: 2c 20 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65  , dToken["sValue
4630: 22 5d 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20  "]):.           
4640: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4650: 20 69 66 20 62 44 65 62 75 67 3a 0a 20 20 20 20   if bDebug:.    
4660: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4670: 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68 6f              echo
4680: 28 22 20 20 4d 41 54 43 48 3a 20 7e 22 20 2b 20  ("  MATCH: ~" + 
4690: 73 52 65 67 65 78 29 0a 20 20 20 20 20 20 20 20  sRegex).        
46a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
46b0: 20 20 20 20 79 69 65 6c 64 20 7b 20 22 69 54 6f      yield { "iTo
46c0: 6b 65 6e 31 22 3a 20 69 54 6f 6b 65 6e 31 2c 20  ken1": iToken1, 
46d0: 22 69 4e 6f 64 65 22 3a 20 64 4e 6f 64 65 5b 22  "iNode": dNode["
46e0: 3c 72 65 5f 76 61 6c 75 65 3e 22 5d 5b 73 52 65  <re_value>"][sRe
46f0: 67 65 78 5d 20 7d 0a 20 20 20 20 20 20 20 20 20  gex] }.         
4700: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4710: 20 20 20 62 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d     bTokenFound =
4720: 20 54 72 75 65 0a 20 20 20 20 20 20 20 20 23 20   True.        # 
4730: 61 6e 61 6c 79 73 61 62 6c 65 20 74 6f 6b 65 6e  analysable token
4740: 73 0a 20 20 20 20 20 20 20 20 69 66 20 64 54 6f  s.        if dTo
4750: 6b 65 6e 5b 22 73 54 79 70 65 22 5d 5b 30 3a 34  ken["sType"][0:4
4760: 5d 20 3d 3d 20 22 57 4f 52 44 22 3a 0a 20 20 20  ] == "WORD":.   
4770: 20 20 20 20 20 20 20 20 20 23 20 74 6f 6b 65 6e           # token
4780: 20 6c 65 6d 6d 61 73 0a 20 20 20 20 20 20 20 20   lemmas.        
4790: 20 20 20 20 69 66 20 22 3c 6c 65 6d 6d 61 73 3e      if "<lemmas>
47a0: 22 20 69 6e 20 64 4e 6f 64 65 3a 0a 20 20 20 20  " in dNode:.    
47b0: 20 20 20 20 20 20 20 20 20 20 20 20 66 6f 72 20              for 
47c0: 73 4c 65 6d 6d 61 20 69 6e 20 5f 6f 53 70 65 6c  sLemma in _oSpel
47d0: 6c 43 68 65 63 6b 65 72 2e 67 65 74 4c 65 6d 6d  lChecker.getLemm
47e0: 61 28 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65  a(dToken["sValue
47f0: 22 5d 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20  "]):.           
4800: 20 20 20 20 20 20 20 20 20 69 66 20 73 4c 65 6d           if sLem
4810: 6d 61 20 69 6e 20 64 4e 6f 64 65 5b 22 3c 6c 65  ma in dNode["<le
4820: 6d 6d 61 73 3e 22 5d 3a 0a 20 20 20 20 20 20 20  mmas>"]:.       
4830: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4840: 20 69 66 20 62 44 65 62 75 67 3a 0a 20 20 20 20   if bDebug:.    
4850: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4860: 20 20 20 20 20 20 20 20 65 63 68 6f 28 22 20 20          echo("  
4870: 4d 41 54 43 48 3a 20 3e 22 20 2b 20 73 4c 65 6d  MATCH: >" + sLem
4880: 6d 61 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  ma).            
4890: 20 20 20 20 20 20 20 20 20 20 20 20 79 69 65 6c              yiel
48a0: 64 20 7b 20 22 69 54 6f 6b 65 6e 31 22 3a 20 69  d { "iToken1": i
48b0: 54 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64 65 22 3a  Token1, "iNode":
48c0: 20 64 4e 6f 64 65 5b 22 3c 6c 65 6d 6d 61 73 3e   dNode["<lemmas>
48d0: 22 5d 5b 73 4c 65 6d 6d 61 5d 20 7d 0a 20 20 20  "][sLemma] }.   
48e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
48f0: 20 20 20 20 20 62 54 6f 6b 65 6e 46 6f 75 6e 64       bTokenFound
4900: 20 3d 20 54 72 75 65 0a 20 20 20 20 20 20 20 20   = True.        
4910: 20 20 20 20 23 20 6d 6f 72 70 68 20 61 72 63 73      # morph arcs
4920: 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20  .            if 
4930: 22 3c 6d 6f 72 70 68 3e 22 20 69 6e 20 64 4e 6f  "<morph>" in dNo
4940: 64 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  de:.            
4950: 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20 64 54 6f      lMorph = dTo
4960: 6b 65 6e 2e 67 65 74 28 22 6c 4d 6f 72 70 68 22  ken.get("lMorph"
4970: 2c 20 5f 6f 53 70 65 6c 6c 43 68 65 63 6b 65 72  , _oSpellChecker
4980: 2e 67 65 74 4d 6f 72 70 68 28 64 54 6f 6b 65 6e  .getMorph(dToken
4990: 5b 22 73 56 61 6c 75 65 22 5d 29 29 0a 20 20 20  ["sValue"])).   
49a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20               if 
49b0: 6c 4d 6f 72 70 68 3a 0a 20 20 20 20 20 20 20 20  lMorph:.        
49c0: 20 20 20 20 20 20 20 20 20 20 20 20 66 6f 72 20              for 
49d0: 73 53 65 61 72 63 68 20 69 6e 20 64 4e 6f 64 65  sSearch in dNode
49e0: 5b 22 3c 6d 6f 72 70 68 3e 22 5d 3a 0a 20 20 20  ["<morph>"]:.   
49f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4a00: 20 20 20 20 20 69 66 20 22 c2 ac 22 20 6e 6f 74       if ".." not
4a10: 20 69 6e 20 73 53 65 61 72 63 68 3a 0a 20 20 20   in sSearch:.   
4a20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4a30: 20 20 20 20 20 20 20 20 20 23 20 6e 6f 20 61 6e           # no an
4a40: 74 69 2d 70 61 74 74 65 72 6e 0a 20 20 20 20 20  ti-pattern.     
4a50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4a60: 20 20 20 20 20 20 20 69 66 20 61 6e 79 28 73 53         if any(sS
4a70: 65 61 72 63 68 20 69 6e 20 73 4d 6f 72 70 68 20  earch in sMorph 
4a80: 20 66 6f 72 20 73 4d 6f 72 70 68 20 69 6e 20 6c   for sMorph in l
4a90: 4d 6f 72 70 68 29 3a 0a 20 20 20 20 20 20 20 20  Morph):.        
4aa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4ab0: 20 20 20 20 20 20 20 20 69 66 20 62 44 65 62 75          if bDebu
4ac0: 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  g:.             
4ad0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4ae0: 20 20 20 20 20 20 20 65 63 68 6f 28 22 20 20 4d         echo("  M
4af0: 41 54 43 48 3a 20 24 22 20 2b 20 73 53 65 61 72  ATCH: $" + sSear
4b00: 63 68 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  ch).            
4b10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4b20: 20 20 20 20 79 69 65 6c 64 20 7b 20 22 69 54 6f      yield { "iTo
4b30: 6b 65 6e 31 22 3a 20 69 54 6f 6b 65 6e 31 2c 20  ken1": iToken1, 
4b40: 22 69 4e 6f 64 65 22 3a 20 64 4e 6f 64 65 5b 22  "iNode": dNode["
4b50: 3c 6d 6f 72 70 68 3e 22 5d 5b 73 53 65 61 72 63  <morph>"][sSearc
4b60: 68 5d 20 7d 0a 20 20 20 20 20 20 20 20 20 20 20  h] }.           
4b70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4b80: 20 20 20 20 20 62 54 6f 6b 65 6e 46 6f 75 6e 64       bTokenFound
4b90: 20 3d 20 54 72 75 65 0a 20 20 20 20 20 20 20 20   = True.        
4ba0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4bb0: 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20  else:.          
4bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4bd0: 20 20 23 20 74 68 65 72 65 20 69 73 20 61 6e 20    # there is an 
4be0: 61 6e 74 69 2d 70 61 74 74 65 72 6e 0a 20 20 20  anti-pattern.   
4bf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4c00: 20 20 20 20 20 20 20 20 20 73 50 61 74 74 65 72           sPatter
4c10: 6e 2c 20 73 4e 65 67 50 61 74 74 65 72 6e 20 3d  n, sNegPattern =
4c20: 20 73 53 65 61 72 63 68 2e 73 70 6c 69 74 28 22   sSearch.split("
4c30: c2 ac 22 2c 20 31 29 0a 20 20 20 20 20 20 20 20  ..", 1).        
4c40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4c50: 20 20 20 20 69 66 20 73 4e 65 67 50 61 74 74 65      if sNegPatte
4c60: 72 6e 20 3d 3d 20 22 2a 22 3a 0a 20 20 20 20 20  rn == "*":.     
4c70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4c80: 20 20 20 20 20 20 20 20 20 20 20 23 20 61 6c 6c             # all
4c90: 20 6d 6f 72 70 68 6f 6c 6f 67 69 65 73 20 6d 75   morphologies mu
4ca0: 73 74 20 6d 61 74 63 68 20 77 69 74 68 20 3c 73  st match with <s
4cb0: 50 61 74 74 65 72 6e 3e 0a 20 20 20 20 20 20 20  Pattern>.       
4cc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4cd0: 20 20 20 20 20 20 20 20 20 69 66 20 73 50 61 74           if sPat
4ce0: 74 65 72 6e 3a 0a 20 20 20 20 20 20 20 20 20 20  tern:.          
4cf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4d00: 20 20 20 20 20 20 20 20 20 20 69 66 20 61 6c 6c            if all
4d10: 28 73 50 61 74 74 65 72 6e 20 69 6e 20 73 4d 6f  (sPattern in sMo
4d20: 72 70 68 20 20 66 6f 72 20 73 4d 6f 72 70 68 20  rph  for sMorph 
4d30: 69 6e 20 6c 4d 6f 72 70 68 29 3a 0a 20 20 20 20  in lMorph):.    
4d40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4d60: 20 20 20 20 69 66 20 62 44 65 62 75 67 3a 0a 20      if bDebug:. 
4d70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4d80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4d90: 20 20 20 20 20 20 20 20 20 20 20 65 63 68 6f 28             echo(
4da0: 22 20 20 4d 41 54 43 48 3a 20 24 22 20 2b 20 73  "  MATCH: $" + s
4db0: 53 65 61 72 63 68 29 0a 20 20 20 20 20 20 20 20  Search).        
4dc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4dd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4de0: 79 69 65 6c 64 20 7b 20 22 69 54 6f 6b 65 6e 31  yield { "iToken1
4df0: 22 3a 20 69 54 6f 6b 65 6e 31 2c 20 22 69 4e 6f  ": iToken1, "iNo
4e00: 64 65 22 3a 20 64 4e 6f 64 65 5b 22 3c 6d 6f 72  de": dNode["<mor
4e10: 70 68 3e 22 5d 5b 73 53 65 61 72 63 68 5d 20 7d  ph>"][sSearch] }
4e20: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
4e30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4e40: 20 20 20 20 20 20 20 20 20 62 54 6f 6b 65 6e 46           bTokenF
4e50: 6f 75 6e 64 20 3d 20 54 72 75 65 0a 20 20 20 20  ound = True.    
4e60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4e70: 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a 20 20          else:.  
4e80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4e90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
4ea0: 20 73 4e 65 67 50 61 74 74 65 72 6e 20 61 6e 64   sNegPattern and
4eb0: 20 61 6e 79 28 73 4e 65 67 50 61 74 74 65 72 6e   any(sNegPattern
4ec0: 20 69 6e 20 73 4d 6f 72 70 68 20 20 66 6f 72 20   in sMorph  for 
4ed0: 73 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68  sMorph in lMorph
4ee0: 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  ):.             
4ef0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4f00: 20 20 20 20 20 20 20 63 6f 6e 74 69 6e 75 65 0a         continue.
4f10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4f20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4f30: 69 66 20 6e 6f 74 20 73 50 61 74 74 65 72 6e 20  if not sPattern 
4f40: 6f 72 20 61 6e 79 28 73 50 61 74 74 65 72 6e 20  or any(sPattern 
4f50: 69 6e 20 73 4d 6f 72 70 68 20 20 66 6f 72 20 73  in sMorph  for s
4f60: 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 29  Morph in lMorph)
4f70: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
4f80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4f90: 20 20 20 20 20 20 69 66 20 62 44 65 62 75 67 3a        if bDebug:
4fa0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
4fb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
4fc0: 20 20 20 20 20 20 20 20 20 65 63 68 6f 28 22 20           echo(" 
4fd0: 20 4d 41 54 43 48 3a 20 24 22 20 2b 20 73 53 65   MATCH: $" + sSe
4fe0: 61 72 63 68 29 0a 20 20 20 20 20 20 20 20 20 20  arch).          
4ff0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5000: 20 20 20 20 20 20 20 20 20 20 79 69 65 6c 64 20            yield 
5010: 7b 20 22 69 54 6f 6b 65 6e 31 22 3a 20 69 54 6f  { "iToken1": iTo
5020: 6b 65 6e 31 2c 20 22 69 4e 6f 64 65 22 3a 20 64  ken1, "iNode": d
5030: 4e 6f 64 65 5b 22 3c 6d 6f 72 70 68 3e 22 5d 5b  Node["<morph>"][
5040: 73 53 65 61 72 63 68 5d 20 7d 0a 20 20 20 20 20  sSearch] }.     
5050: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5060: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 62                 b
5070: 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d 20 54 72 75  TokenFound = Tru
5080: 65 0a 20 20 20 20 20 20 20 20 20 20 20 20 23 20  e.            # 
5090: 72 65 67 65 78 20 6d 6f 72 70 68 20 61 72 63 73  regex morph arcs
50a0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20  .            if 
50b0: 22 3c 72 65 5f 6d 6f 72 70 68 3e 22 20 69 6e 20  "<re_morph>" in 
50c0: 64 4e 6f 64 65 3a 0a 20 20 20 20 20 20 20 20 20  dNode:.         
50d0: 20 20 20 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20         lMorph = 
50e0: 64 54 6f 6b 65 6e 2e 67 65 74 28 22 6c 4d 6f 72  dToken.get("lMor
50f0: 70 68 22 2c 20 5f 6f 53 70 65 6c 6c 43 68 65 63  ph", _oSpellChec
5100: 6b 65 72 2e 67 65 74 4d 6f 72 70 68 28 64 54 6f  ker.getMorph(dTo
5110: 6b 65 6e 5b 22 73 56 61 6c 75 65 22 5d 29 29 0a  ken["sValue"])).
5120: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5130: 69 66 20 6c 4d 6f 72 70 68 3a 0a 20 20 20 20 20  if lMorph:.     
5140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 66                 f
5150: 6f 72 20 73 52 65 67 65 78 20 69 6e 20 64 4e 6f  or sRegex in dNo
5160: 64 65 5b 22 3c 72 65 5f 6d 6f 72 70 68 3e 22 5d  de["<re_morph>"]
5170: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
5180: 20 20 20 20 20 20 20 20 20 20 69 66 20 22 c2 ac            if "..
5190: 22 20 6e 6f 74 20 69 6e 20 73 52 65 67 65 78 3a  " not in sRegex:
51a0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
51b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 23 20 6e               # n
51c0: 6f 20 61 6e 74 69 2d 70 61 74 74 65 72 6e 0a 20  o anti-pattern. 
51d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
51e0: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 61 6e             if an
51f0: 79 28 72 65 2e 73 65 61 72 63 68 28 73 52 65 67  y(re.search(sReg
5200: 65 78 2c 20 73 4d 6f 72 70 68 29 20 20 66 6f 72  ex, sMorph)  for
5210: 20 73 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70   sMorph in lMorp
5220: 68 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  h):.            
5230: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5240: 20 20 20 20 69 66 20 62 44 65 62 75 67 3a 0a 20      if bDebug:. 
5250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5260: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5270: 20 20 20 65 63 68 6f 28 22 20 20 4d 41 54 43 48     echo("  MATCH
5280: 3a 20 40 22 20 2b 20 73 52 65 67 65 78 29 0a 20  : @" + sRegex). 
5290: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
52a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 79                 y
52b0: 69 65 6c 64 20 7b 20 22 69 54 6f 6b 65 6e 31 22  ield { "iToken1"
52c0: 3a 20 69 54 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64  : iToken1, "iNod
52d0: 65 22 3a 20 64 4e 6f 64 65 5b 22 3c 72 65 5f 6d  e": dNode["<re_m
52e0: 6f 72 70 68 3e 22 5d 5b 73 52 65 67 65 78 5d 20  orph>"][sRegex] 
52f0: 7d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  }.              
5300: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5310: 20 20 62 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d 20    bTokenFound = 
5320: 54 72 75 65 0a 20 20 20 20 20 20 20 20 20 20 20  True.           
5330: 20 20 20 20 20 20 20 20 20 20 20 20 20 65 6c 73               els
5340: 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  e:.             
5350: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 23                 #
5360: 20 74 68 65 72 65 20 69 73 20 61 6e 20 61 6e 74   there is an ant
5370: 69 2d 70 61 74 74 65 72 6e 0a 20 20 20 20 20 20  i-pattern.      
5380: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5390: 20 20 20 20 20 20 73 50 61 74 74 65 72 6e 2c 20        sPattern, 
53a0: 73 4e 65 67 50 61 74 74 65 72 6e 20 3d 20 73 52  sNegPattern = sR
53b0: 65 67 65 78 2e 73 70 6c 69 74 28 22 c2 ac 22 2c  egex.split("..",
53c0: 20 31 29 0a 20 20 20 20 20 20 20 20 20 20 20 20   1).            
53d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
53e0: 69 66 20 73 4e 65 67 50 61 74 74 65 72 6e 20 3d  if sNegPattern =
53f0: 3d 20 22 2a 22 3a 0a 20 20 20 20 20 20 20 20 20  = "*":.         
5400: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5410: 20 20 20 20 20 20 20 23 20 61 6c 6c 20 6d 6f 72         # all mor
5420: 70 68 6f 6c 6f 67 69 65 73 20 6d 75 73 74 20 6d  phologies must m
5430: 61 74 63 68 20 77 69 74 68 20 3c 73 50 61 74 74  atch with <sPatt
5440: 65 72 6e 3e 0a 20 20 20 20 20 20 20 20 20 20 20  ern>.           
5450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5460: 20 20 20 20 20 69 66 20 73 50 61 74 74 65 72 6e       if sPattern
5470: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
5480: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5490: 20 20 20 20 20 20 69 66 20 61 6c 6c 28 72 65 2e        if all(re.
54a0: 73 65 61 72 63 68 28 73 50 61 74 74 65 72 6e 2c  search(sPattern,
54b0: 20 73 4d 6f 72 70 68 29 20 20 66 6f 72 20 73 4d   sMorph)  for sM
54c0: 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 29 3a  orph in lMorph):
54d0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
54e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
54f0: 20 20 20 20 20 20 20 20 20 69 66 20 62 44 65 62           if bDeb
5500: 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ug:.            
5510: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5520: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5530: 65 63 68 6f 28 22 20 20 4d 41 54 43 48 3a 20 40  echo("  MATCH: @
5540: 22 20 2b 20 73 52 65 67 65 78 29 0a 20 20 20 20  " + sRegex).    
5550: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5560: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5570: 20 20 20 20 79 69 65 6c 64 20 7b 20 22 69 54 6f      yield { "iTo
5580: 6b 65 6e 31 22 3a 20 69 54 6f 6b 65 6e 31 2c 20  ken1": iToken1, 
5590: 22 69 4e 6f 64 65 22 3a 20 64 4e 6f 64 65 5b 22  "iNode": dNode["
55a0: 3c 72 65 5f 6d 6f 72 70 68 3e 22 5d 5b 73 52 65  <re_morph>"][sRe
55b0: 67 65 78 5d 20 7d 0a 20 20 20 20 20 20 20 20 20  gex] }.         
55c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
55d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 62                 b
55e0: 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d 20 54 72 75  TokenFound = Tru
55f0: 65 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  e.              
5600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 65 6c                el
5610: 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  se:.            
5620: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5630: 20 20 20 20 69 66 20 73 4e 65 67 50 61 74 74 65      if sNegPatte
5640: 72 6e 20 61 6e 64 20 61 6e 79 28 72 65 2e 73 65  rn and any(re.se
5650: 61 72 63 68 28 73 4e 65 67 50 61 74 74 65 72 6e  arch(sNegPattern
5660: 2c 20 73 4d 6f 72 70 68 29 20 20 66 6f 72 20 73  , sMorph)  for s
5670: 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 29  Morph in lMorph)
5680: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
5690: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
56a0: 20 20 20 20 20 20 63 6f 6e 74 69 6e 75 65 0a 20        continue. 
56b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
56c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69                 i
56d0: 66 20 6e 6f 74 20 73 50 61 74 74 65 72 6e 20 6f  f not sPattern o
56e0: 72 20 61 6e 79 28 72 65 2e 73 65 61 72 63 68 28  r any(re.search(
56f0: 73 50 61 74 74 65 72 6e 2c 20 73 4d 6f 72 70 68  sPattern, sMorph
5700: 29 20 20 66 6f 72 20 73 4d 6f 72 70 68 20 69 6e  )  for sMorph in
5710: 20 6c 4d 6f 72 70 68 29 3a 0a 20 20 20 20 20 20   lMorph):.      
5720: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5730: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
5740: 20 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20 20   bDebug:.       
5750: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5760: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5770: 20 65 63 68 6f 28 22 20 20 4d 41 54 43 48 3a 20   echo("  MATCH: 
5780: 40 22 20 2b 20 73 52 65 67 65 78 29 0a 20 20 20  @" + sRegex).   
5790: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
57a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
57b0: 20 79 69 65 6c 64 20 7b 20 22 69 54 6f 6b 65 6e   yield { "iToken
57c0: 31 22 3a 20 69 54 6f 6b 65 6e 31 2c 20 22 69 4e  1": iToken1, "iN
57d0: 6f 64 65 22 3a 20 64 4e 6f 64 65 5b 22 3c 72 65  ode": dNode["<re
57e0: 5f 6d 6f 72 70 68 3e 22 5d 5b 73 52 65 67 65 78  _morph>"][sRegex
57f0: 5d 20 7d 0a 20 20 20 20 20 20 20 20 20 20 20 20  ] }.            
5800: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5810: 20 20 20 20 20 20 20 20 62 54 6f 6b 65 6e 46 6f          bTokenFo
5820: 75 6e 64 20 3d 20 54 72 75 65 0a 20 20 20 20 20  und = True.     
5830: 20 20 20 23 20 74 6f 6b 65 6e 20 74 61 67 73 0a     # token tags.
5840: 20 20 20 20 20 20 20 20 69 66 20 22 61 54 61 67          if "aTag
5850: 73 22 20 69 6e 20 64 54 6f 6b 65 6e 20 61 6e 64  s" in dToken and
5860: 20 22 3c 74 61 67 73 3e 22 20 69 6e 20 64 4e 6f   "<tags>" in dNo
5870: 64 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  de:.            
5880: 66 6f 72 20 73 54 61 67 20 69 6e 20 64 54 6f 6b  for sTag in dTok
5890: 65 6e 5b 22 61 54 61 67 73 22 5d 3a 0a 20 20 20  en["aTags"]:.   
58a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20               if 
58b0: 73 54 61 67 20 69 6e 20 64 4e 6f 64 65 5b 22 3c  sTag in dNode["<
58c0: 74 61 67 73 3e 22 5d 3a 0a 20 20 20 20 20 20 20  tags>"]:.       
58d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20               if 
58e0: 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20 20 20  bDebug:.        
58f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5900: 65 63 68 6f 28 22 20 20 4d 41 54 43 48 3a 20 2f  echo("  MATCH: /
5910: 22 20 2b 20 73 54 61 67 29 0a 20 20 20 20 20 20  " + sTag).      
5920: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 79 69                yi
5930: 65 6c 64 20 7b 20 22 69 54 6f 6b 65 6e 31 22 3a  eld { "iToken1":
5940: 20 69 54 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64 65   iToken1, "iNode
5950: 22 3a 20 64 4e 6f 64 65 5b 22 3c 74 61 67 73 3e  ": dNode["<tags>
5960: 22 5d 5b 73 54 61 67 5d 20 7d 0a 20 20 20 20 20  "][sTag] }.     
5970: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 62                 b
5980: 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d 20 54 72 75  TokenFound = Tru
5990: 65 0a 20 20 20 20 20 20 20 20 23 20 6d 65 74 61  e.        # meta
59a0: 20 61 72 63 20 28 66 6f 72 20 74 6f 6b 65 6e 20   arc (for token 
59b0: 74 79 70 65 29 0a 20 20 20 20 20 20 20 20 69 66  type).        if
59c0: 20 22 3c 6d 65 74 61 3e 22 20 69 6e 20 64 4e 6f   "<meta>" in dNo
59d0: 64 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  de:.            
59e0: 66 6f 72 20 73 4d 65 74 61 20 69 6e 20 64 4e 6f  for sMeta in dNo
59f0: 64 65 5b 22 3c 6d 65 74 61 3e 22 5d 3a 0a 20 20  de["<meta>"]:.  
5a00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 23 20                # 
5a10: 6e 6f 20 72 65 67 65 78 20 68 65 72 65 2c 20 77  no regex here, w
5a20: 65 20 6a 75 73 74 20 73 65 61 72 63 68 20 69 66  e just search if
5a30: 20 3c 64 4e 6f 64 65 5b 22 73 54 79 70 65 22 5d   <dNode["sType"]
5a40: 3e 20 65 78 69 73 74 73 20 77 69 74 68 69 6e 20  > exists within 
5a50: 3c 73 4d 65 74 61 3e 0a 20 20 20 20 20 20 20 20  <sMeta>.        
5a60: 20 20 20 20 20 20 20 20 69 66 20 73 4d 65 74 61          if sMeta
5a70: 20 3d 3d 20 22 2a 22 20 6f 72 20 64 54 6f 6b 65   == "*" or dToke
5a80: 6e 5b 22 73 54 79 70 65 22 5d 20 3d 3d 20 73 4d  n["sType"] == sM
5a90: 65 74 61 3a 0a 20 20 20 20 20 20 20 20 20 20 20  eta:.           
5aa0: 20 20 20 20 20 20 20 20 20 69 66 20 62 44 65 62           if bDeb
5ab0: 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ug:.            
5ac0: 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68 6f              echo
5ad0: 28 22 20 20 4d 41 54 43 48 3a 20 2a 22 20 2b 20  ("  MATCH: *" + 
5ae0: 73 4d 65 74 61 29 0a 20 20 20 20 20 20 20 20 20  sMeta).         
5af0: 20 20 20 20 20 20 20 20 20 20 20 79 69 65 6c 64             yield
5b00: 20 7b 20 22 69 54 6f 6b 65 6e 31 22 3a 20 69 54   { "iToken1": iT
5b10: 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64 65 22 3a 20  oken1, "iNode": 
5b20: 64 4e 6f 64 65 5b 22 3c 6d 65 74 61 3e 22 5d 5b  dNode["<meta>"][
5b30: 73 4d 65 74 61 5d 20 7d 0a 20 20 20 20 20 20 20  sMeta] }.       
5b40: 20 20 20 20 20 20 20 20 20 20 20 20 20 62 54 6f               bTo
5b50: 6b 65 6e 46 6f 75 6e 64 20 3d 20 54 72 75 65 0a  kenFound = True.
5b60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5b70: 65 6c 69 66 20 22 c2 ac 22 20 69 6e 20 73 4d 65  elif ".." in sMe
5b80: 74 61 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ta:.            
5b90: 20 20 20 20 20 20 20 20 69 66 20 64 54 6f 6b 65          if dToke
5ba0: 6e 5b 22 73 54 79 70 65 22 5d 20 6e 6f 74 20 69  n["sType"] not i
5bb0: 6e 20 73 4d 65 74 61 3a 0a 20 20 20 20 20 20 20  n sMeta:.       
5bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5bd0: 20 69 66 20 62 44 65 62 75 67 3a 0a 20 20 20 20   if bDebug:.    
5be0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5bf0: 20 20 20 20 20 20 20 20 65 63 68 6f 28 22 20 20          echo("  
5c00: 4d 41 54 43 48 3a 20 2a 22 20 2b 20 73 4d 65 74  MATCH: *" + sMet
5c10: 61 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  a).             
5c20: 20 20 20 20 20 20 20 20 20 20 20 79 69 65 6c 64             yield
5c30: 20 7b 20 22 69 54 6f 6b 65 6e 31 22 3a 20 69 54   { "iToken1": iT
5c40: 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64 65 22 3a 20  oken1, "iNode": 
5c50: 64 4e 6f 64 65 5b 22 3c 6d 65 74 61 3e 22 5d 5b  dNode["<meta>"][
5c60: 73 4d 65 74 61 5d 20 7d 0a 20 20 20 20 20 20 20  sMeta] }.       
5c70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5c80: 20 62 54 6f 6b 65 6e 46 6f 75 6e 64 20 3d 20 54   bTokenFound = T
5c90: 72 75 65 0a 20 20 20 20 20 20 20 20 69 66 20 6e  rue.        if n
5ca0: 6f 74 20 62 54 6f 6b 65 6e 46 6f 75 6e 64 20 61  ot bTokenFound a
5cb0: 6e 64 20 22 62 4b 65 65 70 22 20 69 6e 20 64 50  nd "bKeep" in dP
5cc0: 6f 69 6e 74 65 72 3a 0a 20 20 20 20 20 20 20 20  ointer:.        
5cd0: 20 20 20 20 79 69 65 6c 64 20 64 50 6f 69 6e 74      yield dPoint
5ce0: 65 72 0a 20 20 20 20 20 20 20 20 23 20 4a 55 4d  er.        # JUM
5cf0: 50 0a 20 20 20 20 20 20 20 20 23 20 57 61 72 6e  P.        # Warn
5d00: 69 6e 67 21 20 52 65 63 75 72 73 73 69 6f 6e 21  ing! Recurssion!
5d10: 0a 20 20 20 20 20 20 20 20 69 66 20 22 3c 3e 22  .        if "<>"
5d20: 20 69 6e 20 64 4e 6f 64 65 3a 0a 20 20 20 20 20   in dNode:.     
5d30: 20 20 20 20 20 20 20 64 50 6f 69 6e 74 65 72 32         dPointer2
5d40: 20 3d 20 7b 20 22 69 54 6f 6b 65 6e 31 22 3a 20   = { "iToken1": 
5d50: 69 54 6f 6b 65 6e 31 2c 20 22 69 4e 6f 64 65 22  iToken1, "iNode"
5d60: 3a 20 64 4e 6f 64 65 5b 22 3c 3e 22 5d 2c 20 22  : dNode["<>"], "
5d70: 62 4b 65 65 70 22 3a 20 54 72 75 65 20 7d 0a 20  bKeep": True }. 
5d80: 20 20 20 20 20 20 20 20 20 20 20 79 69 65 6c 64             yield
5d90: 20 66 72 6f 6d 20 73 65 6c 66 2e 5f 67 65 74 4e   from self._getN
5da0: 65 78 74 50 6f 69 6e 74 65 72 73 28 64 54 6f 6b  extPointers(dTok
5db0: 65 6e 2c 20 64 47 72 61 70 68 2c 20 64 50 6f 69  en, dGraph, dPoi
5dc0: 6e 74 65 72 32 2c 20 62 44 65 62 75 67 29 0a 0a  nter2, bDebug)..
5dd0: 20 20 20 20 64 65 66 20 70 61 72 73 65 47 72 61      def parseGra
5de0: 70 68 20 28 73 65 6c 66 2c 20 64 47 72 61 70 68  ph (self, dGraph
5df0: 2c 20 73 43 6f 75 6e 74 72 79 3d 22 24 7b 63 6f  , sCountry="${co
5e00: 75 6e 74 72 79 5f 64 65 66 61 75 6c 74 7d 22 2c  untry_default}",
5e10: 20 64 4f 70 74 69 6f 6e 73 3d 4e 6f 6e 65 2c 20   dOptions=None, 
5e20: 62 53 68 6f 77 52 75 6c 65 49 64 3d 46 61 6c 73  bShowRuleId=Fals
5e30: 65 2c 20 62 44 65 62 75 67 3d 46 61 6c 73 65 2c  e, bDebug=False,
5e40: 20 62 43 6f 6e 74 65 78 74 3d 46 61 6c 73 65 29   bContext=False)
5e50: 3a 0a 20 20 20 20 20 20 20 20 22 70 61 72 73 65  :.        "parse
5e60: 20 67 72 61 70 68 20 77 69 74 68 20 74 6f 6b 65   graph with toke
5e70: 6e 73 20 66 72 6f 6d 20 74 68 65 20 74 65 78 74  ns from the text
5e80: 20 61 6e 64 20 65 78 65 63 75 74 65 20 61 63 74   and execute act
5e90: 69 6f 6e 73 20 65 6e 63 6f 75 6e 74 65 72 65 64  ions encountered
5ea0: 22 0a 20 20 20 20 20 20 20 20 6c 50 6f 69 6e 74  ".        lPoint
5eb0: 65 72 20 3d 20 5b 5d 0a 20 20 20 20 20 20 20 20  er = [].        
5ec0: 62 54 61 67 41 6e 64 52 65 77 72 69 74 65 20 3d  bTagAndRewrite =
5ed0: 20 46 61 6c 73 65 0a 20 20 20 20 20 20 20 20 66   False.        f
5ee0: 6f 72 20 69 54 6f 6b 65 6e 2c 20 64 54 6f 6b 65  or iToken, dToke
5ef0: 6e 20 69 6e 20 65 6e 75 6d 65 72 61 74 65 28 73  n in enumerate(s
5f00: 65 6c 66 2e 6c 54 6f 6b 65 6e 29 3a 0a 20 20 20  elf.lToken):.   
5f10: 20 20 20 20 20 20 20 20 20 69 66 20 62 44 65 62           if bDeb
5f20: 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ug:.            
5f30: 20 20 20 20 65 63 68 6f 28 22 54 4f 4b 45 4e 3a      echo("TOKEN:
5f40: 20 22 20 2b 20 64 54 6f 6b 65 6e 5b 22 73 56 61   " + dToken["sVa
5f50: 6c 75 65 22 5d 29 0a 20 20 20 20 20 20 20 20 20  lue"]).         
5f60: 20 20 20 23 20 63 68 65 63 6b 20 61 72 63 73 20     # check arcs 
5f70: 66 6f 72 20 65 61 63 68 20 65 78 69 73 74 69 6e  for each existin
5f80: 67 20 70 6f 69 6e 74 65 72 0a 20 20 20 20 20 20  g pointer.      
5f90: 20 20 20 20 20 20 6c 4e 65 78 74 50 6f 69 6e 74        lNextPoint
5fa0: 65 72 20 3d 20 5b 5d 0a 20 20 20 20 20 20 20 20  er = [].        
5fb0: 20 20 20 20 66 6f 72 20 64 50 6f 69 6e 74 65 72      for dPointer
5fc0: 20 69 6e 20 6c 50 6f 69 6e 74 65 72 3a 0a 20 20   in lPointer:.  
5fd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 6c 4e                lN
5fe0: 65 78 74 50 6f 69 6e 74 65 72 2e 65 78 74 65 6e  extPointer.exten
5ff0: 64 28 73 65 6c 66 2e 5f 67 65 74 4e 65 78 74 50  d(self._getNextP
6000: 6f 69 6e 74 65 72 73 28 64 54 6f 6b 65 6e 2c 20  ointers(dToken, 
6010: 64 47 72 61 70 68 2c 20 64 50 6f 69 6e 74 65 72  dGraph, dPointer
6020: 2c 20 62 44 65 62 75 67 29 29 0a 20 20 20 20 20  , bDebug)).     
6030: 20 20 20 20 20 20 20 6c 50 6f 69 6e 74 65 72 20         lPointer 
6040: 3d 20 6c 4e 65 78 74 50 6f 69 6e 74 65 72 0a 20  = lNextPointer. 
6050: 20 20 20 20 20 20 20 20 20 20 20 23 20 63 68 65             # che
6060: 63 6b 20 61 72 63 73 20 6f 66 20 66 69 72 73 74  ck arcs of first
6070: 20 6e 6f 64 65 73 0a 20 20 20 20 20 20 20 20 20   nodes.         
6080: 20 20 20 6c 50 6f 69 6e 74 65 72 2e 65 78 74 65     lPointer.exte
6090: 6e 64 28 73 65 6c 66 2e 5f 67 65 74 4e 65 78 74  nd(self._getNext
60a0: 50 6f 69 6e 74 65 72 73 28 64 54 6f 6b 65 6e 2c  Pointers(dToken,
60b0: 20 64 47 72 61 70 68 2c 20 7b 20 22 69 54 6f 6b   dGraph, { "iTok
60c0: 65 6e 31 22 3a 20 69 54 6f 6b 65 6e 2c 20 22 69  en1": iToken, "i
60d0: 4e 6f 64 65 22 3a 20 30 20 7d 2c 20 62 44 65 62  Node": 0 }, bDeb
60e0: 75 67 29 29 0a 20 20 20 20 20 20 20 20 20 20 20  ug)).           
60f0: 20 23 20 63 68 65 63 6b 20 69 66 20 74 68 65 72   # check if ther
6100: 65 20 69 73 20 72 75 6c 65 73 20 74 6f 20 63 68  e is rules to ch
6110: 65 63 6b 20 66 6f 72 20 65 61 63 68 20 70 6f 69  eck for each poi
6120: 6e 74 65 72 0a 20 20 20 20 20 20 20 20 20 20 20  nter.           
6130: 20 66 6f 72 20 64 50 6f 69 6e 74 65 72 20 69 6e   for dPointer in
6140: 20 6c 50 6f 69 6e 74 65 72 3a 0a 20 20 20 20 20   lPointer:.     
6150: 20 20 20 20 20 20 20 20 20 20 20 23 69 66 20 62             #if b
6160: 44 65 62 75 67 3a 0a 20 20 20 20 20 20 20 20 20  Debug:.         
6170: 20 20 20 20 20 20 20 23 20 20 20 20 65 63 68 6f         #    echo
6180: 28 22 2b 22 2c 20 64 50 6f 69 6e 74 65 72 29 0a  ("+", dPointer).
6190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
61a0: 69 66 20 22 3c 72 75 6c 65 73 3e 22 20 69 6e 20  if "<rules>" in 
61b0: 64 47 72 61 70 68 5b 64 50 6f 69 6e 74 65 72 5b  dGraph[dPointer[
61c0: 22 69 4e 6f 64 65 22 5d 5d 3a 0a 20 20 20 20 20  "iNode"]]:.     
61d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 62                 b
61e0: 43 68 61 6e 67 65 20 3d 20 73 65 6c 66 2e 5f 65  Change = self._e
61f0: 78 65 63 75 74 65 41 63 74 69 6f 6e 73 28 64 47  xecuteActions(dG
6200: 72 61 70 68 2c 20 64 47 72 61 70 68 5b 64 50 6f  raph, dGraph[dPo
6210: 69 6e 74 65 72 5b 22 69 4e 6f 64 65 22 5d 5d 5b  inter["iNode"]][
6220: 22 3c 72 75 6c 65 73 3e 22 5d 2c 20 64 50 6f 69  "<rules>"], dPoi
6230: 6e 74 65 72 5b 22 69 54 6f 6b 65 6e 31 22 5d 2d  nter["iToken1"]-
6240: 31 2c 20 69 54 6f 6b 65 6e 2c 20 64 4f 70 74 69  1, iToken, dOpti
6250: 6f 6e 73 2c 20 73 43 6f 75 6e 74 72 79 2c 20 62  ons, sCountry, b
6260: 53 68 6f 77 52 75 6c 65 49 64 2c 20 62 44 65 62  ShowRuleId, bDeb
6270: 75 67 2c 20 62 43 6f 6e 74 65 78 74 29 0a 20 20  ug, bContext).  
6280: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6290: 20 20 69 66 20 62 43 68 61 6e 67 65 3a 0a 20 20    if bChange:.  
62a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
62b0: 20 20 20 20 20 20 62 54 61 67 41 6e 64 52 65 77        bTagAndRew
62c0: 72 69 74 65 20 3d 20 54 72 75 65 0a 20 20 20 20  rite = True.    
62d0: 20 20 20 20 69 66 20 62 54 61 67 41 6e 64 52 65      if bTagAndRe
62e0: 77 72 69 74 65 3a 0a 20 20 20 20 20 20 20 20 20  write:.         
62f0: 20 20 20 73 65 6c 66 2e 72 65 77 72 69 74 65 46     self.rewriteF
6300: 72 6f 6d 54 61 67 73 28 62 44 65 62 75 67 29 0a  romTags(bDebug).
6310: 20 20 20 20 20 20 20 20 69 66 20 62 44 65 62 75          if bDebu
6320: 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 65  g:.            e
6330: 63 68 6f 28 73 65 6c 66 29 0a 20 20 20 20 20 20  cho(self).      
6340: 20 20 72 65 74 75 72 6e 20 73 65 6c 66 2e 73 53    return self.sS
6350: 65 6e 74 65 6e 63 65 0a 0a 20 20 20 20 64 65 66  entence..    def
6360: 20 5f 65 78 65 63 75 74 65 41 63 74 69 6f 6e 73   _executeActions
6370: 20 28 73 65 6c 66 2c 20 64 47 72 61 70 68 2c 20   (self, dGraph, 
6380: 64 4e 6f 64 65 2c 20 6e 54 6f 6b 65 6e 4f 66 66  dNode, nTokenOff
6390: 73 65 74 2c 20 6e 4c 61 73 74 54 6f 6b 65 6e 2c  set, nLastToken,
63a0: 20 64 4f 70 74 69 6f 6e 73 2c 20 73 43 6f 75 6e   dOptions, sCoun
63b0: 74 72 79 2c 20 62 53 68 6f 77 52 75 6c 65 49 64  try, bShowRuleId
63c0: 2c 20 62 44 65 62 75 67 2c 20 62 43 6f 6e 74 65  , bDebug, bConte
63d0: 78 74 29 3a 0a 20 20 20 20 20 20 20 20 22 65 78  xt):.        "ex
63e0: 65 63 75 74 65 20 61 63 74 69 6f 6e 73 20 66 6f  ecute actions fo
63f0: 75 6e 64 20 69 6e 20 74 68 65 20 44 41 52 47 22  und in the DARG"
6400: 0a 20 20 20 20 20 20 20 20 62 43 68 61 6e 67 65  .        bChange
6410: 20 3d 20 46 61 6c 73 65 0a 20 20 20 20 20 20 20   = False.       
6420: 20 66 6f 72 20 73 4c 69 6e 65 49 64 2c 20 6e 65   for sLineId, ne
6430: 78 74 4e 6f 64 65 4b 65 79 20 69 6e 20 64 4e 6f  xtNodeKey in dNo
6440: 64 65 2e 69 74 65 6d 73 28 29 3a 0a 20 20 20 20  de.items():.    
6450: 20 20 20 20 20 20 20 20 62 43 6f 6e 64 4d 65 6d          bCondMem
6460: 6f 20 3d 20 4e 6f 6e 65 0a 20 20 20 20 20 20 20  o = None.       
6470: 20 20 20 20 20 66 6f 72 20 73 52 75 6c 65 49 64       for sRuleId
6480: 20 69 6e 20 64 47 72 61 70 68 5b 6e 65 78 74 4e   in dGraph[nextN
6490: 6f 64 65 4b 65 79 5d 3a 0a 20 20 20 20 20 20 20  odeKey]:.       
64a0: 20 20 20 20 20 20 20 20 20 74 72 79 3a 0a 20 20           try:.  
64b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
64c0: 20 20 69 66 20 62 44 65 62 75 67 3a 0a 20 20 20    if bDebug:.   
64d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
64e0: 20 20 20 20 20 65 63 68 6f 28 22 20 20 20 3e 54       echo("   >T
64f0: 52 59 3a 20 22 20 2b 20 73 52 75 6c 65 49 64 20  RY: " + sRuleId 
6500: 2b 20 22 20 22 20 2b 20 73 4c 69 6e 65 49 64 29  + " " + sLineId)
6510: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
6520: 20 20 20 20 20 5f 2c 20 73 4f 70 74 69 6f 6e 2c       _, sOption,
6530: 20 73 46 75 6e 63 43 6f 6e 64 2c 20 63 41 63 74   sFuncCond, cAct
6540: 69 6f 6e 54 79 70 65 2c 20 73 57 68 61 74 2c 20  ionType, sWhat, 
6550: 2a 65 41 63 74 20 3d 20 5f 72 75 6c 65 73 5f 67  *eAct = _rules_g
6560: 72 61 70 68 2e 64 52 75 6c 65 5b 73 52 75 6c 65  raph.dRule[sRule
6570: 49 64 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20  Id].            
6580: 20 20 20 20 20 20 20 20 23 20 53 75 67 67 65 73          # Sugges
6590: 74 69 6f 6e 20 20 20 20 5b 20 6f 70 74 69 6f 6e  tion    [ option
65a0: 2c 20 63 6f 6e 64 69 74 69 6f 6e 2c 20 22 2d 22  , condition, "-"
65b0: 2c 20 72 65 70 6c 61 63 65 6d 65 6e 74 2f 73 75  , replacement/su
65c0: 67 67 65 73 74 69 6f 6e 2f 61 63 74 69 6f 6e 2c  ggestion/action,
65d0: 20 69 54 6f 6b 65 6e 53 74 61 72 74 2c 20 69 54   iTokenStart, iT
65e0: 6f 6b 65 6e 45 6e 64 2c 20 63 53 74 61 72 74 4c  okenEnd, cStartL
65f0: 69 6d 69 74 2c 20 63 45 6e 64 4c 69 6d 69 74 2c  imit, cEndLimit,
6600: 20 62 43 61 73 65 53 76 74 79 2c 20 6e 50 72 69   bCaseSvty, nPri
6610: 6f 72 69 74 79 2c 20 73 4d 65 73 73 61 67 65 2c  ority, sMessage,
6620: 20 73 55 52 4c 20 5d 0a 20 20 20 20 20 20 20 20   sURL ].        
6630: 20 20 20 20 20 20 20 20 20 20 20 20 23 20 54 65              # Te
6640: 78 74 50 72 6f 63 65 73 73 6f 72 20 5b 20 6f 70  xtProcessor [ op
6650: 74 69 6f 6e 2c 20 63 6f 6e 64 69 74 69 6f 6e 2c  tion, condition,
6660: 20 22 7e 22 2c 20 72 65 70 6c 61 63 65 6d 65 6e   "~", replacemen
6670: 74 2f 73 75 67 67 65 73 74 69 6f 6e 2f 61 63 74  t/suggestion/act
6680: 69 6f 6e 2c 20 69 54 6f 6b 65 6e 53 74 61 72 74  ion, iTokenStart
6690: 2c 20 69 54 6f 6b 65 6e 45 6e 64 2c 20 62 43 61  , iTokenEnd, bCa
66a0: 73 65 53 76 74 79 20 5d 0a 20 20 20 20 20 20 20  seSvty ].       
66b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 23 20 44               # D
66c0: 69 73 61 6d 62 69 67 75 61 74 6f 72 20 5b 20 6f  isambiguator [ o
66d0: 70 74 69 6f 6e 2c 20 63 6f 6e 64 69 74 69 6f 6e  ption, condition
66e0: 2c 20 22 3d 22 2c 20 72 65 70 6c 61 63 65 6d 65  , "=", replaceme
66f0: 6e 74 2f 73 75 67 67 65 73 74 69 6f 6e 2f 61 63  nt/suggestion/ac
6700: 74 69 6f 6e 20 5d 0a 20 20 20 20 20 20 20 20 20  tion ].         
6710: 20 20 20 20 20 20 20 20 20 20 20 23 20 54 61 67             # Tag
6720: 20 20 20 20 20 20 20 20 20 20 20 5b 20 6f 70 74             [ opt
6730: 69 6f 6e 2c 20 63 6f 6e 64 69 74 69 6f 6e 2c 20  ion, condition, 
6740: 22 2f 22 2c 20 72 65 70 6c 61 63 65 6d 65 6e 74  "/", replacement
6750: 2f 73 75 67 67 65 73 74 69 6f 6e 2f 61 63 74 69  /suggestion/acti
6760: 6f 6e 2c 20 69 54 6f 6b 65 6e 53 74 61 72 74 2c  on, iTokenStart,
6770: 20 69 54 6f 6b 65 6e 45 6e 64 20 5d 0a 20 20 20   iTokenEnd ].   
6780: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6790: 20 23 20 49 6d 6d 75 6e 69 74 79 20 20 20 20 20   # Immunity     
67a0: 20 5b 20 6f 70 74 69 6f 6e 2c 20 63 6f 6e 64 69   [ option, condi
67b0: 74 69 6f 6e 2c 20 22 21 22 2c 20 22 22 2c 20 20  tion, "!", "",  
67c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
67d0: 20 20 20 20 20 20 20 20 20 20 69 54 6f 6b 65 6e            iToken
67e0: 53 74 61 72 74 2c 20 69 54 6f 6b 65 6e 45 6e 64  Start, iTokenEnd
67f0: 20 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20   ].             
6800: 20 20 20 20 20 20 20 23 20 54 65 73 74 20 20 20         # Test   
6810: 20 20 20 20 20 20 20 5b 20 6f 70 74 69 6f 6e 2c         [ option,
6820: 20 63 6f 6e 64 69 74 69 6f 6e 2c 20 22 3e 22 2c   condition, ">",
6830: 20 22 22 20 5d 0a 20 20 20 20 20 20 20 20 20 20   "" ].          
6840: 20 20 20 20 20 20 20 20 20 20 69 66 20 6e 6f 74            if not
6850: 20 73 4f 70 74 69 6f 6e 20 6f 72 20 64 4f 70 74   sOption or dOpt
6860: 69 6f 6e 73 2e 67 65 74 28 73 4f 70 74 69 6f 6e  ions.get(sOption
6870: 2c 20 46 61 6c 73 65 29 3a 0a 20 20 20 20 20 20  , False):.      
6880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6890: 20 20 62 43 6f 6e 64 4d 65 6d 6f 20 3d 20 6e 6f    bCondMemo = no
68a0: 74 20 73 46 75 6e 63 43 6f 6e 64 20 6f 72 20 67  t sFuncCond or g
68b0: 6c 6f 62 61 6c 73 28 29 5b 73 46 75 6e 63 43 6f  lobals()[sFuncCo
68c0: 6e 64 5d 28 73 65 6c 66 2e 6c 54 6f 6b 65 6e 2c  nd](self.lToken,
68d0: 20 6e 54 6f 6b 65 6e 4f 66 66 73 65 74 2c 20 6e   nTokenOffset, n
68e0: 4c 61 73 74 54 6f 6b 65 6e 2c 20 73 43 6f 75 6e  LastToken, sCoun
68f0: 74 72 79 2c 20 62 43 6f 6e 64 4d 65 6d 6f 2c 20  try, bCondMemo, 
6900: 73 65 6c 66 2e 64 54 61 67 73 2c 20 73 65 6c 66  self.dTags, self
6910: 2e 73 53 65 6e 74 65 6e 63 65 2c 20 73 65 6c 66  .sSentence, self
6920: 2e 73 53 65 6e 74 65 6e 63 65 30 29 0a 20 20 20  .sSentence0).   
6930: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6940: 20 20 20 20 20 69 66 20 62 43 6f 6e 64 4d 65 6d       if bCondMem
6950: 6f 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  o:.             
6960: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69                 i
6970: 66 20 63 41 63 74 69 6f 6e 54 79 70 65 20 3d 3d  f cActionType ==
6980: 20 22 2d 22 3a 0a 20 20 20 20 20 20 20 20 20 20   "-":.          
6990: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
69a0: 20 20 20 20 20 20 23 20 67 72 61 6d 6d 61 72 20        # grammar 
69b0: 65 72 72 6f 72 0a 20 20 20 20 20 20 20 20 20 20  error.          
69c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
69d0: 20 20 20 20 20 20 69 54 6f 6b 65 6e 53 74 61 72        iTokenStar
69e0: 74 2c 20 69 54 6f 6b 65 6e 45 6e 64 2c 20 63 53  t, iTokenEnd, cS
69f0: 74 61 72 74 4c 69 6d 69 74 2c 20 63 45 6e 64 4c  tartLimit, cEndL
6a00: 69 6d 69 74 2c 20 62 43 61 73 65 53 76 74 79 2c  imit, bCaseSvty,
6a10: 20 6e 50 72 69 6f 72 69 74 79 2c 20 73 4d 65 73   nPriority, sMes
6a20: 73 61 67 65 2c 20 73 55 52 4c 20 3d 20 65 41 63  sage, sURL = eAc
6a30: 74 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  t.              
6a40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6a50: 20 20 6e 54 6f 6b 65 6e 45 72 72 6f 72 53 74 61    nTokenErrorSta
6a60: 72 74 20 3d 20 6e 54 6f 6b 65 6e 4f 66 66 73 65  rt = nTokenOffse
6a70: 74 20 2b 20 69 54 6f 6b 65 6e 53 74 61 72 74 20  t + iTokenStart 
6a80: 20 69 66 20 69 54 6f 6b 65 6e 53 74 61 72 74 20   if iTokenStart 
6a90: 3e 20 30 20 20 65 6c 73 65 20 6e 4c 61 73 74 54  > 0  else nLastT
6aa0: 6f 6b 65 6e 20 2b 20 69 54 6f 6b 65 6e 53 74 61  oken + iTokenSta
6ab0: 72 74 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  rt.             
6ac0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6ad0: 20 20 20 69 66 20 22 62 49 6d 6d 75 6e 65 22 20     if "bImmune" 
6ae0: 6e 6f 74 20 69 6e 20 73 65 6c 66 2e 6c 54 6f 6b  not in self.lTok
6af0: 65 6e 5b 6e 54 6f 6b 65 6e 45 72 72 6f 72 53 74  en[nTokenErrorSt
6b00: 61 72 74 5d 3a 0a 20 20 20 20 20 20 20 20 20 20  art]:.          
6b10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6b20: 20 20 20 20 20 20 20 20 20 20 6e 54 6f 6b 65 6e            nToken
6b30: 45 72 72 6f 72 45 6e 64 20 3d 20 6e 54 6f 6b 65  ErrorEnd = nToke
6b40: 6e 4f 66 66 73 65 74 20 2b 20 69 54 6f 6b 65 6e  nOffset + iToken
6b50: 45 6e 64 20 20 69 66 20 69 54 6f 6b 65 6e 45 6e  End  if iTokenEn
6b60: 64 20 3e 20 30 20 20 65 6c 73 65 20 6e 4c 61 73  d > 0  else nLas
6b70: 74 54 6f 6b 65 6e 20 2b 20 69 54 6f 6b 65 6e 45  tToken + iTokenE
6b80: 6e 64 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  nd.             
6b90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6ba0: 20 20 20 20 20 20 20 6e 45 72 72 6f 72 53 74 61         nErrorSta
6bb0: 72 74 20 3d 20 73 65 6c 66 2e 6e 4f 66 66 73 65  rt = self.nOffse
6bc0: 74 57 69 74 68 69 6e 50 61 72 61 67 72 61 70 68  tWithinParagraph
6bd0: 20 2b 20 28 73 65 6c 66 2e 6c 54 6f 6b 65 6e 5b   + (self.lToken[
6be0: 6e 54 6f 6b 65 6e 45 72 72 6f 72 53 74 61 72 74  nTokenErrorStart
6bf0: 5d 5b 22 6e 53 74 61 72 74 22 5d 20 69 66 20 63  ]["nStart"] if c
6c00: 53 74 61 72 74 4c 69 6d 69 74 20 3d 3d 20 22 3c  StartLimit == "<
6c10: 22 20 20 65 6c 73 65 20 73 65 6c 66 2e 6c 54 6f  "  else self.lTo
6c20: 6b 65 6e 5b 6e 54 6f 6b 65 6e 45 72 72 6f 72 53  ken[nTokenErrorS
6c30: 74 61 72 74 5d 5b 22 6e 45 6e 64 22 5d 29 0a 20  tart]["nEnd"]). 
6c40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6c60: 20 20 20 6e 45 72 72 6f 72 45 6e 64 20 3d 20 73     nErrorEnd = s
6c70: 65 6c 66 2e 6e 4f 66 66 73 65 74 57 69 74 68 69  elf.nOffsetWithi
6c80: 6e 50 61 72 61 67 72 61 70 68 20 2b 20 28 73 65  nParagraph + (se
6c90: 6c 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e  lf.lToken[nToken
6ca0: 45 72 72 6f 72 45 6e 64 5d 5b 22 6e 45 6e 64 22  ErrorEnd]["nEnd"
6cb0: 5d 20 69 66 20 63 45 6e 64 4c 69 6d 69 74 20 3d  ] if cEndLimit =
6cc0: 3d 20 22 3e 22 20 20 65 6c 73 65 20 73 65 6c 66  = ">"  else self
6cd0: 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e 45 72  .lToken[nTokenEr
6ce0: 72 6f 72 45 6e 64 5d 5b 22 6e 53 74 61 72 74 22  rorEnd]["nStart"
6cf0: 5d 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  ]).             
6d00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6d10: 20 20 20 20 20 20 20 69 66 20 6e 45 72 72 6f 72         if nError
6d20: 53 74 61 72 74 20 6e 6f 74 20 69 6e 20 73 65 6c  Start not in sel
6d30: 66 2e 64 45 72 72 6f 72 20 6f 72 20 6e 50 72 69  f.dError or nPri
6d40: 6f 72 69 74 79 20 3e 20 73 65 6c 66 2e 64 45 72  ority > self.dEr
6d50: 72 6f 72 50 72 69 6f 72 69 74 79 2e 67 65 74 28  rorPriority.get(
6d60: 6e 45 72 72 6f 72 53 74 61 72 74 2c 20 2d 31 29  nErrorStart, -1)
6d70: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
6d80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6d90: 20 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 64            self.d
6da0: 45 72 72 6f 72 5b 6e 45 72 72 6f 72 53 74 61 72  Error[nErrorStar
6db0: 74 5d 20 3d 20 73 65 6c 66 2e 5f 63 72 65 61 74  t] = self._creat
6dc0: 65 45 72 72 6f 72 46 72 6f 6d 54 6f 6b 65 6e 73  eErrorFromTokens
6dd0: 28 73 57 68 61 74 2c 20 6e 54 6f 6b 65 6e 4f 66  (sWhat, nTokenOf
6de0: 66 73 65 74 2c 20 6e 4c 61 73 74 54 6f 6b 65 6e  fset, nLastToken
6df0: 2c 20 6e 54 6f 6b 65 6e 45 72 72 6f 72 53 74 61  , nTokenErrorSta
6e00: 72 74 2c 20 6e 45 72 72 6f 72 53 74 61 72 74 2c  rt, nErrorStart,
6e10: 20 6e 45 72 72 6f 72 45 6e 64 2c 20 73 4c 69 6e   nErrorEnd, sLin
6e20: 65 49 64 2c 20 73 52 75 6c 65 49 64 2c 20 62 43  eId, sRuleId, bC
6e30: 61 73 65 53 76 74 79 2c 20 73 4d 65 73 73 61 67  aseSvty, sMessag
6e40: 65 2c 20 73 55 52 4c 2c 20 62 53 68 6f 77 52 75  e, sURL, bShowRu
6e50: 6c 65 49 64 2c 20 73 4f 70 74 69 6f 6e 2c 20 62  leId, sOption, b
6e60: 43 6f 6e 74 65 78 74 29 0a 20 20 20 20 20 20 20  Context).       
6e70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6e80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6e90: 20 73 65 6c 66 2e 64 45 72 72 6f 72 50 72 69 6f   self.dErrorPrio
6ea0: 72 69 74 79 5b 6e 45 72 72 6f 72 53 74 61 72 74  rity[nErrorStart
6eb0: 5d 20 3d 20 6e 50 72 69 6f 72 69 74 79 0a 20 20  ] = nPriority.  
6ec0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6ed0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6ee0: 20 20 20 20 20 20 73 65 6c 66 2e 64 53 65 6e 74        self.dSent
6ef0: 65 6e 63 65 45 72 72 6f 72 5b 6e 45 72 72 6f 72  enceError[nError
6f00: 53 74 61 72 74 5d 20 3d 20 73 65 6c 66 2e 64 45  Start] = self.dE
6f10: 72 72 6f 72 5b 6e 45 72 72 6f 72 53 74 61 72 74  rror[nErrorStart
6f20: 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ].              
6f30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6f40: 20 20 20 20 20 20 20 20 20 20 69 66 20 62 44 65            if bDe
6f50: 62 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20  bug:.           
6f60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6f70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6f80: 20 65 63 68 6f 28 22 20 20 20 20 4e 45 57 5f 45   echo("    NEW_E
6f90: 52 52 4f 52 3a 20 7b 7d 22 2e 66 6f 72 6d 61 74  RROR: {}".format
6fa0: 28 73 65 6c 66 2e 64 45 72 72 6f 72 5b 6e 45 72  (self.dError[nEr
6fb0: 72 6f 72 53 74 61 72 74 5d 29 29 0a 20 20 20 20  rorStart])).    
6fc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
6fd0: 20 20 20 20 20 20 20 20 65 6c 69 66 20 63 41 63          elif cAc
6fe0: 74 69 6f 6e 54 79 70 65 20 3d 3d 20 22 7e 22 3a  tionType == "~":
6ff0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
7000: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7010: 20 23 20 74 65 78 74 20 70 72 6f 63 65 73 73 6f   # text processo
7020: 72 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  r.              
7030: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7040: 20 20 6e 54 6f 6b 65 6e 53 74 61 72 74 20 3d 20    nTokenStart = 
7050: 6e 54 6f 6b 65 6e 4f 66 66 73 65 74 20 2b 20 65  nTokenOffset + e
7060: 41 63 74 5b 30 5d 20 20 69 66 20 65 41 63 74 5b  Act[0]  if eAct[
7070: 30 5d 20 3e 20 30 20 20 65 6c 73 65 20 6e 4c 61  0] > 0  else nLa
7080: 73 74 54 6f 6b 65 6e 20 2b 20 65 41 63 74 5b 30  stToken + eAct[0
7090: 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ].              
70a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
70b0: 20 20 6e 54 6f 6b 65 6e 45 6e 64 20 3d 20 6e 54    nTokenEnd = nT
70c0: 6f 6b 65 6e 4f 66 66 73 65 74 20 2b 20 65 41 63  okenOffset + eAc
70d0: 74 5b 31 5d 20 20 69 66 20 65 41 63 74 5b 31 5d  t[1]  if eAct[1]
70e0: 20 3e 20 30 20 20 65 6c 73 65 20 6e 4c 61 73 74   > 0  else nLast
70f0: 54 6f 6b 65 6e 20 2b 20 65 41 63 74 5b 31 5d 0a  Token + eAct[1].
7100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7110: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7120: 73 65 6c 66 2e 5f 74 61 67 41 6e 64 50 72 65 70  self._tagAndPrep
7130: 61 72 65 54 6f 6b 65 6e 46 6f 72 52 65 77 72 69  areTokenForRewri
7140: 74 69 6e 67 28 73 57 68 61 74 2c 20 6e 54 6f 6b  ting(sWhat, nTok
7150: 65 6e 53 74 61 72 74 2c 20 6e 54 6f 6b 65 6e 45  enStart, nTokenE
7160: 6e 64 2c 20 6e 54 6f 6b 65 6e 4f 66 66 73 65 74  nd, nTokenOffset
7170: 2c 20 6e 4c 61 73 74 54 6f 6b 65 6e 2c 20 65 41  , nLastToken, eA
7180: 63 74 5b 32 5d 2c 20 62 44 65 62 75 67 29 0a 20  ct[2], bDebug). 
7190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
71a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 62                 b
71b0: 43 68 61 6e 67 65 20 3d 20 54 72 75 65 0a 20 20  Change = True.  
71c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
71d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
71e0: 20 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20 20   bDebug:.       
71f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7200: 20 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68               ech
7210: 6f 28 22 20 20 20 20 54 45 58 54 5f 50 52 4f 43  o("    TEXT_PROC
7220: 45 53 53 4f 52 3a 20 5b 7b 7d 3a 7b 7d 5d 20 20  ESSOR: [{}:{}]  
7230: 3e 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c  > {}".format(sel
7240: 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e 53  f.lToken[nTokenS
7250: 74 61 72 74 5d 5b 22 73 56 61 6c 75 65 22 5d 2c  tart]["sValue"],
7260: 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f   self.lToken[nTo
7270: 6b 65 6e 45 6e 64 5d 5b 22 73 56 61 6c 75 65 22  kenEnd]["sValue"
7280: 5d 2c 20 73 57 68 61 74 29 29 0a 20 20 20 20 20  ], sWhat)).     
7290: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
72a0: 20 20 20 20 20 20 20 65 6c 69 66 20 63 41 63 74         elif cAct
72b0: 69 6f 6e 54 79 70 65 20 3d 3d 20 22 3d 22 3a 0a  ionType == "=":.
72c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
72d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
72e0: 23 20 64 69 73 61 6d 62 69 67 75 61 74 69 6f 6e  # disambiguation
72f0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
7300: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7310: 20 67 6c 6f 62 61 6c 73 28 29 5b 73 57 68 61 74   globals()[sWhat
7320: 5d 28 73 65 6c 66 2e 6c 54 6f 6b 65 6e 2c 20 6e  ](self.lToken, n
7330: 54 6f 6b 65 6e 4f 66 66 73 65 74 2c 20 6e 4c 61  TokenOffset, nLa
7340: 73 74 54 6f 6b 65 6e 29 0a 20 20 20 20 20 20 20  stToken).       
7350: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7360: 20 20 20 20 20 20 20 20 20 69 66 20 62 44 65 62           if bDeb
7370: 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ug:.            
7380: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7390: 20 20 20 20 20 20 20 20 65 63 68 6f 28 22 20 20          echo("  
73a0: 20 20 44 49 53 41 4d 42 49 47 55 41 54 4f 52 3a    DISAMBIGUATOR:
73b0: 20 28 7b 7d 29 20 20 5b 7b 7d 3a 7b 7d 5d 22 2e   ({})  [{}:{}]".
73c0: 66 6f 72 6d 61 74 28 73 57 68 61 74 2c 20 73 65  format(sWhat, se
73d0: 6c 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e  lf.lToken[nToken
73e0: 4f 66 66 73 65 74 2b 31 5d 5b 22 73 56 61 6c 75  Offset+1]["sValu
73f0: 65 22 5d 2c 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e  e"], self.lToken
7400: 5b 6e 4c 61 73 74 54 6f 6b 65 6e 5d 5b 22 73 56  [nLastToken]["sV
7410: 61 6c 75 65 22 5d 29 29 0a 20 20 20 20 20 20 20  alue"])).       
7420: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7430: 20 20 20 20 20 65 6c 69 66 20 63 41 63 74 69 6f       elif cActio
7440: 6e 54 79 70 65 20 3d 3d 20 22 3e 22 3a 0a 20 20  nType == ">":.  
7450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7460: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 23 20                # 
7470: 77 65 20 64 6f 20 6e 6f 74 68 69 6e 67 2c 20 74  we do nothing, t
7480: 68 69 73 20 74 65 73 74 20 69 73 20 6a 75 73 74  his test is just
7490: 20 61 20 63 6f 6e 64 69 74 69 6f 6e 20 74 6f 20   a condition to 
74a0: 61 70 70 6c 79 20 61 6c 6c 20 66 6f 6c 6c 6f 77  apply all follow
74b0: 69 6e 67 20 61 63 74 69 6f 6e 73 0a 20 20 20 20  ing actions.    
74c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
74d0: 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20 62              if b
74e0: 44 65 62 75 67 3a 0a 20 20 20 20 20 20 20 20 20  Debug:.         
74f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7500: 20 20 20 20 20 20 20 20 20 20 20 65 63 68 6f 28             echo(
7510: 22 20 20 20 20 43 4f 4e 44 5f 4f 4b 22 29 0a 20  "    COND_OK"). 
7520: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7530: 20 20 20 20 20 20 20 20 20 20 20 65 6c 69 66 20             elif 
7540: 63 41 63 74 69 6f 6e 54 79 70 65 20 3d 3d 20 22  cActionType == "
7550: 2f 22 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  /":.            
7560: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7570: 20 20 20 20 23 20 54 61 67 0a 20 20 20 20 20 20      # Tag.      
7580: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7590: 20 20 20 20 20 20 20 20 20 20 6e 54 6f 6b 65 6e            nToken
75a0: 53 74 61 72 74 20 3d 20 6e 54 6f 6b 65 6e 4f 66  Start = nTokenOf
75b0: 66 73 65 74 20 2b 20 65 41 63 74 5b 30 5d 20 20  fset + eAct[0]  
75c0: 69 66 20 65 41 63 74 5b 30 5d 20 3e 20 30 20 20  if eAct[0] > 0  
75d0: 65 6c 73 65 20 6e 4c 61 73 74 54 6f 6b 65 6e 20  else nLastToken 
75e0: 2b 20 65 41 63 74 5b 30 5d 0a 20 20 20 20 20 20  + eAct[0].      
75f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7600: 20 20 20 20 20 20 20 20 20 20 6e 54 6f 6b 65 6e            nToken
7610: 45 6e 64 20 3d 20 6e 54 6f 6b 65 6e 4f 66 66 73  End = nTokenOffs
7620: 65 74 20 2b 20 65 41 63 74 5b 31 5d 20 20 69 66  et + eAct[1]  if
7630: 20 65 41 63 74 5b 31 5d 20 3e 20 30 20 20 65 6c   eAct[1] > 0  el
7640: 73 65 20 6e 4c 61 73 74 54 6f 6b 65 6e 20 2b 20  se nLastToken + 
7650: 65 41 63 74 5b 31 5d 0a 20 20 20 20 20 20 20 20  eAct[1].        
7660: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7670: 20 20 20 20 20 20 20 20 66 6f 72 20 69 20 69 6e          for i in
7680: 20 72 61 6e 67 65 28 6e 54 6f 6b 65 6e 53 74 61   range(nTokenSta
7690: 72 74 2c 20 6e 54 6f 6b 65 6e 45 6e 64 2b 31 29  rt, nTokenEnd+1)
76a0: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
76b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
76c0: 20 20 20 20 20 20 69 66 20 22 61 54 61 67 73 22        if "aTags"
76d0: 20 69 6e 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e 5b   in self.lToken[
76e0: 69 5d 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  i]:.            
76f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7700: 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c 66              self
7710: 2e 6c 54 6f 6b 65 6e 5b 69 5d 5b 22 61 54 61 67  .lToken[i]["aTag
7720: 73 22 5d 2e 75 70 64 61 74 65 28 73 57 68 61 74  s"].update(sWhat
7730: 2e 73 70 6c 69 74 28 22 7c 22 29 29 0a 20 20 20  .split("|")).   
7740: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7750: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7760: 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20   else:.         
7770: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7780: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 73                 s
7790: 65 6c 66 2e 6c 54 6f 6b 65 6e 5b 69 5d 5b 22 61  elf.lToken[i]["a
77a0: 54 61 67 73 22 5d 20 3d 20 73 65 74 28 73 57 68  Tags"] = set(sWh
77b0: 61 74 2e 73 70 6c 69 74 28 22 7c 22 29 29 0a 20  at.split("|")). 
77c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
77d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69                 i
77e0: 66 20 62 44 65 62 75 67 3a 0a 20 20 20 20 20 20  f bDebug:.      
77f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7800: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 65 63                ec
7810: 68 6f 28 22 20 20 20 20 54 41 47 3a 20 7b 7d 20  ho("    TAG: {} 
7820: 3e 20 20 5b 7b 7d 3a 7b 7d 5d 22 2e 66 6f 72 6d  >  [{}:{}]".form
7830: 61 74 28 73 57 68 61 74 2c 20 73 65 6c 66 2e 6c  at(sWhat, self.l
7840: 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e 53 74 61 72  Token[nTokenStar
7850: 74 5d 5b 22 73 56 61 6c 75 65 22 5d 2c 20 73 65  t]["sValue"], se
7860: 6c 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e  lf.lToken[nToken
7870: 45 6e 64 5d 5b 22 73 56 61 6c 75 65 22 5d 29 29  End]["sValue"]))
7880: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
7890: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
78a0: 20 69 66 20 73 57 68 61 74 20 6e 6f 74 20 69 6e   if sWhat not in
78b0: 20 73 65 6c 66 2e 64 54 61 67 73 3a 0a 20 20 20   self.dTags:.   
78c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
78d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
78e0: 20 73 65 6c 66 2e 64 54 61 67 73 5b 73 57 68 61   self.dTags[sWha
78f0: 74 5d 20 3d 20 5b 6e 54 6f 6b 65 6e 53 74 61 72  t] = [nTokenStar
7900: 74 2c 20 6e 54 6f 6b 65 6e 53 74 61 72 74 5d 0a  t, nTokenStart].
7910: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7920: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7930: 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20  else:.          
7940: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7950: 20 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 64            self.d
7960: 54 61 67 73 5b 73 57 68 61 74 5d 5b 30 5d 20 3d  Tags[sWhat][0] =
7970: 20 6d 69 6e 28 6e 54 6f 6b 65 6e 53 74 61 72 74   min(nTokenStart
7980: 2c 20 73 65 6c 66 2e 64 54 61 67 73 5b 73 57 68  , self.dTags[sWh
7990: 61 74 5d 5b 30 5d 29 0a 20 20 20 20 20 20 20 20  at][0]).        
79a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
79b0: 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c 66              self
79c0: 2e 64 54 61 67 73 5b 73 57 68 61 74 5d 5b 31 5d  .dTags[sWhat][1]
79d0: 20 3d 20 6d 61 78 28 6e 54 6f 6b 65 6e 45 6e 64   = max(nTokenEnd
79e0: 2c 20 73 65 6c 66 2e 64 54 61 67 73 5b 73 57 68  , self.dTags[sWh
79f0: 61 74 5d 5b 31 5d 29 0a 20 20 20 20 20 20 20 20  at][1]).        
7a00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7a10: 20 20 20 20 65 6c 69 66 20 63 41 63 74 69 6f 6e      elif cAction
7a20: 54 79 70 65 20 3d 3d 20 22 21 22 3a 0a 20 20 20  Type == "!":.   
7a30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7a40: 20 20 20 20 20 20 20 20 20 20 20 20 20 23 20 69               # i
7a50: 6d 6d 75 6e 69 74 79 0a 20 20 20 20 20 20 20 20  mmunity.        
7a60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7a70: 20 20 20 20 20 20 20 20 69 66 20 62 44 65 62 75          if bDebu
7a80: 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  g:.             
7a90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7aa0: 20 20 20 20 20 20 20 65 63 68 6f 28 22 20 20 20         echo("   
7ab0: 20 49 4d 4d 55 4e 49 54 59 3a 20 22 20 2b 20 73   IMMUNITY: " + s
7ac0: 4c 69 6e 65 49 64 20 2b 20 22 20 2f 20 22 20 2b  LineId + " / " +
7ad0: 20 73 52 75 6c 65 49 64 29 0a 20 20 20 20 20 20   sRuleId).      
7ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7af0: 20 20 20 20 20 20 20 20 20 20 6e 54 6f 6b 65 6e            nToken
7b00: 53 74 61 72 74 20 3d 20 6e 54 6f 6b 65 6e 4f 66  Start = nTokenOf
7b10: 66 73 65 74 20 2b 20 65 41 63 74 5b 30 5d 20 20  fset + eAct[0]  
7b20: 69 66 20 65 41 63 74 5b 30 5d 20 3e 20 30 20 20  if eAct[0] > 0  
7b30: 65 6c 73 65 20 6e 4c 61 73 74 54 6f 6b 65 6e 20  else nLastToken 
7b40: 2b 20 65 41 63 74 5b 30 5d 0a 20 20 20 20 20 20  + eAct[0].      
7b50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7b60: 20 20 20 20 20 20 20 20 20 20 6e 54 6f 6b 65 6e            nToken
7b70: 45 6e 64 20 3d 20 6e 54 6f 6b 65 6e 4f 66 66 73  End = nTokenOffs
7b80: 65 74 20 2b 20 65 41 63 74 5b 31 5d 20 20 69 66  et + eAct[1]  if
7b90: 20 65 41 63 74 5b 31 5d 20 3e 20 30 20 20 65 6c   eAct[1] > 0  el
7ba0: 73 65 20 6e 4c 61 73 74 54 6f 6b 65 6e 20 2b 20  se nLastToken + 
7bb0: 65 41 63 74 5b 31 5d 0a 20 20 20 20 20 20 20 20  eAct[1].        
7bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7bd0: 20 20 20 20 20 20 20 20 69 66 20 6e 54 6f 6b 65          if nToke
7be0: 6e 45 6e 64 20 2d 20 6e 54 6f 6b 65 6e 53 74 61  nEnd - nTokenSta
7bf0: 72 74 20 3d 3d 20 30 3a 0a 20 20 20 20 20 20 20  rt == 0:.       
7c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c               sel
7c20: 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e 53  f.lToken[nTokenS
7c30: 74 61 72 74 5d 5b 22 62 49 6d 6d 75 6e 65 22 5d  tart]["bImmune"]
7c40: 20 3d 20 54 72 75 65 0a 20 20 20 20 20 20 20 20   = True.        
7c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7c60: 20 20 20 20 20 20 20 20 20 20 20 20 6e 45 72 72              nErr
7c70: 6f 72 53 74 61 72 74 20 3d 20 73 65 6c 66 2e 6e  orStart = self.n
7c80: 4f 66 66 73 65 74 57 69 74 68 69 6e 50 61 72 61  OffsetWithinPara
7c90: 67 72 61 70 68 20 2b 20 73 65 6c 66 2e 6c 54 6f  graph + self.lTo
7ca0: 6b 65 6e 5b 6e 54 6f 6b 65 6e 53 74 61 72 74 5d  ken[nTokenStart]
7cb0: 5b 22 6e 53 74 61 72 74 22 5d 0a 20 20 20 20 20  ["nStart"].     
7cc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7cd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69                 i
7ce0: 66 20 6e 45 72 72 6f 72 53 74 61 72 74 20 69 6e  f nErrorStart in
7cf0: 20 73 65 6c 66 2e 64 45 72 72 6f 72 3a 0a 20 20   self.dError:.  
7d00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7d10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7d20: 20 20 20 20 20 20 64 65 6c 20 73 65 6c 66 2e 64        del self.d
7d30: 45 72 72 6f 72 5b 6e 45 72 72 6f 72 53 74 61 72  Error[nErrorStar
7d40: 74 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  t].             
7d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7d60: 20 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20     else:.       
7d70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7d80: 20 20 20 20 20 20 20 20 20 20 20 20 20 66 6f 72               for
7d90: 20 69 20 69 6e 20 72 61 6e 67 65 28 6e 54 6f 6b   i in range(nTok
7da0: 65 6e 53 74 61 72 74 2c 20 6e 54 6f 6b 65 6e 45  enStart, nTokenE
7db0: 6e 64 2b 31 29 3a 0a 20 20 20 20 20 20 20 20 20  nd+1):.         
7dc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7dd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 73                 s
7de0: 65 6c 66 2e 6c 54 6f 6b 65 6e 5b 69 5d 5b 22 62  elf.lToken[i]["b
7df0: 49 6d 6d 75 6e 65 22 5d 20 3d 20 54 72 75 65 0a  Immune"] = True.
7e00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7e10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7e20: 20 20 20 20 20 20 20 20 6e 45 72 72 6f 72 53 74          nErrorSt
7e30: 61 72 74 20 3d 20 73 65 6c 66 2e 6e 4f 66 66 73  art = self.nOffs
7e40: 65 74 57 69 74 68 69 6e 50 61 72 61 67 72 61 70  etWithinParagrap
7e50: 68 20 2b 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e 5b  h + self.lToken[
7e60: 69 5d 5b 22 6e 53 74 61 72 74 22 5d 0a 20 20 20  i]["nStart"].   
7e70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7e80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7e90: 20 20 20 20 20 69 66 20 6e 45 72 72 6f 72 53 74       if nErrorSt
7ea0: 61 72 74 20 69 6e 20 73 65 6c 66 2e 64 45 72 72  art in self.dErr
7eb0: 6f 72 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  or:.            
7ec0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7ed0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7ee0: 64 65 6c 20 73 65 6c 66 2e 64 45 72 72 6f 72 5b  del self.dError[
7ef0: 6e 45 72 72 6f 72 53 74 61 72 74 5d 0a 20 20 20  nErrorStart].   
7f00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7f10: 20 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a 20           else:. 
7f20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7f30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 65                 e
7f40: 63 68 6f 28 22 23 20 65 72 72 6f 72 3a 20 75 6e  cho("# error: un
7f50: 6b 6e 6f 77 6e 20 61 63 74 69 6f 6e 20 61 74 20  known action at 
7f60: 22 20 2b 20 73 4c 69 6e 65 49 64 29 0a 20 20 20  " + sLineId).   
7f70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7f80: 20 20 20 20 20 65 6c 69 66 20 63 41 63 74 69 6f       elif cActio
7f90: 6e 54 79 70 65 20 3d 3d 20 22 3e 22 3a 0a 20 20  nType == ">":.  
7fa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7fb0: 20 20 20 20 20 20 20 20 20 20 69 66 20 62 44 65            if bDe
7fc0: 62 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20 20  bug:.           
7fd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
7fe0: 20 20 20 20 20 65 63 68 6f 28 22 20 20 20 20 43       echo("    C
7ff0: 4f 4e 44 5f 42 52 45 41 4b 22 29 0a 20 20 20 20  OND_BREAK").    
8000: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
8010: 20 20 20 20 20 20 20 20 62 72 65 61 6b 0a 20 20          break.  
8020: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 65 78                ex
8030: 63 65 70 74 20 45 78 63 65 70 74 69 6f 6e 20 61  cept Exception a
8040: 73 20 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20  s e:.           
8050: 20 20 20 20 20 20 20 20 20 72 61 69 73 65 20 45           raise E
8060: 78 63 65 70 74 69 6f 6e 28 73 74 72 28 65 29 2c  xception(str(e),
8070: 20 73 4c 69 6e 65 49 64 2c 20 73 52 75 6c 65 49   sLineId, sRuleI
8080: 64 2c 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63  d, self.sSentenc
8090: 65 29 0a 20 20 20 20 20 20 20 20 72 65 74 75 72  e).        retur
80a0: 6e 20 62 43 68 61 6e 67 65 0a 0a 20 20 20 20 64  n bChange..    d
80b0: 65 66 20 5f 63 72 65 61 74 65 45 72 72 6f 72 46  ef _createErrorF
80c0: 72 6f 6d 52 65 67 65 78 20 28 73 65 6c 66 2c 20  romRegex (self, 
80d0: 73 54 65 78 74 2c 20 73 54 65 78 74 30 2c 20 73  sText, sText0, s
80e0: 52 65 70 6c 2c 20 6e 4f 66 66 73 65 74 2c 20 6d  Repl, nOffset, m
80f0: 2c 20 69 47 72 6f 75 70 2c 20 73 4c 69 6e 65 49  , iGroup, sLineI
8100: 64 2c 20 73 52 75 6c 65 49 64 2c 20 62 55 70 70  d, sRuleId, bUpp
8110: 65 72 63 61 73 65 2c 20 73 4d 73 67 2c 20 73 55  ercase, sMsg, sU
8120: 52 4c 2c 20 62 53 68 6f 77 52 75 6c 65 49 64 2c  RL, bShowRuleId,
8130: 20 73 4f 70 74 69 6f 6e 2c 20 62 43 6f 6e 74 65   sOption, bConte
8140: 78 74 29 3a 0a 20 20 20 20 20 20 20 20 6e 53 74  xt):.        nSt
8150: 61 72 74 20 3d 20 6e 4f 66 66 73 65 74 20 2b 20  art = nOffset + 
8160: 6d 2e 73 74 61 72 74 28 69 47 72 6f 75 70 29 0a  m.start(iGroup).
8170: 20 20 20 20 20 20 20 20 6e 45 6e 64 20 3d 20 6e          nEnd = n
8180: 4f 66 66 73 65 74 20 2b 20 6d 2e 65 6e 64 28 69  Offset + m.end(i
8190: 47 72 6f 75 70 29 0a 20 20 20 20 20 20 20 20 23  Group).        #
81a0: 20 73 75 67 67 65 73 74 69 6f 6e 73 0a 20 20 20   suggestions.   
81b0: 20 20 20 20 20 69 66 20 73 52 65 70 6c 5b 30 3a       if sRepl[0:
81c0: 31 5d 20 3d 3d 20 22 3d 22 3a 0a 20 20 20 20 20  1] == "=":.     
81d0: 20 20 20 20 20 20 20 73 53 75 67 67 20 3d 20 67         sSugg = g
81e0: 6c 6f 62 61 6c 73 28 29 5b 73 52 65 70 6c 5b 31  lobals()[sRepl[1
81f0: 3a 5d 5d 28 73 54 65 78 74 2c 20 6d 29 0a 20 20  :]](sText, m).  
8200: 20 20 20 20 20 20 20 20 20 20 6c 53 75 67 67 20            lSugg 
8210: 3d 20 73 53 75 67 67 2e 73 70 6c 69 74 28 22 7c  = sSugg.split("|
8220: 22 29 20 20 69 66 20 73 53 75 67 67 20 20 65 6c  ")  if sSugg  el
8230: 73 65 20 5b 5d 0a 20 20 20 20 20 20 20 20 65 6c  se [].        el
8240: 69 66 20 73 52 65 70 6c 20 3d 3d 20 22 5f 22 3a  if sRepl == "_":
8250: 0a 20 20 20 20 20 20 20 20 20 20 20 20 6c 53 75  .            lSu
8260: 67 67 20 3d 20 5b 5d 0a 20 20 20 20 20 20 20 20  gg = [].        
8270: 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20  else:.          
8280: 20 20 6c 53 75 67 67 20 3d 20 6d 2e 65 78 70 61    lSugg = m.expa
8290: 6e 64 28 73 52 65 70 6c 29 2e 73 70 6c 69 74 28  nd(sRepl).split(
82a0: 22 7c 22 29 0a 20 20 20 20 20 20 20 20 69 66 20  "|").        if 
82b0: 62 55 70 70 65 72 63 61 73 65 20 61 6e 64 20 6c  bUppercase and l
82c0: 53 75 67 67 20 61 6e 64 20 6d 2e 67 72 6f 75 70  Sugg and m.group
82d0: 28 69 47 72 6f 75 70 29 5b 30 3a 31 5d 2e 69 73  (iGroup)[0:1].is
82e0: 75 70 70 65 72 28 29 3a 0a 20 20 20 20 20 20 20  upper():.       
82f0: 20 20 20 20 20 6c 53 75 67 67 20 3d 20 6c 69 73       lSugg = lis
8300: 74 28 6d 61 70 28 6c 61 6d 62 64 61 20 73 3a 20  t(map(lambda s: 
8310: 73 5b 30 3a 31 5d 2e 75 70 70 65 72 28 29 2b 73  s[0:1].upper()+s
8320: 5b 31 3a 5d 2c 20 6c 53 75 67 67 29 29 0a 20 20  [1:], lSugg)).  
8330: 20 20 20 20 20 20 23 20 4d 65 73 73 61 67 65 0a        # Message.
8340: 20 20 20 20 20 20 20 20 73 4d 65 73 73 61 67 65          sMessage
8350: 20 3d 20 67 6c 6f 62 61 6c 73 28 29 5b 73 4d 73   = globals()[sMs
8360: 67 5b 31 3a 5d 5d 28 73 54 65 78 74 2c 20 6d 29  g[1:]](sText, m)
8370: 20 20 69 66 20 73 4d 73 67 5b 30 3a 31 5d 20 3d    if sMsg[0:1] =
8380: 3d 20 22 3d 22 20 20 65 6c 73 65 20 20 6d 2e 65  = "="  else  m.e
8390: 78 70 61 6e 64 28 73 4d 73 67 29 0a 20 20 20 20  xpand(sMsg).    
83a0: 20 20 20 20 69 66 20 62 53 68 6f 77 52 75 6c 65      if bShowRule
83b0: 49 64 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  Id:.            
83c0: 73 4d 65 73 73 61 67 65 20 2b 3d 20 22 20 20 23  sMessage += "  #
83d0: 22 20 2b 20 73 4c 69 6e 65 49 64 20 2b 20 22 20  " + sLineId + " 
83e0: 2f 20 22 20 2b 20 73 52 75 6c 65 49 64 0a 20 20  / " + sRuleId.  
83f0: 20 20 20 20 20 20 23 0a 20 20 20 20 20 20 20 20        #.        
8400: 69 66 20 5f 62 57 72 69 74 65 72 45 72 72 6f 72  if _bWriterError
8410: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 72 65  :.            re
8420: 74 75 72 6e 20 73 65 6c 66 2e 5f 63 72 65 61 74  turn self._creat
8430: 65 45 72 72 6f 72 46 6f 72 57 72 69 74 65 72 28  eErrorForWriter(
8440: 6e 53 74 61 72 74 2c 20 6e 45 6e 64 20 2d 20 6e  nStart, nEnd - n
8450: 53 74 61 72 74 2c 20 73 52 75 6c 65 49 64 2c 20  Start, sRuleId, 
8460: 73 4f 70 74 69 6f 6e 2c 20 73 4d 65 73 73 61 67  sOption, sMessag
8470: 65 2c 20 6c 53 75 67 67 2c 20 73 55 52 4c 29 0a  e, lSugg, sURL).
8480: 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 73          return s
8490: 65 6c 66 2e 5f 63 72 65 61 74 65 45 72 72 6f 72  elf._createError
84a0: 41 73 44 69 63 74 28 6e 53 74 61 72 74 2c 20 6e  AsDict(nStart, n
84b0: 45 6e 64 2c 20 73 4c 69 6e 65 49 64 2c 20 73 52  End, sLineId, sR
84c0: 75 6c 65 49 64 2c 20 73 4f 70 74 69 6f 6e 2c 20  uleId, sOption, 
84d0: 73 4d 65 73 73 61 67 65 2c 20 6c 53 75 67 67 2c  sMessage, lSugg,
84e0: 20 73 55 52 4c 2c 20 62 43 6f 6e 74 65 78 74 29   sURL, bContext)
84f0: 0a 0a 20 20 20 20 64 65 66 20 5f 63 72 65 61 74  ..    def _creat
8500: 65 45 72 72 6f 72 46 72 6f 6d 54 6f 6b 65 6e 73  eErrorFromTokens
8510: 20 28 73 65 6c 66 2c 20 73 53 75 67 67 2c 20 6e   (self, sSugg, n
8520: 54 6f 6b 65 6e 4f 66 66 73 65 74 2c 20 6e 4c 61  TokenOffset, nLa
8530: 73 74 54 6f 6b 65 6e 2c 20 69 46 69 72 73 74 54  stToken, iFirstT
8540: 6f 6b 65 6e 2c 20 6e 53 74 61 72 74 2c 20 6e 45  oken, nStart, nE
8550: 6e 64 2c 20 73 4c 69 6e 65 49 64 2c 20 73 52 75  nd, sLineId, sRu
8560: 6c 65 49 64 2c 20 62 43 61 73 65 53 76 74 79 2c  leId, bCaseSvty,
8570: 20 73 4d 73 67 2c 20 73 55 52 4c 2c 20 62 53 68   sMsg, sURL, bSh
8580: 6f 77 52 75 6c 65 49 64 2c 20 73 4f 70 74 69 6f  owRuleId, sOptio
8590: 6e 2c 20 62 43 6f 6e 74 65 78 74 29 3a 0a 20 20  n, bContext):.  
85a0: 20 20 20 20 20 20 23 20 73 75 67 67 65 73 74 69        # suggesti
85b0: 6f 6e 73 0a 20 20 20 20 20 20 20 20 69 66 20 73  ons.        if s
85c0: 53 75 67 67 5b 30 3a 31 5d 20 3d 3d 20 22 3d 22  Sugg[0:1] == "="
85d0: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 53  :.            sS
85e0: 75 67 67 20 3d 20 67 6c 6f 62 61 6c 73 28 29 5b  ugg = globals()[
85f0: 73 53 75 67 67 5b 31 3a 5d 5d 28 73 65 6c 66 2e  sSugg[1:]](self.
8600: 6c 54 6f 6b 65 6e 2c 20 6e 54 6f 6b 65 6e 4f 66  lToken, nTokenOf
8610: 66 73 65 74 2c 20 6e 4c 61 73 74 54 6f 6b 65 6e  fset, nLastToken
8620: 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 6c 53  ).            lS
8630: 75 67 67 20 3d 20 73 53 75 67 67 2e 73 70 6c 69  ugg = sSugg.spli
8640: 74 28 22 7c 22 29 20 20 69 66 20 73 53 75 67 67  t("|")  if sSugg
8650: 20 20 65 6c 73 65 20 5b 5d 0a 20 20 20 20 20 20    else [].      
8660: 20 20 65 6c 69 66 20 73 53 75 67 67 20 3d 3d 20    elif sSugg == 
8670: 22 5f 22 3a 0a 20 20 20 20 20 20 20 20 20 20 20  "_":.           
8680: 20 6c 53 75 67 67 20 3d 20 5b 5d 0a 20 20 20 20   lSugg = [].    
8690: 20 20 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20      else:.      
86a0: 20 20 20 20 20 20 6c 53 75 67 67 20 3d 20 73 65        lSugg = se
86b0: 6c 66 2e 5f 65 78 70 61 6e 64 28 73 53 75 67 67  lf._expand(sSugg
86c0: 2c 20 6e 54 6f 6b 65 6e 4f 66 66 73 65 74 2c 20  , nTokenOffset, 
86d0: 6e 4c 61 73 74 54 6f 6b 65 6e 29 2e 73 70 6c 69  nLastToken).spli
86e0: 74 28 22 7c 22 29 0a 20 20 20 20 20 20 20 20 69  t("|").        i
86f0: 66 20 62 43 61 73 65 53 76 74 79 20 61 6e 64 20  f bCaseSvty and 
8700: 6c 53 75 67 67 20 61 6e 64 20 73 65 6c 66 2e 6c  lSugg and self.l
8710: 54 6f 6b 65 6e 5b 69 46 69 72 73 74 54 6f 6b 65  Token[iFirstToke
8720: 6e 5d 5b 22 73 56 61 6c 75 65 22 5d 5b 30 3a 31  n]["sValue"][0:1
8730: 5d 2e 69 73 75 70 70 65 72 28 29 3a 0a 20 20 20  ].isupper():.   
8740: 20 20 20 20 20 20 20 20 20 6c 53 75 67 67 20 3d           lSugg =
8750: 20 6c 69 73 74 28 6d 61 70 28 6c 61 6d 62 64 61   list(map(lambda
8760: 20 73 3a 20 73 5b 30 3a 31 5d 2e 75 70 70 65 72   s: s[0:1].upper
8770: 28 29 2b 73 5b 31 3a 5d 2c 20 6c 53 75 67 67 29  ()+s[1:], lSugg)
8780: 29 0a 20 20 20 20 20 20 20 20 23 20 4d 65 73 73  ).        # Mess
8790: 61 67 65 0a 20 20 20 20 20 20 20 20 73 4d 65 73  age.        sMes
87a0: 73 61 67 65 20 3d 20 67 6c 6f 62 61 6c 73 28 29  sage = globals()
87b0: 5b 73 4d 73 67 5b 31 3a 5d 5d 28 73 65 6c 66 2e  [sMsg[1:]](self.
87c0: 6c 54 6f 6b 65 6e 2c 20 6e 54 6f 6b 65 6e 4f 66  lToken, nTokenOf
87d0: 66 73 65 74 2c 20 6e 4c 61 73 74 54 6f 6b 65 6e  fset, nLastToken
87e0: 29 20 20 69 66 20 73 4d 73 67 5b 30 3a 31 5d 20  )  if sMsg[0:1] 
87f0: 3d 3d 20 22 3d 22 20 20 65 6c 73 65 20 73 65 6c  == "="  else sel
8800: 66 2e 5f 65 78 70 61 6e 64 28 73 4d 73 67 2c 20  f._expand(sMsg, 
8810: 6e 54 6f 6b 65 6e 4f 66 66 73 65 74 2c 20 6e 4c  nTokenOffset, nL
8820: 61 73 74 54 6f 6b 65 6e 29 0a 20 20 20 20 20 20  astToken).      
8830: 20 20 69 66 20 62 53 68 6f 77 52 75 6c 65 49 64    if bShowRuleId
8840: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 4d  :.            sM
8850: 65 73 73 61 67 65 20 2b 3d 20 22 20 20 23 22 20  essage += "  #" 
8860: 2b 20 73 4c 69 6e 65 49 64 20 2b 20 22 20 2f 20  + sLineId + " / 
8870: 22 20 2b 20 73 52 75 6c 65 49 64 0a 20 20 20 20  " + sRuleId.    
8880: 20 20 20 20 23 0a 20 20 20 20 20 20 20 20 69 66      #.        if
8890: 20 5f 62 57 72 69 74 65 72 45 72 72 6f 72 3a 0a   _bWriterError:.
88a0: 20 20 20 20 20 20 20 20 20 20 20 20 72 65 74 75              retu
88b0: 72 6e 20 73 65 6c 66 2e 5f 63 72 65 61 74 65 45  rn self._createE
88c0: 72 72 6f 72 46 6f 72 57 72 69 74 65 72 28 6e 53  rrorForWriter(nS
88d0: 74 61 72 74 2c 20 6e 45 6e 64 20 2d 20 6e 53 74  tart, nEnd - nSt
88e0: 61 72 74 2c 20 73 52 75 6c 65 49 64 2c 20 73 4f  art, sRuleId, sO
88f0: 70 74 69 6f 6e 2c 20 73 4d 65 73 73 61 67 65 2c  ption, sMessage,
8900: 20 6c 53 75 67 67 2c 20 73 55 52 4c 29 0a 20 20   lSugg, sURL).  
8910: 20 20 20 20 20 20 72 65 74 75 72 6e 20 73 65 6c        return sel
8920: 66 2e 5f 63 72 65 61 74 65 45 72 72 6f 72 41 73  f._createErrorAs
8930: 44 69 63 74 28 6e 53 74 61 72 74 2c 20 6e 45 6e  Dict(nStart, nEn
8940: 64 2c 20 73 4c 69 6e 65 49 64 2c 20 73 52 75 6c  d, sLineId, sRul
8950: 65 49 64 2c 20 73 4f 70 74 69 6f 6e 2c 20 73 4d  eId, sOption, sM
8960: 65 73 73 61 67 65 2c 20 6c 53 75 67 67 2c 20 73  essage, lSugg, s
8970: 55 52 4c 2c 20 62 43 6f 6e 74 65 78 74 29 0a 0a  URL, bContext)..
8980: 20 20 20 20 64 65 66 20 5f 63 72 65 61 74 65 45      def _createE
8990: 72 72 6f 72 46 6f 72 57 72 69 74 65 72 20 28 73  rrorForWriter (s
89a0: 65 6c 66 2c 20 6e 53 74 61 72 74 2c 20 6e 4c 65  elf, nStart, nLe
89b0: 6e 2c 20 73 52 75 6c 65 49 64 2c 20 73 4f 70 74  n, sRuleId, sOpt
89c0: 69 6f 6e 2c 20 73 4d 65 73 73 61 67 65 2c 20 6c  ion, sMessage, l
89d0: 53 75 67 67 2c 20 73 55 52 4c 29 3a 0a 20 20 20  Sugg, sURL):.   
89e0: 20 20 20 20 20 78 45 72 72 20 3d 20 53 69 6e 67       xErr = Sing
89f0: 6c 65 50 72 6f 6f 66 72 65 61 64 69 6e 67 45 72  leProofreadingEr
8a00: 72 6f 72 28 29 20 20 20 20 23 20 75 6e 6f 2e 63  ror()    # uno.c
8a10: 72 65 61 74 65 55 6e 6f 53 74 72 75 63 74 28 20  reateUnoStruct( 
8a20: 22 63 6f 6d 2e 73 75 6e 2e 73 74 61 72 2e 6c 69  "com.sun.star.li
8a30: 6e 67 75 69 73 74 69 63 32 2e 53 69 6e 67 6c 65  nguistic2.Single
8a40: 50 72 6f 6f 66 72 65 61 64 69 6e 67 45 72 72 6f  ProofreadingErro
8a50: 72 22 20 29 0a 20 20 20 20 20 20 20 20 78 45 72  r" ).        xEr
8a60: 72 2e 6e 45 72 72 6f 72 53 74 61 72 74 20 3d 20  r.nErrorStart = 
8a70: 6e 53 74 61 72 74 0a 20 20 20 20 20 20 20 20 78  nStart.        x
8a80: 45 72 72 2e 6e 45 72 72 6f 72 4c 65 6e 67 74 68  Err.nErrorLength
8a90: 20 3d 20 6e 4c 65 6e 0a 20 20 20 20 20 20 20 20   = nLen.        
8aa0: 78 45 72 72 2e 6e 45 72 72 6f 72 54 79 70 65 20  xErr.nErrorType 
8ab0: 3d 20 50 52 4f 4f 46 52 45 41 44 49 4e 47 0a 20  = PROOFREADING. 
8ac0: 20 20 20 20 20 20 20 78 45 72 72 2e 61 52 75 6c         xErr.aRul
8ad0: 65 49 64 65 6e 74 69 66 69 65 72 20 3d 20 73 52  eIdentifier = sR
8ae0: 75 6c 65 49 64 0a 20 20 20 20 20 20 20 20 78 45  uleId.        xE
8af0: 72 72 2e 61 53 68 6f 72 74 43 6f 6d 6d 65 6e 74  rr.aShortComment
8b00: 20 3d 20 73 4d 65 73 73 61 67 65 20 20 20 23 20   = sMessage   # 
8b10: 73 4d 65 73 73 61 67 65 2e 73 70 6c 69 74 28 22  sMessage.split("
8b20: 7c 22 29 5b 30 5d 20 20 20 20 20 23 20 69 6e 20  |")[0]     # in 
8b30: 63 6f 6e 74 65 78 74 20 6d 65 6e 75 0a 20 20 20  context menu.   
8b40: 20 20 20 20 20 78 45 72 72 2e 61 46 75 6c 6c 43       xErr.aFullC
8b50: 6f 6d 6d 65 6e 74 20 3d 20 73 4d 65 73 73 61 67  omment = sMessag
8b60: 65 20 20 20 20 23 20 73 4d 65 73 73 61 67 65 2e  e    # sMessage.
8b70: 73 70 6c 69 74 28 22 7c 22 29 5b 2d 31 5d 20 20  split("|")[-1]  
8b80: 20 20 23 20 69 6e 20 64 69 61 6c 6f 67 0a 20 20    # in dialog.  
8b90: 20 20 20 20 20 20 78 45 72 72 2e 61 53 75 67 67        xErr.aSugg
8ba0: 65 73 74 69 6f 6e 73 20 3d 20 74 75 70 6c 65 28  estions = tuple(
8bb0: 6c 53 75 67 67 29 0a 20 20 20 20 20 20 20 20 23  lSugg).        #
8bc0: 20 50 72 6f 70 65 72 74 69 65 73 0a 20 20 20 20   Properties.    
8bd0: 20 20 20 20 6c 50 72 6f 70 65 72 74 69 65 73 20      lProperties 
8be0: 3d 20 5b 5d 0a 20 20 20 20 20 20 20 20 69 66 20  = [].        if 
8bf0: 5f 6e 55 6e 64 65 72 6c 69 6e 69 6e 67 53 74 79  _nUnderliningSty
8c00: 6c 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  le:.            
8c10: 6c 50 72 6f 70 65 72 74 69 65 73 2e 61 70 70 65  lProperties.appe
8c20: 6e 64 28 50 72 6f 70 65 72 74 79 56 61 6c 75 65  nd(PropertyValue
8c30: 28 4e 61 6d 65 3d 22 4c 69 6e 65 54 79 70 65 22  (Name="LineType"
8c40: 2c 20 56 61 6c 75 65 3d 5f 6e 55 6e 64 65 72 6c  , Value=_nUnderl
8c50: 69 6e 69 6e 67 53 74 79 6c 65 29 29 0a 20 20 20  iningStyle)).   
8c60: 20 20 20 20 20 69 66 20 5f 62 4d 75 6c 74 69 63       if _bMultic
8c70: 6f 6c 6f 72 3a 0a 20 20 20 20 20 20 20 20 20 20  olor:.          
8c80: 20 20 6c 50 72 6f 70 65 72 74 69 65 73 2e 61 70    lProperties.ap
8c90: 70 65 6e 64 28 50 72 6f 70 65 72 74 79 56 61 6c  pend(PropertyVal
8ca0: 75 65 28 4e 61 6d 65 3d 22 4c 69 6e 65 43 6f 6c  ue(Name="LineCol
8cb0: 6f 72 22 2c 20 56 61 6c 75 65 3d 5f 64 4f 70 74  or", Value=_dOpt
8cc0: 69 6f 6e 73 43 6f 6c 6f 72 73 2e 67 65 74 28 73  ionsColors.get(s
8cd0: 4f 70 74 69 6f 6e 2c 20 33 33 30 32 33 29 29 29  Option, 33023)))
8ce0: 0a 20 20 20 20 20 20 20 20 69 66 20 73 55 52 4c  .        if sURL
8cf0: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 6c 50  :.            lP
8d00: 72 6f 70 65 72 74 69 65 73 2e 61 70 70 65 6e 64  roperties.append
8d10: 28 50 72 6f 70 65 72 74 79 56 61 6c 75 65 28 4e  (PropertyValue(N
8d20: 61 6d 65 3d 22 46 75 6c 6c 43 6f 6d 6d 65 6e 74  ame="FullComment
8d30: 55 52 4c 22 2c 20 56 61 6c 75 65 3d 73 55 52 4c  URL", Value=sURL
8d40: 29 29 0a 20 20 20 20 20 20 20 20 78 45 72 72 2e  )).        xErr.
8d50: 61 50 72 6f 70 65 72 74 69 65 73 20 3d 20 6c 50  aProperties = lP
8d60: 72 6f 70 65 72 74 69 65 73 0a 20 20 20 20 20 20  roperties.      
8d70: 20 20 72 65 74 75 72 6e 20 78 45 72 72 0a 0a 20    return xErr.. 
8d80: 20 20 20 64 65 66 20 5f 63 72 65 61 74 65 45 72     def _createEr
8d90: 72 6f 72 41 73 44 69 63 74 20 28 73 65 6c 66 2c  rorAsDict (self,
8da0: 20 6e 53 74 61 72 74 2c 20 6e 45 6e 64 2c 20 73   nStart, nEnd, s
8db0: 4c 69 6e 65 49 64 2c 20 73 52 75 6c 65 49 64 2c  LineId, sRuleId,
8dc0: 20 73 4f 70 74 69 6f 6e 2c 20 73 4d 65 73 73 61   sOption, sMessa
8dd0: 67 65 2c 20 6c 53 75 67 67 2c 20 73 55 52 4c 2c  ge, lSugg, sURL,
8de0: 20 62 43 6f 6e 74 65 78 74 29 3a 0a 20 20 20 20   bContext):.    
8df0: 20 20 20 20 64 45 72 72 20 3d 20 7b 0a 20 20 20      dErr = {.   
8e00: 20 20 20 20 20 20 20 20 20 22 6e 53 74 61 72 74           "nStart
8e10: 22 3a 20 6e 53 74 61 72 74 2c 0a 20 20 20 20 20  ": nStart,.     
8e20: 20 20 20 20 20 20 20 22 6e 45 6e 64 22 3a 20 6e         "nEnd": n
8e30: 45 6e 64 2c 0a 20 20 20 20 20 20 20 20 20 20 20  End,.           
8e40: 20 22 73 4c 69 6e 65 49 64 22 3a 20 73 4c 69 6e   "sLineId": sLin
8e50: 65 49 64 2c 0a 20 20 20 20 20 20 20 20 20 20 20  eId,.           
8e60: 20 22 73 52 75 6c 65 49 64 22 3a 20 73 52 75 6c   "sRuleId": sRul
8e70: 65 49 64 2c 0a 20 20 20 20 20 20 20 20 20 20 20  eId,.           
8e80: 20 22 73 54 79 70 65 22 3a 20 73 4f 70 74 69 6f   "sType": sOptio
8e90: 6e 20 20 69 66 20 73 4f 70 74 69 6f 6e 20 20 65  n  if sOption  e
8ea0: 6c 73 65 20 22 6e 6f 74 79 70 65 22 2c 0a 20 20  lse "notype",.  
8eb0: 20 20 20 20 20 20 20 20 20 20 22 61 43 6f 6c 6f            "aColo
8ec0: 72 22 3a 20 5f 64 4f 70 74 69 6f 6e 73 43 6f 6c  r": _dOptionsCol
8ed0: 6f 72 73 2e 67 65 74 28 73 4f 70 74 69 6f 6e 2c  ors.get(sOption,
8ee0: 20 4e 6f 6e 65 29 2c 0a 20 20 20 20 20 20 20 20   None),.        
8ef0: 20 20 20 20 22 73 4d 65 73 73 61 67 65 22 3a 20      "sMessage": 
8f00: 73 4d 65 73 73 61 67 65 2c 0a 20 20 20 20 20 20  sMessage,.      
8f10: 20 20 20 20 20 20 22 61 53 75 67 67 65 73 74 69        "aSuggesti
8f20: 6f 6e 73 22 3a 20 6c 53 75 67 67 2c 0a 20 20 20  ons": lSugg,.   
8f30: 20 20 20 20 20 20 20 20 20 22 55 52 4c 22 3a 20           "URL": 
8f40: 73 55 52 4c 0a 20 20 20 20 20 20 20 20 7d 0a 20  sURL.        }. 
8f50: 20 20 20 20 20 20 20 69 66 20 62 43 6f 6e 74 65         if bConte
8f60: 78 74 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  xt:.            
8f70: 64 45 72 72 5b 27 73 55 6e 64 65 72 6c 69 6e 65  dErr['sUnderline
8f80: 64 27 5d 20 3d 20 73 65 6c 66 2e 73 54 65 78 74  d'] = self.sText
8f90: 30 5b 6e 53 74 61 72 74 3a 6e 45 6e 64 5d 0a 20  0[nStart:nEnd]. 
8fa0: 20 20 20 20 20 20 20 20 20 20 20 64 45 72 72 5b             dErr[
8fb0: 27 73 42 65 66 6f 72 65 27 5d 20 3d 20 73 65 6c  'sBefore'] = sel
8fc0: 66 2e 73 54 65 78 74 30 5b 6d 61 78 28 30 2c 6e  f.sText0[max(0,n
8fd0: 53 74 61 72 74 2d 38 30 29 3a 6e 53 74 61 72 74  Start-80):nStart
8fe0: 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 64 45  ].            dE
8ff0: 72 72 5b 27 73 41 66 74 65 72 27 5d 20 3d 20 73  rr['sAfter'] = s
9000: 65 6c 66 2e 73 54 65 78 74 30 5b 6e 45 6e 64 3a  elf.sText0[nEnd:
9010: 6e 45 6e 64 2b 38 30 5d 0a 20 20 20 20 20 20 20  nEnd+80].       
9020: 20 72 65 74 75 72 6e 20 64 45 72 72 0a 0a 20 20   return dErr..  
9030: 20 20 64 65 66 20 5f 65 78 70 61 6e 64 20 28 73    def _expand (s
9040: 65 6c 66 2c 20 73 54 65 78 74 2c 20 6e 54 6f 6b  elf, sText, nTok
9050: 65 6e 4f 66 66 73 65 74 2c 20 6e 4c 61 73 74 54  enOffset, nLastT
9060: 6f 6b 65 6e 29 3a 0a 20 20 20 20 20 20 20 20 66  oken):.        f
9070: 6f 72 20 6d 20 69 6e 20 72 65 2e 66 69 6e 64 69  or m in re.findi
9080: 74 65 72 28 72 22 5c 5c 28 2d 3f 5b 30 2d 39 5d  ter(r"\\(-?[0-9]
9090: 2b 29 22 2c 20 73 54 65 78 74 29 3a 0a 20 20 20  +)", sText):.   
90a0: 20 20 20 20 20 20 20 20 20 69 66 20 6d 2e 67 72           if m.gr
90b0: 6f 75 70 28 31 29 5b 30 3a 31 5d 20 3d 3d 20 22  oup(1)[0:1] == "
90c0: 2d 22 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  -":.            
90d0: 20 20 20 20 73 54 65 78 74 20 3d 20 73 54 65 78      sText = sTex
90e0: 74 2e 72 65 70 6c 61 63 65 28 6d 2e 67 72 6f 75  t.replace(m.grou
90f0: 70 28 30 29 2c 20 73 65 6c 66 2e 6c 54 6f 6b 65  p(0), self.lToke
9100: 6e 5b 6e 4c 61 73 74 54 6f 6b 65 6e 2b 69 6e 74  n[nLastToken+int
9110: 28 6d 2e 67 72 6f 75 70 28 31 29 29 2b 31 5d 5b  (m.group(1))+1][
9120: 22 73 56 61 6c 75 65 22 5d 29 0a 20 20 20 20 20  "sValue"]).     
9130: 20 20 20 20 20 20 20 65 6c 73 65 3a 0a 20 20 20         else:.   
9140: 20 20 20 20 20 20 20 20 20 20 20 20 20 73 54 65               sTe
9150: 78 74 20 3d 20 73 54 65 78 74 2e 72 65 70 6c 61  xt = sText.repla
9160: 63 65 28 6d 2e 67 72 6f 75 70 28 30 29 2c 20 73  ce(m.group(0), s
9170: 65 6c 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65  elf.lToken[nToke
9180: 6e 4f 66 66 73 65 74 2b 69 6e 74 28 6d 2e 67 72  nOffset+int(m.gr
9190: 6f 75 70 28 31 29 29 5d 5b 22 73 56 61 6c 75 65  oup(1))]["sValue
91a0: 22 5d 29 0a 20 20 20 20 20 20 20 20 72 65 74 75  "]).        retu
91b0: 72 6e 20 73 54 65 78 74 0a 0a 20 20 20 20 64 65  rn sText..    de
91c0: 66 20 72 65 77 72 69 74 65 54 65 78 74 20 28 73  f rewriteText (s
91d0: 65 6c 66 2c 20 73 54 65 78 74 2c 20 73 52 65 70  elf, sText, sRep
91e0: 6c 2c 20 69 47 72 6f 75 70 2c 20 6d 2c 20 62 55  l, iGroup, m, bU
91f0: 70 70 65 72 63 61 73 65 29 3a 0a 20 20 20 20 20  ppercase):.     
9200: 20 20 20 22 74 65 78 74 20 70 72 6f 63 65 73 73     "text process
9210: 6f 72 3a 20 77 72 69 74 65 20 3c 73 52 65 70 6c  or: write <sRepl
9220: 3e 20 69 6e 20 3c 73 54 65 78 74 3e 20 61 74 20  > in <sText> at 
9230: 3c 69 47 72 6f 75 70 3e 20 70 6f 73 69 74 69 6f  <iGroup> positio
9240: 6e 22 0a 20 20 20 20 20 20 20 20 6e 4c 65 6e 20  n".        nLen 
9250: 3d 20 6d 2e 65 6e 64 28 69 47 72 6f 75 70 29 20  = m.end(iGroup) 
9260: 2d 20 6d 2e 73 74 61 72 74 28 69 47 72 6f 75 70  - m.start(iGroup
9270: 29 0a 20 20 20 20 20 20 20 20 69 66 20 73 52 65  ).        if sRe
9280: 70 6c 20 3d 3d 20 22 2a 22 3a 0a 20 20 20 20 20  pl == "*":.     
9290: 20 20 20 20 20 20 20 73 4e 65 77 20 3d 20 22 20         sNew = " 
92a0: 22 20 2a 20 6e 4c 65 6e 0a 20 20 20 20 20 20 20  " * nLen.       
92b0: 20 65 6c 69 66 20 73 52 65 70 6c 20 3d 3d 20 22   elif sRepl == "
92c0: 5f 22 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  _":.            
92d0: 73 4e 65 77 20 3d 20 22 5f 22 20 2a 20 6e 4c 65  sNew = "_" * nLe
92e0: 6e 0a 20 20 20 20 20 20 20 20 65 6c 69 66 20 73  n.        elif s
92f0: 52 65 70 6c 20 3d 3d 20 22 40 22 3a 0a 20 20 20  Repl == "@":.   
9300: 20 20 20 20 20 20 20 20 20 73 4e 65 77 20 3d 20           sNew = 
9310: 22 40 22 20 2a 20 6e 4c 65 6e 0a 20 20 20 20 20  "@" * nLen.     
9320: 20 20 20 65 6c 69 66 20 73 52 65 70 6c 5b 30 3a     elif sRepl[0:
9330: 31 5d 20 3d 3d 20 22 3d 22 3a 0a 20 20 20 20 20  1] == "=":.     
9340: 20 20 20 20 20 20 20 73 4e 65 77 20 3d 20 67 6c         sNew = gl
9350: 6f 62 61 6c 73 28 29 5b 73 52 65 70 6c 5b 31 3a  obals()[sRepl[1:
9360: 5d 5d 28 73 54 65 78 74 2c 20 6d 29 0a 20 20 20  ]](sText, m).   
9370: 20 20 20 20 20 20 20 20 20 73 4e 65 77 20 3d 20           sNew = 
9380: 73 4e 65 77 20 2b 20 22 20 22 20 2a 20 28 6e 4c  sNew + " " * (nL
9390: 65 6e 2d 6c 65 6e 28 73 4e 65 77 29 29 0a 20 20  en-len(sNew)).  
93a0: 20 20 20 20 20 20 20 20 20 20 69 66 20 62 55 70            if bUp
93b0: 70 65 72 63 61 73 65 20 61 6e 64 20 6d 2e 67 72  percase and m.gr
93c0: 6f 75 70 28 69 47 72 6f 75 70 29 5b 30 3a 31 5d  oup(iGroup)[0:1]
93d0: 2e 69 73 75 70 70 65 72 28 29 3a 0a 20 20 20 20  .isupper():.    
93e0: 20 20 20 20 20 20 20 20 20 20 20 20 73 4e 65 77              sNew
93f0: 20 3d 20 73 4e 65 77 2e 63 61 70 69 74 61 6c 69   = sNew.capitali
9400: 7a 65 28 29 0a 20 20 20 20 20 20 20 20 65 6c 73  ze().        els
9410: 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 73  e:.            s
9420: 4e 65 77 20 3d 20 6d 2e 65 78 70 61 6e 64 28 73  New = m.expand(s
9430: 52 65 70 6c 29 0a 20 20 20 20 20 20 20 20 20 20  Repl).          
9440: 20 20 73 4e 65 77 20 3d 20 73 4e 65 77 20 2b 20    sNew = sNew + 
9450: 22 20 22 20 2a 20 28 6e 4c 65 6e 2d 6c 65 6e 28  " " * (nLen-len(
9460: 73 4e 65 77 29 29 0a 20 20 20 20 20 20 20 20 72  sNew)).        r
9470: 65 74 75 72 6e 20 73 54 65 78 74 5b 30 3a 6d 2e  eturn sText[0:m.
9480: 73 74 61 72 74 28 69 47 72 6f 75 70 29 5d 20 2b  start(iGroup)] +
9490: 20 73 4e 65 77 20 2b 20 73 54 65 78 74 5b 6d 2e   sNew + sText[m.
94a0: 65 6e 64 28 69 47 72 6f 75 70 29 3a 5d 0a 0a 20  end(iGroup):].. 
94b0: 20 20 20 64 65 66 20 5f 74 61 67 41 6e 64 50 72     def _tagAndPr
94c0: 65 70 61 72 65 54 6f 6b 65 6e 46 6f 72 52 65 77  epareTokenForRew
94d0: 72 69 74 69 6e 67 20 28 73 65 6c 66 2c 20 73 57  riting (self, sW
94e0: 68 61 74 2c 20 6e 54 6f 6b 65 6e 52 65 77 72 69  hat, nTokenRewri
94f0: 74 65 53 74 61 72 74 2c 20 6e 54 6f 6b 65 6e 52  teStart, nTokenR
9500: 65 77 72 69 74 65 45 6e 64 2c 20 6e 54 6f 6b 65  ewriteEnd, nToke
9510: 6e 4f 66 66 73 65 74 2c 20 6e 4c 61 73 74 54 6f  nOffset, nLastTo
9520: 6b 65 6e 2c 20 62 43 61 73 65 53 76 74 79 2c 20  ken, bCaseSvty, 
9530: 62 44 65 62 75 67 29 3a 0a 20 20 20 20 20 20 20  bDebug):.       
9540: 20 22 74 65 78 74 20 70 72 6f 63 65 73 73 6f 72   "text processor
9550: 3a 20 72 65 77 72 69 74 65 20 74 6f 6b 65 6e 73  : rewrite tokens
9560: 20 62 65 74 77 65 65 6e 20 3c 6e 54 6f 6b 65 6e   between <nToken
9570: 52 65 77 72 69 74 65 53 74 61 72 74 3e 20 61 6e  RewriteStart> an
9580: 64 20 3c 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65  d <nTokenRewrite
9590: 45 6e 64 3e 20 70 6f 73 69 74 69 6f 6e 22 0a 20  End> position". 
95a0: 20 20 20 20 20 20 20 69 66 20 73 57 68 61 74 20         if sWhat 
95b0: 3d 3d 20 22 2a 22 3a 0a 20 20 20 20 20 20 20 20  == "*":.        
95c0: 20 20 20 20 23 20 70 75 72 67 65 20 74 65 78 74      # purge text
95d0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20  .            if 
95e0: 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65 45 6e 64  nTokenRewriteEnd
95f0: 20 2d 20 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65   - nTokenRewrite
9600: 53 74 61 72 74 20 3d 3d 20 30 3a 0a 20 20 20 20  Start == 0:.    
9610: 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c 66              self
9620: 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e 52 65  .lToken[nTokenRe
9630: 77 72 69 74 65 53 74 61 72 74 5d 5b 22 62 54 6f  writeStart]["bTo
9640: 52 65 6d 6f 76 65 22 5d 20 3d 20 54 72 75 65 0a  Remove"] = True.
9650: 20 20 20 20 20 20 20 20 20 20 20 20 65 6c 73 65              else
9660: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
9670: 20 20 66 6f 72 20 69 20 69 6e 20 72 61 6e 67 65    for i in range
9680: 28 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65 53 74  (nTokenRewriteSt
9690: 61 72 74 2c 20 6e 54 6f 6b 65 6e 52 65 77 72 69  art, nTokenRewri
96a0: 74 65 45 6e 64 2b 31 29 3a 0a 20 20 20 20 20 20  teEnd+1):.      
96b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 73 65                se
96c0: 6c 66 2e 6c 54 6f 6b 65 6e 5b 69 5d 5b 22 62 54  lf.lToken[i]["bT
96d0: 6f 52 65 6d 6f 76 65 22 5d 20 3d 20 54 72 75 65  oRemove"] = True
96e0: 0a 20 20 20 20 20 20 20 20 65 6c 69 66 20 73 57  .        elif sW
96f0: 68 61 74 20 3d 3d 20 22 e2 90 a3 22 3a 0a 20 20  hat == "...":.  
9700: 20 20 20 20 20 20 20 20 20 20 23 20 6d 65 72 67            # merg
9710: 65 20 74 6f 6b 65 6e 73 0a 20 20 20 20 20 20 20  e tokens.       
9720: 20 20 20 20 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e       self.lToken
9730: 5b 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65 53 74  [nTokenRewriteSt
9740: 61 72 74 5d 5b 22 6e 4d 65 72 67 65 55 6e 74 69  art]["nMergeUnti
9750: 6c 22 5d 20 3d 20 6e 54 6f 6b 65 6e 52 65 77 72  l"] = nTokenRewr
9760: 69 74 65 45 6e 64 0a 20 20 20 20 20 20 20 20 65  iteEnd.        e
9770: 6c 69 66 20 73 57 68 61 74 20 3d 3d 20 22 5f 22  lif sWhat == "_"
9780: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 23 20  :.            # 
9790: 6e 65 75 74 72 61 6c 69 7a 65 64 20 74 6f 6b 65  neutralized toke
97a0: 6e 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 66  n.            if
97b0: 20 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65 45 6e   nTokenRewriteEn
97c0: 64 20 2d 20 6e 54 6f 6b 65 6e 52 65 77 72 69 74  d - nTokenRewrit
97d0: 65 53 74 61 72 74 20 3d 3d 20 30 3a 0a 20 20 20  eStart == 0:.   
97e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c               sel
97f0: 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f 6b 65 6e 52  f.lToken[nTokenR
9800: 65 77 72 69 74 65 53 74 61 72 74 5d 5b 22 73 4e  ewriteStart]["sN
9810: 65 77 56 61 6c 75 65 22 5d 20 3d 20 22 5f 22 0a  ewValue"] = "_".
9820: 20 20 20 20 20 20 20 20 20 20 20 20 65 6c 73 65              else
9830: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  :.              
9840: 20 20 66 6f 72 20 69 20 69 6e 20 72 61 6e 67 65    for i in range
9850: 28 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65 53 74  (nTokenRewriteSt
9860: 61 72 74 2c 20 6e 54 6f 6b 65 6e 52 65 77 72 69  art, nTokenRewri
9870: 74 65 45 6e 64 2b 31 29 3a 0a 20 20 20 20 20 20  teEnd+1):.      
9880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 73 65                se
9890: 6c 66 2e 6c 54 6f 6b 65 6e 5b 69 5d 5b 22 73 4e  lf.lToken[i]["sN
98a0: 65 77 56 61 6c 75 65 22 5d 20 3d 20 22 5f 22 0a  ewValue"] = "_".
98b0: 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a 20 20          else:.  
98c0: 20 20 20 20 20 20 20 20 20 20 69 66 20 73 57 68            if sWh
98d0: 61 74 2e 73 74 61 72 74 73 77 69 74 68 28 22 3d  at.startswith("=
98e0: 22 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  "):.            
98f0: 20 20 20 20 73 57 68 61 74 20 3d 20 67 6c 6f 62      sWhat = glob
9900: 61 6c 73 28 29 5b 73 57 68 61 74 5b 31 3a 5d 5d  als()[sWhat[1:]]
9910: 28 73 65 6c 66 2e 6c 54 6f 6b 65 6e 2c 20 6e 54  (self.lToken, nT
9920: 6f 6b 65 6e 4f 66 66 73 65 74 2c 20 6e 4c 61 73  okenOffset, nLas
9930: 74 54 6f 6b 65 6e 29 0a 20 20 20 20 20 20 20 20  tToken).        
9940: 20 20 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20      else:.      
9950: 20 20 20 20 20 20 20 20 20 20 73 57 68 61 74 20            sWhat 
9960: 3d 20 73 65 6c 66 2e 5f 65 78 70 61 6e 64 28 73  = self._expand(s
9970: 57 68 61 74 2c 20 6e 54 6f 6b 65 6e 4f 66 66 73  What, nTokenOffs
9980: 65 74 2c 20 6e 4c 61 73 74 54 6f 6b 65 6e 29 0a  et, nLastToken).
9990: 20 20 20 20 20 20 20 20 20 20 20 20 62 55 70 70              bUpp
99a0: 65 72 63 61 73 65 20 3d 20 62 43 61 73 65 53 76  ercase = bCaseSv
99b0: 74 79 20 61 6e 64 20 73 65 6c 66 2e 6c 54 6f 6b  ty and self.lTok
99c0: 65 6e 5b 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65  en[nTokenRewrite
99d0: 53 74 61 72 74 5d 5b 22 73 56 61 6c 75 65 22 5d  Start]["sValue"]
99e0: 5b 30 3a 31 5d 2e 69 73 75 70 70 65 72 28 29 0a  [0:1].isupper().
99f0: 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20 6e              if n
9a00: 54 6f 6b 65 6e 52 65 77 72 69 74 65 45 6e 64 20  TokenRewriteEnd 
9a10: 2d 20 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65 53  - nTokenRewriteS
9a20: 74 61 72 74 20 3d 3d 20 30 3a 0a 20 20 20 20 20  tart == 0:.     
9a30: 20 20 20 20 20 20 20 20 20 20 20 23 20 6f 6e 65             # one
9a40: 20 74 6f 6b 65 6e 0a 20 20 20 20 20 20 20 20 20   token.         
9a50: 20 20 20 20 20 20 20 69 66 20 62 55 70 70 65 72         if bUpper
9a60: 63 61 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20  case:.          
9a70: 20 20 20 20 20 20 20 20 20 20 73 57 68 61 74 20            sWhat 
9a80: 3d 20 73 57 68 61 74 5b 30 3a 31 5d 2e 75 70 70  = sWhat[0:1].upp
9a90: 65 72 28 29 20 2b 20 73 57 68 61 74 5b 31 3a 5d  er() + sWhat[1:]
9aa0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
9ab0: 20 73 65 6c 66 2e 6c 54 6f 6b 65 6e 5b 6e 54 6f   self.lToken[nTo
9ac0: 6b 65 6e 52 65 77 72 69 74 65 53 74 61 72 74 5d  kenRewriteStart]
9ad0: 5b 22 73 4e 65 77 56 61 6c 75 65 22 5d 20 3d 20  ["sNewValue"] = 
9ae0: 73 57 68 61 74 0a 20 20 20 20 20 20 20 20 20 20  sWhat.          
9af0: 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20    else:.        
9b00: 20 20 20 20 20 20 20 20 23 20 73 65 76 65 72 61          # severa
9b10: 6c 20 74 6f 6b 65 6e 73 0a 20 20 20 20 20 20 20  l tokens.       
9b20: 20 20 20 20 20 20 20 20 20 6c 54 6f 6b 65 6e 56           lTokenV
9b30: 61 6c 75 65 20 3d 20 73 57 68 61 74 2e 73 70 6c  alue = sWhat.spl
9b40: 69 74 28 22 7c 22 29 0a 20 20 20 20 20 20 20 20  it("|").        
9b50: 20 20 20 20 20 20 20 20 69 66 20 6c 65 6e 28 6c          if len(l
9b60: 54 6f 6b 65 6e 56 61 6c 75 65 29 20 21 3d 20 28  TokenValue) != (
9b70: 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65 45 6e 64  nTokenRewriteEnd
9b80: 20 2d 20 6e 54 6f 6b 65 6e 52 65 77 72 69 74 65   - nTokenRewrite
9b90: 53 74 61 72 74 20 2b 20 31 29 3a 0a 20 20 20 20  Start + 1):.    
9ba0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
9bb0: 69 66 20 28 62 44 65 62 75 67 29 3a 0a 20 20 20  if (bDebug):.   
9bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
9bd0: 20 20 20 20 20 65 63 68 6f 28 22 45 72 72 6f 72       echo("Error
9be0: 2e 20 54 65 78 74 20 70 72 6f 63 65 73 73 6f 72  . Text processor
9bf0: 3a 20 6e 75 6d 62 65 72 20 6f 66 20 72 65 70 6c  : number of repl
9c00: 61 63 65 6d 65 6e 74 73 20 21 3d 20 6e 75 6d 62  acements != numb
9c10: 65 72 20 6f 66 20 74 6f 6b 65 6e 73 2e 22 29 0a  er of tokens.").
9c20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
9c30: 20 20 20 20 72 65 74 75 72 6e 0a 20 20 20 20 20      return.     
9c40: 20 20 20 20 20 20 20 20 20 20 20 66 6f 72 20 69             for i
9c50: 2c 20 73 56 61 6c 75 65 20 69 6e 20 7a 69 70 28  , sValue in zip(
9c60: 72 61 6e 67 65 28 6e 54 6f 6b 65 6e 52 65 77 72  range(nTokenRewr
9c70: 69 74 65 53 74 61 72 74 2c 20 6e 54 6f 6b 65 6e  iteStart, nToken
9c80: 52 65 77 72 69 74 65 45 6e 64 2b 31 29 2c 20 6c  RewriteEnd+1), l
9c90: 54 6f 6b 65 6e 56 61 6c 75 65 29 3a 0a 20 20 20  TokenValue):.   
9ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
9cb0: 20 69 66 20 6e 6f 74 20 73 56 61 6c 75 65 20 6f   if not sValue o
9cc0: 72 20 73 56 61 6c 75 65 20 3d 3d 20 22 2a 22 3a  r sValue == "*":
9cd0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
9ce0: 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 6c 54           self.lT
9cf0: 6f 6b 65 6e 5b 69 5d 5b 22 62 54 6f 52 65 6d 6f  oken[i]["bToRemo
9d00: 76 65 22 5d 20 3d 20 54 72 75 65 0a 20 20 20 20  ve"] = True.    
9d10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
9d20: 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20  else:.          
9d30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
9d40: 20 62 55 70 70 65 72 63 61 73 65 3a 0a 20 20 20   bUppercase:.   
9d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
9d60: 20 20 20 20 20 20 20 20 20 73 56 61 6c 75 65 20           sValue 
9d70: 3d 20 73 56 61 6c 75 65 5b 30 3a 31 5d 2e 75 70  = sValue[0:1].up
9d80: 70 65 72 28 29 20 2b 20 73 56 61 6c 75 65 5b 31  per() + sValue[1
9d90: 3a 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  :].             
9da0: 20 20 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e             self.
9db0: 6c 54 6f 6b 65 6e 5b 69 5d 5b 22 73 4e 65 77 56  lToken[i]["sNewV
9dc0: 61 6c 75 65 22 5d 20 3d 20 73 56 61 6c 75 65 0a  alue"] = sValue.
9dd0: 0a 20 20 20 20 64 65 66 20 72 65 77 72 69 74 65  .    def rewrite
9de0: 46 72 6f 6d 54 61 67 73 20 28 73 65 6c 66 2c 20  FromTags (self, 
9df0: 62 44 65 62 75 67 3d 46 61 6c 73 65 29 3a 0a 20  bDebug=False):. 
9e00: 20 20 20 20 20 20 20 22 72 65 77 72 69 74 65 20         "rewrite 
9e10: 74 68 65 20 73 65 6e 74 65 6e 63 65 2c 20 6d 6f  the sentence, mo
9e20: 64 69 66 79 20 74 6f 6b 65 6e 73 2c 20 70 75 72  dify tokens, pur
9e30: 67 65 20 74 68 65 20 74 6f 6b 65 6e 20 6c 69 73  ge the token lis
9e40: 74 22 0a 20 20 20 20 20 20 20 20 69 66 20 62 44  t".        if bD
9e50: 65 62 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20  ebug:.          
9e60: 20 20 65 63 68 6f 28 22 52 45 57 52 49 54 45 22    echo("REWRITE"
9e70: 29 0a 20 20 20 20 20 20 20 20 6c 4e 65 77 54 6f  ).        lNewTo
9e80: 6b 65 6e 20 3d 20 5b 5d 0a 20 20 20 20 20 20 20  ken = [].       
9e90: 20 6e 4d 65 72 67 65 55 6e 74 69 6c 20 3d 20 30   nMergeUntil = 0
9ea0: 0a 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 4d  .        dTokenM
9eb0: 65 72 67 65 72 20 3d 20 7b 7d 0a 20 20 20 20 20  erger = {}.     
9ec0: 20 20 20 66 6f 72 20 69 54 6f 6b 65 6e 2c 20 64     for iToken, d
9ed0: 54 6f 6b 65 6e 20 69 6e 20 65 6e 75 6d 65 72 61  Token in enumera
9ee0: 74 65 28 73 65 6c 66 2e 6c 54 6f 6b 65 6e 29 3a  te(self.lToken):
9ef0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 62 4b 65  .            bKe
9f00: 65 70 54 6f 6b 65 6e 20 3d 20 54 72 75 65 0a 20  epToken = True. 
9f10: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 64 54             if dT
9f20: 6f 6b 65 6e 5b 22 73 54 79 70 65 22 5d 20 21 3d  oken["sType"] !=
9f30: 20 22 49 4e 46 4f 22 3a 0a 20 20 20 20 20 20 20   "INFO":.       
9f40: 20 20 20 20 20 20 20 20 20 69 66 20 6e 4d 65 72           if nMer
9f50: 67 65 55 6e 74 69 6c 20 61 6e 64 20 69 54 6f 6b  geUntil and iTok
9f60: 65 6e 20 3c 3d 20 6e 4d 65 72 67 65 55 6e 74 69  en <= nMergeUnti
9f70: 6c 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  l:.             
9f80: 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 4d 65 72         dTokenMer
9f90: 67 65 72 5b 22 73 56 61 6c 75 65 22 5d 20 2b 3d  ger["sValue"] +=
9fa0: 20 22 20 22 20 2a 20 28 64 54 6f 6b 65 6e 5b 22   " " * (dToken["
9fb0: 6e 53 74 61 72 74 22 5d 20 2d 20 64 54 6f 6b 65  nStart"] - dToke
9fc0: 6e 4d 65 72 67 65 72 5b 22 6e 45 6e 64 22 5d 29  nMerger["nEnd"])
9fd0: 20 2b 20 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75   + dToken["sValu
9fe0: 65 22 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20  e"].            
9ff0: 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 4d 65          dTokenMe
a000: 72 67 65 72 5b 22 6e 45 6e 64 22 5d 20 3d 20 64  rger["nEnd"] = d
a010: 54 6f 6b 65 6e 5b 22 6e 45 6e 64 22 5d 0a 20 20  Token["nEnd"].  
a020: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a030: 20 20 69 66 20 62 44 65 62 75 67 3a 0a 20 20 20    if bDebug:.   
a040: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a050: 20 20 20 20 20 65 63 68 6f 28 22 20 20 4d 45 52       echo("  MER
a060: 47 45 44 20 54 4f 4b 45 4e 3a 20 22 20 2b 20 64  GED TOKEN: " + d
a070: 54 6f 6b 65 6e 4d 65 72 67 65 72 5b 22 73 56 61  TokenMerger["sVa
a080: 6c 75 65 22 5d 29 0a 20 20 20 20 20 20 20 20 20  lue"]).         
a090: 20 20 20 20 20 20 20 20 20 20 20 62 4b 65 65 70             bKeep
a0a0: 54 6f 6b 65 6e 20 3d 20 46 61 6c 73 65 0a 20 20  Token = False.  
a0b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
a0c0: 20 22 6e 4d 65 72 67 65 55 6e 74 69 6c 22 20 69   "nMergeUntil" i
a0d0: 6e 20 64 54 6f 6b 65 6e 3a 0a 20 20 20 20 20 20  n dToken:.      
a0e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 69 66                if
a0f0: 20 69 54 6f 6b 65 6e 20 3e 20 6e 4d 65 72 67 65   iToken > nMerge
a100: 55 6e 74 69 6c 3a 20 23 20 74 68 69 73 20 74 6f  Until: # this to
a110: 6b 65 6e 20 69 73 20 6e 6f 74 20 61 6c 72 65 61  ken is not alrea
a120: 64 79 20 6d 65 72 67 65 64 20 77 69 74 68 20 61  dy merged with a
a130: 20 70 72 65 76 69 6f 75 73 20 74 6f 6b 65 6e 0a   previous token.
a140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a150: 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 4d 65          dTokenMe
a160: 72 67 65 72 20 3d 20 64 54 6f 6b 65 6e 0a 20 20  rger = dToken.  
a170: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a180: 20 20 69 66 20 64 54 6f 6b 65 6e 5b 22 6e 4d 65    if dToken["nMe
a190: 72 67 65 55 6e 74 69 6c 22 5d 20 3e 20 6e 4d 65  rgeUntil"] > nMe
a1a0: 72 67 65 55 6e 74 69 6c 3a 0a 20 20 20 20 20 20  rgeUntil:.      
a1b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a1c0: 20 20 6e 4d 65 72 67 65 55 6e 74 69 6c 20 3d 20    nMergeUntil = 
a1d0: 64 54 6f 6b 65 6e 5b 22 6e 4d 65 72 67 65 55 6e  dToken["nMergeUn
a1e0: 74 69 6c 22 5d 0a 20 20 20 20 20 20 20 20 20 20  til"].          
a1f0: 20 20 20 20 20 20 20 20 20 20 64 65 6c 20 64 54            del dT
a200: 6f 6b 65 6e 5b 22 6e 4d 65 72 67 65 55 6e 74 69  oken["nMergeUnti
a210: 6c 22 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20  l"].            
a220: 20 20 20 20 65 6c 69 66 20 22 62 54 6f 52 65 6d      elif "bToRem
a230: 6f 76 65 22 20 69 6e 20 64 54 6f 6b 65 6e 3a 0a  ove" in dToken:.
a240: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a250: 20 20 20 20 69 66 20 62 44 65 62 75 67 3a 0a 20      if bDebug:. 
a260: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a270: 20 20 20 20 20 20 20 65 63 68 6f 28 22 20 20 52         echo("  R
a280: 45 4d 4f 56 45 44 3a 20 22 20 2b 20 64 54 6f 6b  EMOVED: " + dTok
a290: 65 6e 5b 22 73 56 61 6c 75 65 22 5d 29 0a 20 20  en["sValue"]).  
a2a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a2b0: 20 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63 65    self.sSentence
a2c0: 20 3d 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63   = self.sSentenc
a2d0: 65 5b 3a 64 54 6f 6b 65 6e 5b 22 6e 53 74 61 72  e[:dToken["nStar
a2e0: 74 22 5d 5d 20 2b 20 22 20 22 20 2a 20 28 64 54  t"]] + " " * (dT
a2f0: 6f 6b 65 6e 5b 22 6e 45 6e 64 22 5d 20 2d 20 64  oken["nEnd"] - d
a300: 54 6f 6b 65 6e 5b 22 6e 53 74 61 72 74 22 5d 29  Token["nStart"])
a310: 20 2b 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63   + self.sSentenc
a320: 65 5b 64 54 6f 6b 65 6e 5b 22 6e 45 6e 64 22 5d  e[dToken["nEnd"]
a330: 3a 5d 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  :].             
a340: 20 20 20 20 20 20 20 62 4b 65 65 70 54 6f 6b 65         bKeepToke
a350: 6e 20 3d 20 46 61 6c 73 65 0a 20 20 20 20 20 20  n = False.      
a360: 20 20 20 20 20 20 23 0a 20 20 20 20 20 20 20 20        #.        
a370: 20 20 20 20 69 66 20 62 4b 65 65 70 54 6f 6b 65      if bKeepToke
a380: 6e 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  n:.             
a390: 20 20 20 6c 4e 65 77 54 6f 6b 65 6e 2e 61 70 70     lNewToken.app
a3a0: 65 6e 64 28 64 54 6f 6b 65 6e 29 0a 20 20 20 20  end(dToken).    
a3b0: 20 20 20 20 20 20 20 20 20 20 20 20 69 66 20 22              if "
a3c0: 73 4e 65 77 56 61 6c 75 65 22 20 69 6e 20 64 54  sNewValue" in dT
a3d0: 6f 6b 65 6e 3a 0a 20 20 20 20 20 20 20 20 20 20  oken:.          
a3e0: 20 20 20 20 20 20 20 20 20 20 23 20 72 65 77 72            # rewr
a3f0: 69 74 65 20 74 6f 6b 65 6e 20 61 6e 64 20 73 65  ite token and se
a400: 6e 74 65 6e 63 65 0a 20 20 20 20 20 20 20 20 20  ntence.         
a410: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 62 44             if bD
a420: 65 62 75 67 3a 0a 20 20 20 20 20 20 20 20 20 20  ebug:.          
a430: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 65 63                ec
a440: 68 6f 28 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75  ho(dToken["sValu
a450: 65 22 5d 20 2b 20 22 20 2d 3e 20 22 20 2b 20 64  e"] + " -> " + d
a460: 54 6f 6b 65 6e 5b 22 73 4e 65 77 56 61 6c 75 65  Token["sNewValue
a470: 22 5d 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  "]).            
a480: 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 5b 22          dToken["
a490: 73 52 65 61 6c 56 61 6c 75 65 22 5d 20 3d 20 64  sRealValue"] = d
a4a0: 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65 22 5d 0a  Token["sValue"].
a4b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a4c0: 20 20 20 20 64 54 6f 6b 65 6e 5b 22 73 56 61 6c      dToken["sVal
a4d0: 75 65 22 5d 20 3d 20 64 54 6f 6b 65 6e 5b 22 73  ue"] = dToken["s
a4e0: 4e 65 77 56 61 6c 75 65 22 5d 0a 20 20 20 20 20  NewValue"].     
a4f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 6e                 n
a500: 44 69 66 66 4c 65 6e 20 3d 20 6c 65 6e 28 64 54  DiffLen = len(dT
a510: 6f 6b 65 6e 5b 22 73 52 65 61 6c 56 61 6c 75 65  oken["sRealValue
a520: 22 5d 29 20 2d 20 6c 65 6e 28 64 54 6f 6b 65 6e  "]) - len(dToken
a530: 5b 22 73 4e 65 77 56 61 6c 75 65 22 5d 29 0a 20  ["sNewValue"]). 
a540: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a550: 20 20 20 73 4e 65 77 52 65 70 6c 20 3d 20 28 64     sNewRepl = (d
a560: 54 6f 6b 65 6e 5b 22 73 4e 65 77 56 61 6c 75 65  Token["sNewValue
a570: 22 5d 20 2b 20 22 20 22 20 2a 20 6e 44 69 66 66  "] + " " * nDiff
a580: 4c 65 6e 29 20 20 69 66 20 6e 44 69 66 66 4c 65  Len)  if nDiffLe
a590: 6e 20 3e 3d 20 30 20 20 65 6c 73 65 20 64 54 6f  n >= 0  else dTo
a5a0: 6b 65 6e 5b 22 73 4e 65 77 56 61 6c 75 65 22 5d  ken["sNewValue"]
a5b0: 5b 3a 6c 65 6e 28 64 54 6f 6b 65 6e 5b 22 73 52  [:len(dToken["sR
a5c0: 65 61 6c 56 61 6c 75 65 22 5d 29 5d 0a 20 20 20  ealValue"])].   
a5d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a5e0: 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63 65 20   self.sSentence 
a5f0: 3d 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63 65  = self.sSentence
a600: 5b 3a 64 54 6f 6b 65 6e 5b 22 6e 53 74 61 72 74  [:dToken["nStart
a610: 22 5d 5d 20 2b 20 73 4e 65 77 52 65 70 6c 20 2b  "]] + sNewRepl +
a620: 20 73 65 6c 66 2e 73 53 65 6e 74 65 6e 63 65 5b   self.sSentence[
a630: 64 54 6f 6b 65 6e 5b 22 6e 45 6e 64 22 5d 3a 5d  dToken["nEnd"]:]
a640: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
a650: 20 20 20 20 20 64 65 6c 20 64 54 6f 6b 65 6e 5b       del dToken[
a660: 22 73 4e 65 77 56 61 6c 75 65 22 5d 0a 20 20 20  "sNewValue"].   
a670: 20 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a 20           else:. 
a680: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 74                 t
a690: 72 79 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ry:.            
a6a0: 20 20 20 20 20 20 20 20 64 65 6c 20 73 65 6c 66          del self
a6b0: 2e 64 54 6f 6b 65 6e 50 6f 73 5b 64 54 6f 6b 65  .dTokenPos[dToke
a6c0: 6e 5b 22 6e 53 74 61 72 74 22 5d 5d 0a 20 20 20  n["nStart"]].   
a6d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 65 78 63               exc
a6e0: 65 70 74 20 4b 65 79 45 72 72 6f 72 3a 0a 20 20  ept KeyError:.  
a6f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a700: 20 20 65 63 68 6f 28 73 65 6c 66 29 0a 20 20 20    echo(self).   
a710: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
a720: 20 65 63 68 6f 28 64 54 6f 6b 65 6e 29 0a 20 20   echo(dToken).  
a730: 20 20 20 20 20 20 69 66 20 62 44 65 62 75 67 3a        if bDebug:
a740: 0a 20 20 20 20 20 20 20 20 20 20 20 20 65 63 68  .            ech
a750: 6f 28 22 20 20 54 45 58 54 20 52 45 57 52 49 54  o("  TEXT REWRIT
a760: 45 44 3a 20 22 20 2b 20 73 65 6c 66 2e 73 53 65  ED: " + self.sSe
a770: 6e 74 65 6e 63 65 29 0a 20 20 20 20 20 20 20 20  ntence).        
a780: 73 65 6c 66 2e 6c 54 6f 6b 65 6e 2e 63 6c 65 61  self.lToken.clea
a790: 72 28 29 0a 20 20 20 20 20 20 20 20 73 65 6c 66  r().        self
a7a0: 2e 6c 54 6f 6b 65 6e 20 3d 20 6c 4e 65 77 54 6f  .lToken = lNewTo
a7b0: 6b 65 6e 0a 0a 0a 23 23 23 23 20 63 6f 6d 6d 6f  ken...#### commo
a7c0: 6e 20 66 75 6e 63 74 69 6f 6e 73 0a 0a 64 65 66  n functions..def
a7d0: 20 6f 70 74 69 6f 6e 20 28 73 4f 70 74 29 3a 0a   option (sOpt):.
a7e0: 20 20 20 20 22 72 65 74 75 72 6e 20 54 72 75 65      "return True
a7f0: 20 69 66 20 6f 70 74 69 6f 6e 20 3c 73 4f 70 74   if option <sOpt
a800: 3e 20 69 73 20 61 63 74 69 76 65 22 0a 20 20 20  > is active".   
a810: 20 72 65 74 75 72 6e 20 5f 64 4f 70 74 69 6f 6e   return _dOption
a820: 73 2e 67 65 74 28 73 4f 70 74 2c 20 46 61 6c 73  s.get(sOpt, Fals
a830: 65 29 0a 0a 0a 23 23 23 23 20 46 75 6e 63 74 69  e)...#### Functi
a840: 6f 6e 73 20 74 6f 20 67 65 74 20 74 65 78 74 20  ons to get text 
a850: 6f 75 74 73 69 64 65 20 70 61 74 74 65 72 6e 20  outside pattern 
a860: 73 63 6f 70 65 0a 0a 23 20 77 61 72 6e 69 6e 67  scope..# warning
a870: 3a 20 63 68 65 63 6b 20 63 6f 6d 70 69 6c 65 5f  : check compile_
a880: 72 75 6c 65 73 2e 70 79 20 74 6f 20 75 6e 64 65  rules.py to unde
a890: 72 73 74 61 6e 64 20 68 6f 77 20 69 74 20 77 6f  rstand how it wo
a8a0: 72 6b 73 0a 0a 5f 7a 4e 65 78 74 57 6f 72 64 20  rks.._zNextWord 
a8b0: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 22 20  = re.compile(r" 
a8c0: 2b 28 5c 77 5b 5c 77 2d 5d 2a 29 22 29 0a 5f 7a  +(\w[\w-]*)")._z
a8d0: 50 72 65 76 57 6f 72 64 20 3d 20 72 65 2e 63 6f  PrevWord = re.co
a8e0: 6d 70 69 6c 65 28 72 22 28 5c 77 5b 5c 77 2d 5d  mpile(r"(\w[\w-]
a8f0: 2a 29 20 2b 24 22 29 0a 0a 64 65 66 20 6e 65 78  *) +$")..def nex
a900: 74 77 6f 72 64 20 28 73 2c 20 69 53 74 61 72 74  tword (s, iStart
a910: 2c 20 6e 29 3a 0a 20 20 20 20 22 67 65 74 20 74  , n):.    "get t
a920: 68 65 20 6e 74 68 20 77 6f 72 64 20 6f 66 20 74  he nth word of t
a930: 68 65 20 69 6e 70 75 74 20 73 74 72 69 6e 67 20  he input string 
a940: 6f 72 20 65 6d 70 74 79 20 73 74 72 69 6e 67 22  or empty string"
a950: 0a 20 20 20 20 6d 20 3d 20 72 65 2e 6d 61 74 63  .    m = re.matc
a960: 68 28 22 28 3f 3a 20 2b 5b 5c 5c 77 25 2d 5d 2b  h("(?: +[\\w%-]+
a970: 29 7b 22 20 2b 20 73 74 72 28 6e 2d 31 29 20 2b  ){" + str(n-1) +
a980: 20 22 7d 20 2b 28 5b 5c 5c 77 25 2d 5d 2b 29 22   "} +([\\w%-]+)"
a990: 2c 20 73 5b 69 53 74 61 72 74 3a 5d 29 0a 20 20  , s[iStart:]).  
a9a0: 20 20 69 66 20 6e 6f 74 20 6d 3a 0a 20 20 20 20    if not m:.    
a9b0: 20 20 20 20 72 65 74 75 72 6e 20 4e 6f 6e 65 0a      return None.
a9c0: 20 20 20 20 72 65 74 75 72 6e 20 28 69 53 74 61      return (iSta
a9d0: 72 74 2b 6d 2e 73 74 61 72 74 28 31 29 2c 20 6d  rt+m.start(1), m
a9e0: 2e 67 72 6f 75 70 28 31 29 29 0a 0a 0a 64 65 66  .group(1))...def
a9f0: 20 70 72 65 76 77 6f 72 64 20 28 73 2c 20 69 45   prevword (s, iE
aa00: 6e 64 2c 20 6e 29 3a 0a 20 20 20 20 22 67 65 74  nd, n):.    "get
aa10: 20 74 68 65 20 28 2d 29 6e 74 68 20 77 6f 72 64   the (-)nth word
aa20: 20 6f 66 20 74 68 65 20 69 6e 70 75 74 20 73 74   of the input st
aa30: 72 69 6e 67 20 6f 72 20 65 6d 70 74 79 20 73 74  ring or empty st
aa40: 72 69 6e 67 22 0a 20 20 20 20 6d 20 3d 20 72 65  ring".    m = re
aa50: 2e 73 65 61 72 63 68 28 22 28 5b 5c 5c 77 25 2d  .search("([\\w%-
aa60: 5d 2b 29 20 2b 28 3f 3a 5b 5c 5c 77 25 2d 5d 2b  ]+) +(?:[\\w%-]+
aa70: 20 2b 29 7b 22 20 2b 20 73 74 72 28 6e 2d 31 29   +){" + str(n-1)
aa80: 20 2b 20 22 7d 24 22 2c 20 73 5b 3a 69 45 6e 64   + "}$", s[:iEnd
aa90: 5d 29 0a 20 20 20 20 69 66 20 6e 6f 74 20 6d 3a  ]).    if not m:
aaa0: 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20  .        return 
aab0: 4e 6f 6e 65 0a 20 20 20 20 72 65 74 75 72 6e 20  None.    return 
aac0: 28 6d 2e 73 74 61 72 74 28 31 29 2c 20 6d 2e 67  (m.start(1), m.g
aad0: 72 6f 75 70 28 31 29 29 0a 0a 0a 64 65 66 20 6e  roup(1))...def n
aae0: 65 78 74 77 6f 72 64 31 20 28 73 2c 20 69 53 74  extword1 (s, iSt
aaf0: 61 72 74 29 3a 0a 20 20 20 20 22 67 65 74 20 6e  art):.    "get n
ab00: 65 78 74 20 77 6f 72 64 20 28 6f 70 74 69 6d 69  ext word (optimi
ab10: 7a 61 74 69 6f 6e 29 22 0a 20 20 20 20 6d 20 3d  zation)".    m =
ab20: 20 5f 7a 4e 65 78 74 57 6f 72 64 2e 6d 61 74 63   _zNextWord.matc
ab30: 68 28 73 5b 69 53 74 61 72 74 3a 5d 29 0a 20 20  h(s[iStart:]).  
ab40: 20 20 69 66 20 6e 6f 74 20 6d 3a 0a 20 20 20 20    if not m:.    
ab50: 20 20 20 20 72 65 74 75 72 6e 20 4e 6f 6e 65 0a      return None.
ab60: 20 20 20 20 72 65 74 75 72 6e 20 28 69 53 74 61      return (iSta
ab70: 72 74 2b 6d 2e 73 74 61 72 74 28 31 29 2c 20 6d  rt+m.start(1), m
ab80: 2e 67 72 6f 75 70 28 31 29 29 0a 0a 0a 64 65 66  .group(1))...def
ab90: 20 70 72 65 76 77 6f 72 64 31 20 28 73 2c 20 69   prevword1 (s, i
aba0: 45 6e 64 29 3a 0a 20 20 20 20 22 67 65 74 20 70  End):.    "get p
abb0: 72 65 76 69 6f 75 73 20 77 6f 72 64 20 28 6f 70  revious word (op
abc0: 74 69 6d 69 7a 61 74 69 6f 6e 29 22 0a 20 20 20  timization)".   
abd0: 20 6d 20 3d 20 5f 7a 50 72 65 76 57 6f 72 64 2e   m = _zPrevWord.
abe0: 73 65 61 72 63 68 28 73 5b 3a 69 45 6e 64 5d 29  search(s[:iEnd])
abf0: 0a 20 20 20 20 69 66 20 6e 6f 74 20 6d 3a 0a 20  .    if not m:. 
ac00: 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 4e 6f         return No
ac10: 6e 65 0a 20 20 20 20 72 65 74 75 72 6e 20 28 6d  ne.    return (m
ac20: 2e 73 74 61 72 74 28 31 29 2c 20 6d 2e 67 72 6f  .start(1), m.gro
ac30: 75 70 28 31 29 29 0a 0a 0a 64 65 66 20 6c 6f 6f  up(1))...def loo
ac40: 6b 20 28 73 2c 20 73 50 61 74 74 65 72 6e 2c 20  k (s, sPattern, 
ac50: 73 4e 65 67 50 61 74 74 65 72 6e 3d 4e 6f 6e 65  sNegPattern=None
ac60: 29 3a 0a 20 20 20 20 22 73 65 65 6b 20 73 50 61  ):.    "seek sPa
ac70: 74 74 65 72 6e 20 69 6e 20 73 20 28 62 65 66 6f  ttern in s (befo
ac80: 72 65 2f 61 66 74 65 72 2f 66 75 6c 6c 74 65 78  re/after/fulltex
ac90: 74 29 2c 20 69 66 20 73 4e 65 67 50 61 74 74 65  t), if sNegPatte
aca0: 72 6e 20 6e 6f 74 20 69 6e 20 73 22 0a 20 20 20  rn not in s".   
acb0: 20 69 66 20 73 4e 65 67 50 61 74 74 65 72 6e 20   if sNegPattern 
acc0: 61 6e 64 20 72 65 2e 73 65 61 72 63 68 28 73 4e  and re.search(sN
acd0: 65 67 50 61 74 74 65 72 6e 2c 20 73 29 3a 0a 20  egPattern, s):. 
ace0: 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 46 61         return Fa
acf0: 6c 73 65 0a 20 20 20 20 69 66 20 72 65 2e 73 65  lse.    if re.se
ad00: 61 72 63 68 28 73 50 61 74 74 65 72 6e 2c 20 73  arch(sPattern, s
ad10: 29 3a 0a 20 20 20 20 20 20 20 20 72 65 74 75 72  ):.        retur
ad20: 6e 20 54 72 75 65 0a 20 20 20 20 72 65 74 75 72  n True.    retur
ad30: 6e 20 46 61 6c 73 65 0a 0a 0a 64 65 66 20 6c 6f  n False...def lo
ad40: 6f 6b 5f 63 68 6b 31 20 28 64 54 6f 6b 65 6e 50  ok_chk1 (dTokenP
ad50: 6f 73 2c 20 73 2c 20 6e 4f 66 66 73 65 74 2c 20  os, s, nOffset, 
ad60: 73 50 61 74 74 65 72 6e 2c 20 73 50 61 74 74 65  sPattern, sPatte
ad70: 72 6e 47 72 6f 75 70 31 2c 20 73 4e 65 67 50 61  rnGroup1, sNegPa
ad80: 74 74 65 72 6e 47 72 6f 75 70 31 3d 22 22 29 3a  tternGroup1=""):
ad90: 0a 20 20 20 20 22 72 65 74 75 72 6e 73 20 54 72  .    "returns Tr
ada0: 75 65 20 69 66 20 73 20 68 61 73 20 70 61 74 74  ue if s has patt
adb0: 65 72 6e 20 73 50 61 74 74 65 72 6e 20 61 6e 64  ern sPattern and
adc0: 20 6d 2e 67 72 6f 75 70 28 31 29 20 68 61 73 20   m.group(1) has 
add0: 70 61 74 74 65 72 6e 20 73 50 61 74 74 65 72 6e  pattern sPattern
ade0: 47 72 6f 75 70 31 22 0a 20 20 20 20 6d 20 3d 20  Group1".    m = 
adf0: 72 65 2e 73 65 61 72 63 68 28 73 50 61 74 74 65  re.search(sPatte
ae00: 72 6e 2c 20 73 29 0a 20 20 20 20 69 66 20 6e 6f  rn, s).    if no
ae10: 74 20 6d 3a 0a 20 20 20 20 20 20 20 20 72 65 74  t m:.        ret
ae20: 75 72 6e 20 46 61 6c 73 65 0a 20 20 20 20 74 72  urn False.    tr
ae30: 79 3a 0a 20 20 20 20 20 20 20 20 73 57 6f 72 64  y:.        sWord
ae40: 20 3d 20 6d 2e 67 72 6f 75 70 28 31 29 0a 20 20   = m.group(1).  
ae50: 20 20 20 20 20 20 6e 50 6f 73 20 3d 20 6d 2e 73        nPos = m.s
ae60: 74 61 72 74 28 31 29 20 2b 20 6e 4f 66 66 73 65  tart(1) + nOffse
ae70: 74 0a 20 20 20 20 65 78 63 65 70 74 20 49 6e 64  t.    except Ind
ae80: 65 78 45 72 72 6f 72 3a 0a 20 20 20 20 20 20 20  exError:.       
ae90: 20 72 65 74 75 72 6e 20 46 61 6c 73 65 0a 20 20   return False.  
aea0: 20 20 72 65 74 75 72 6e 20 6d 6f 72 70 68 28 64    return morph(d
aeb0: 54 6f 6b 65 6e 50 6f 73 2c 20 28 6e 50 6f 73 2c  TokenPos, (nPos,
aec0: 20 73 57 6f 72 64 29 2c 20 73 50 61 74 74 65 72   sWord), sPatter
aed0: 6e 47 72 6f 75 70 31 2c 20 73 4e 65 67 50 61 74  nGroup1, sNegPat
aee0: 74 65 72 6e 47 72 6f 75 70 31 29 0a 0a 0a 0a 23  ternGroup1)....#
aef0: 23 23 23 20 41 6e 61 6c 79 73 65 20 67 72 6f 75  ### Analyse grou
af00: 70 73 20 66 6f 72 20 72 65 67 65 78 20 72 75 6c  ps for regex rul
af10: 65 73 0a 0a 64 65 66 20 64 69 73 70 6c 61 79 49  es..def displayI
af20: 6e 66 6f 20 28 64 54 6f 6b 65 6e 50 6f 73 2c 20  nfo (dTokenPos, 
af30: 74 57 6f 72 64 29 3a 0a 20 20 20 20 22 66 6f 72  tWord):.    "for
af40: 20 64 65 62 75 67 67 69 6e 67 3a 20 72 65 74 72   debugging: retr
af50: 69 65 76 65 20 69 6e 66 6f 20 6f 66 20 77 6f 72  ieve info of wor
af60: 64 22 0a 20 20 20 20 69 66 20 6e 6f 74 20 74 57  d".    if not tW
af70: 6f 72 64 3a 0a 20 20 20 20 20 20 20 20 65 63 68  ord:.        ech
af80: 6f 28 22 3e 20 6e 6f 74 68 69 6e 67 20 74 6f 20  o("> nothing to 
af90: 66 69 6e 64 22 29 0a 20 20 20 20 20 20 20 20 72  find").        r
afa0: 65 74 75 72 6e 20 54 72 75 65 0a 20 20 20 20 6c  eturn True.    l
afb0: 4d 6f 72 70 68 20 3d 20 5f 6f 53 70 65 6c 6c 43  Morph = _oSpellC
afc0: 68 65 63 6b 65 72 2e 67 65 74 4d 6f 72 70 68 28  hecker.getMorph(
afd0: 74 57 6f 72 64 5b 31 5d 29 0a 20 20 20 20 69 66  tWord[1]).    if
afe0: 20 6e 6f 74 20 6c 4d 6f 72 70 68 3a 0a 20 20 20   not lMorph:.   
aff0: 20 20 20 20 20 65 63 68 6f 28 22 3e 20 6e 6f 74       echo("> not
b000: 20 69 6e 20 64 69 63 74 69 6f 6e 61 72 79 22 29   in dictionary")
b010: 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20  .        return 
b020: 54 72 75 65 0a 20 20 20 20 65 63 68 6f 28 22 54  True.    echo("T
b030: 4f 4b 45 4e 53 3a 22 2c 20 64 54 6f 6b 65 6e 50  OKENS:", dTokenP
b040: 6f 73 29 0a 20 20 20 20 69 66 20 74 57 6f 72 64  os).    if tWord
b050: 5b 30 5d 20 69 6e 20 64 54 6f 6b 65 6e 50 6f 73  [0] in dTokenPos
b060: 20 61 6e 64 20 22 6c 4d 6f 72 70 68 22 20 69 6e   and "lMorph" in
b070: 20 64 54 6f 6b 65 6e 50 6f 73 5b 74 57 6f 72 64   dTokenPos[tWord
b080: 5b 30 5d 5d 3a 0a 20 20 20 20 20 20 20 20 65 63  [0]]:.        ec
b090: 68 6f 28 22 44 41 3a 20 22 20 2b 20 73 74 72 28  ho("DA: " + str(
b0a0: 64 54 6f 6b 65 6e 50 6f 73 5b 74 57 6f 72 64 5b  dTokenPos[tWord[
b0b0: 30 5d 5d 5b 22 6c 4d 6f 72 70 68 22 5d 29 29 0a  0]]["lMorph"])).
b0c0: 20 20 20 20 65 63 68 6f 28 22 46 53 41 3a 20 22      echo("FSA: "
b0d0: 20 2b 20 73 74 72 28 6c 4d 6f 72 70 68 29 29 0a   + str(lMorph)).
b0e0: 20 20 20 20 72 65 74 75 72 6e 20 54 72 75 65 0a      return True.
b0f0: 0a 0a 64 65 66 20 6d 6f 72 70 68 20 28 64 54 6f  ..def morph (dTo
b100: 6b 65 6e 50 6f 73 2c 20 74 57 6f 72 64 2c 20 73  kenPos, tWord, s
b110: 50 61 74 74 65 72 6e 2c 20 73 4e 65 67 50 61 74  Pattern, sNegPat
b120: 74 65 72 6e 3d 22 22 2c 20 62 4e 6f 57 6f 72 64  tern="", bNoWord
b130: 3d 46 61 6c 73 65 29 3a 0a 20 20 20 20 22 61 6e  =False):.    "an
b140: 61 6c 79 73 65 20 61 20 74 75 70 6c 65 20 28 70  alyse a tuple (p
b150: 6f 73 69 74 69 6f 6e 2c 20 77 6f 72 64 29 2c 20  osition, word), 
b160: 72 65 74 75 72 6e 73 20 54 72 75 65 20 69 66 20  returns True if 
b170: 6e 6f 74 20 73 4e 65 67 50 61 74 74 65 72 6e 20  not sNegPattern 
b180: 69 6e 20 77 6f 72 64 20 6d 6f 72 70 68 6f 6c 6f  in word morpholo
b190: 67 69 65 73 20 61 6e 64 20 73 50 61 74 74 65 72  gies and sPatter
b1a0: 6e 20 69 6e 20 77 6f 72 64 20 6d 6f 72 70 68 6f  n in word morpho
b1b0: 6c 6f 67 69 65 73 20 28 64 69 73 61 6d 62 69 67  logies (disambig
b1c0: 75 61 74 69 6f 6e 20 6f 6e 29 22 0a 20 20 20 20  uation on)".    
b1d0: 69 66 20 6e 6f 74 20 74 57 6f 72 64 3a 0a 20 20  if not tWord:.  
b1e0: 20 20 20 20 20 20 72 65 74 75 72 6e 20 62 4e 6f        return bNo
b1f0: 57 6f 72 64 0a 20 20 20 20 6c 4d 6f 72 70 68 20  Word.    lMorph 
b200: 3d 20 64 54 6f 6b 65 6e 50 6f 73 5b 74 57 6f 72  = dTokenPos[tWor
b210: 64 5b 30 5d 5d 5b 22 6c 4d 6f 72 70 68 22 5d 20  d[0]]["lMorph"] 
b220: 20 69 66 20 74 57 6f 72 64 5b 30 5d 20 69 6e 20   if tWord[0] in 
b230: 64 54 6f 6b 65 6e 50 6f 73 20 61 6e 64 20 22 6c  dTokenPos and "l
b240: 4d 6f 72 70 68 22 20 69 6e 20 64 54 6f 6b 65 6e  Morph" in dToken
b250: 50 6f 73 5b 74 57 6f 72 64 5b 30 5d 5d 20 20 65  Pos[tWord[0]]  e
b260: 6c 73 65 20 5f 6f 53 70 65 6c 6c 43 68 65 63 6b  lse _oSpellCheck
b270: 65 72 2e 67 65 74 4d 6f 72 70 68 28 74 57 6f 72  er.getMorph(tWor
b280: 64 5b 31 5d 29 0a 20 20 20 20 69 66 20 6e 6f 74  d[1]).    if not
b290: 20 6c 4d 6f 72 70 68 3a 0a 20 20 20 20 20 20 20   lMorph:.       
b2a0: 20 72 65 74 75 72 6e 20 46 61 6c 73 65 0a 20 20   return False.  
b2b0: 20 20 23 20 63 68 65 63 6b 20 6e 65 67 61 74 69    # check negati
b2c0: 76 65 20 63 6f 6e 64 69 74 69 6f 6e 0a 20 20 20  ve condition.   
b2d0: 20 69 66 20 73 4e 65 67 50 61 74 74 65 72 6e 3a   if sNegPattern:
b2e0: 0a 20 20 20 20 20 20 20 20 69 66 20 73 4e 65 67  .        if sNeg
b2f0: 50 61 74 74 65 72 6e 20 3d 3d 20 22 2a 22 3a 0a  Pattern == "*":.
b300: 20 20 20 20 20 20 20 20 20 20 20 20 23 20 61 6c              # al
b310: 6c 20 6d 6f 72 70 68 20 6d 75 73 74 20 6d 61 74  l morph must mat
b320: 63 68 20 73 50 61 74 74 65 72 6e 0a 20 20 20 20  ch sPattern.    
b330: 20 20 20 20 20 20 20 20 7a 50 61 74 74 65 72 6e          zPattern
b340: 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 73 50   = re.compile(sP
b350: 61 74 74 65 72 6e 29 0a 20 20 20 20 20 20 20 20  attern).        
b360: 20 20 20 20 72 65 74 75 72 6e 20 61 6c 6c 28 7a      return all(z
b370: 50 61 74 74 65 72 6e 2e 73 65 61 72 63 68 28 73  Pattern.search(s
b380: 4d 6f 72 70 68 29 20 20 66 6f 72 20 73 4d 6f 72  Morph)  for sMor
b390: 70 68 20 69 6e 20 6c 4d 6f 72 70 68 29 0a 20 20  ph in lMorph).  
b3a0: 20 20 20 20 20 20 7a 4e 65 67 50 61 74 74 65 72        zNegPatter
b3b0: 6e 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 73  n = re.compile(s
b3c0: 4e 65 67 50 61 74 74 65 72 6e 29 0a 20 20 20 20  NegPattern).    
b3d0: 20 20 20 20 69 66 20 61 6e 79 28 7a 4e 65 67 50      if any(zNegP
b3e0: 61 74 74 65 72 6e 2e 73 65 61 72 63 68 28 73 4d  attern.search(sM
b3f0: 6f 72 70 68 29 20 20 66 6f 72 20 73 4d 6f 72 70  orph)  for sMorp
b400: 68 20 69 6e 20 6c 4d 6f 72 70 68 29 3a 0a 20 20  h in lMorph):.  
b410: 20 20 20 20 20 20 20 20 20 20 72 65 74 75 72 6e            return
b420: 20 46 61 6c 73 65 0a 20 20 20 20 23 20 73 65 61   False.    # sea
b430: 72 63 68 20 73 50 61 74 74 65 72 6e 0a 20 20 20  rch sPattern.   
b440: 20 7a 50 61 74 74 65 72 6e 20 3d 20 72 65 2e 63   zPattern = re.c
b450: 6f 6d 70 69 6c 65 28 73 50 61 74 74 65 72 6e 29  ompile(sPattern)
b460: 0a 20 20 20 20 72 65 74 75 72 6e 20 61 6e 79 28  .    return any(
b470: 7a 50 61 74 74 65 72 6e 2e 73 65 61 72 63 68 28  zPattern.search(
b480: 73 4d 6f 72 70 68 29 20 20 66 6f 72 20 73 4d 6f  sMorph)  for sMo
b490: 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 29 0a 0a  rph in lMorph)..
b4a0: 0a 64 65 66 20 61 6e 61 6c 79 73 65 20 28 73 57  .def analyse (sW
b4b0: 6f 72 64 2c 20 73 50 61 74 74 65 72 6e 2c 20 73  ord, sPattern, s
b4c0: 4e 65 67 50 61 74 74 65 72 6e 3d 22 22 29 3a 0a  NegPattern=""):.
b4d0: 20 20 20 20 22 61 6e 61 6c 79 73 65 20 61 20 77      "analyse a w
b4e0: 6f 72 64 2c 20 72 65 74 75 72 6e 73 20 54 72 75  ord, returns Tru
b4f0: 65 20 69 66 20 6e 6f 74 20 73 4e 65 67 50 61 74  e if not sNegPat
b500: 74 65 72 6e 20 69 6e 20 77 6f 72 64 20 6d 6f 72  tern in word mor
b510: 70 68 6f 6c 6f 67 69 65 73 20 61 6e 64 20 73 50  phologies and sP
b520: 61 74 74 65 72 6e 20 69 6e 20 77 6f 72 64 20 6d  attern in word m
b530: 6f 72 70 68 6f 6c 6f 67 69 65 73 20 28 64 69 73  orphologies (dis
b540: 61 6d 62 69 67 75 61 74 69 6f 6e 20 6f 66 66 29  ambiguation off)
b550: 22 0a 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20 5f  ".    lMorph = _
b560: 6f 53 70 65 6c 6c 43 68 65 63 6b 65 72 2e 67 65  oSpellChecker.ge
b570: 74 4d 6f 72 70 68 28 73 57 6f 72 64 29 0a 20 20  tMorph(sWord).  
b580: 20 20 69 66 20 6e 6f 74 20 6c 4d 6f 72 70 68 3a    if not lMorph:
b590: 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20  .        return 
b5a0: 46 61 6c 73 65 0a 20 20 20 20 23 20 63 68 65 63  False.    # chec
b5b0: 6b 20 6e 65 67 61 74 69 76 65 20 63 6f 6e 64 69  k negative condi
b5c0: 74 69 6f 6e 0a 20 20 20 20 69 66 20 73 4e 65 67  tion.    if sNeg
b5d0: 50 61 74 74 65 72 6e 3a 0a 20 20 20 20 20 20 20  Pattern:.       
b5e0: 20 69 66 20 73 4e 65 67 50 61 74 74 65 72 6e 20   if sNegPattern 
b5f0: 3d 3d 20 22 2a 22 3a 0a 20 20 20 20 20 20 20 20  == "*":.        
b600: 20 20 20 20 7a 50 61 74 74 65 72 6e 20 3d 20 72      zPattern = r
b610: 65 2e 63 6f 6d 70 69 6c 65 28 73 50 61 74 74 65  e.compile(sPatte
b620: 72 6e 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  rn).            
b630: 72 65 74 75 72 6e 20 61 6c 6c 28 7a 50 61 74 74  return all(zPatt
b640: 65 72 6e 2e 73 65 61 72 63 68 28 73 4d 6f 72 70  ern.search(sMorp
b650: 68 29 20 20 66 6f 72 20 73 4d 6f 72 70 68 20 69  h)  for sMorph i
b660: 6e 20 6c 4d 6f 72 70 68 29 0a 20 20 20 20 20 20  n lMorph).      
b670: 20 20 7a 4e 65 67 50 61 74 74 65 72 6e 20 3d 20    zNegPattern = 
b680: 72 65 2e 63 6f 6d 70 69 6c 65 28 73 4e 65 67 50  re.compile(sNegP
b690: 61 74 74 65 72 6e 29 0a 20 20 20 20 20 20 20 20  attern).        
b6a0: 69 66 20 61 6e 79 28 7a 4e 65 67 50 61 74 74 65  if any(zNegPatte
b6b0: 72 6e 2e 73 65 61 72 63 68 28 73 4d 6f 72 70 68  rn.search(sMorph
b6c0: 29 20 20 66 6f 72 20 73 4d 6f 72 70 68 20 69 6e  )  for sMorph in
b6d0: 20 6c 4d 6f 72 70 68 29 3a 0a 20 20 20 20 20 20   lMorph):.      
b6e0: 20 20 20 20 20 20 72 65 74 75 72 6e 20 46 61 6c        return Fal
b6f0: 73 65 0a 20 20 20 20 23 20 73 65 61 72 63 68 20  se.    # search 
b700: 73 50 61 74 74 65 72 6e 0a 20 20 20 20 7a 50 61  sPattern.    zPa
b710: 74 74 65 72 6e 20 3d 20 72 65 2e 63 6f 6d 70 69  ttern = re.compi
b720: 6c 65 28 73 50 61 74 74 65 72 6e 29 0a 20 20 20  le(sPattern).   
b730: 20 72 65 74 75 72 6e 20 61 6e 79 28 7a 50 61 74   return any(zPat
b740: 74 65 72 6e 2e 73 65 61 72 63 68 28 73 4d 6f 72  tern.search(sMor
b750: 70 68 29 20 20 66 6f 72 20 73 4d 6f 72 70 68 20  ph)  for sMorph 
b760: 69 6e 20 6c 4d 6f 72 70 68 29 0a 0a 0a 23 23 23  in lMorph)...###
b770: 23 20 41 6e 61 6c 79 73 65 20 74 6f 6b 65 6e 73  # Analyse tokens
b780: 20 66 6f 72 20 67 72 61 70 68 20 72 75 6c 65 73   for graph rules
b790: 0a 0a 64 65 66 20 67 5f 76 61 6c 75 65 20 28 64  ..def g_value (d
b7a0: 54 6f 6b 65 6e 2c 20 73 56 61 6c 75 65 73 2c 20  Token, sValues, 
b7b0: 6e 4c 65 66 74 3d 4e 6f 6e 65 2c 20 6e 52 69 67  nLeft=None, nRig
b7c0: 68 74 3d 4e 6f 6e 65 29 3a 0a 20 20 20 20 22 74  ht=None):.    "t
b7d0: 65 73 74 20 69 66 20 3c 64 54 6f 6b 65 6e 5b 27  est if <dToken['
b7e0: 73 56 61 6c 75 65 27 5d 3e 20 69 73 20 69 6e 20  sValue']> is in 
b7f0: 73 56 61 6c 75 65 73 20 28 65 61 63 68 20 76 61  sValues (each va
b800: 6c 75 65 20 73 68 6f 75 6c 64 20 62 65 20 73 65  lue should be se
b810: 70 61 72 61 74 65 64 20 77 69 74 68 20 7c 29 22  parated with |)"
b820: 0a 20 20 20 20 73 56 61 6c 75 65 20 3d 20 22 7c  .    sValue = "|
b830: 22 2b 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65  "+dToken["sValue
b840: 22 5d 2b 22 7c 22 20 20 69 66 20 6e 4c 65 66 74  "]+"|"  if nLeft
b850: 20 69 73 20 4e 6f 6e 65 20 20 65 6c 73 65 20 22   is None  else "
b860: 7c 22 2b 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75  |"+dToken["sValu
b870: 65 22 5d 5b 73 6c 69 63 65 28 6e 4c 65 66 74 2c  e"][slice(nLeft,
b880: 20 6e 52 69 67 68 74 29 5d 2b 22 7c 22 0a 20 20   nRight)]+"|".  
b890: 20 20 69 66 20 73 56 61 6c 75 65 20 69 6e 20 73    if sValue in s
b8a0: 56 61 6c 75 65 73 3a 0a 20 20 20 20 20 20 20 20  Values:.        
b8b0: 72 65 74 75 72 6e 20 54 72 75 65 0a 20 20 20 20  return True.    
b8c0: 69 66 20 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75  if dToken["sValu
b8d0: 65 22 5d 5b 30 3a 32 5d 2e 69 73 74 69 74 6c 65  e"][0:2].istitle
b8e0: 28 29 3a 20 23 20 77 65 20 74 65 73 74 20 6f 6e  (): # we test on
b8f0: 6c 79 20 32 20 66 69 72 73 74 20 63 68 61 72 73  ly 2 first chars
b900: 2c 20 74 6f 20 6d 61 6b 65 20 76 61 6c 69 64 20  , to make valid 
b910: 77 6f 72 64 73 20 73 75 63 68 20 61 73 20 22 4c  words such as "L
b920: 61 69 73 73 65 7a 2d 6c 65 73 22 2c 20 22 50 61  aissez-les", "Pa
b930: 73 73 65 2d 70 61 72 74 6f 75 74 22 2e 0a 20 20  sse-partout"..  
b940: 20 20 20 20 20 20 69 66 20 73 56 61 6c 75 65 2e        if sValue.
b950: 6c 6f 77 65 72 28 29 20 69 6e 20 73 56 61 6c 75  lower() in sValu
b960: 65 73 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  es:.            
b970: 72 65 74 75 72 6e 20 54 72 75 65 0a 20 20 20 20  return True.    
b980: 65 6c 69 66 20 64 54 6f 6b 65 6e 5b 22 73 56 61  elif dToken["sVa
b990: 6c 75 65 22 5d 2e 69 73 75 70 70 65 72 28 29 3a  lue"].isupper():
b9a0: 0a 20 20 20 20 20 20 20 20 23 69 66 20 73 56 61  .        #if sVa
b9b0: 6c 75 65 2e 6c 6f 77 65 72 28 29 20 69 6e 20 73  lue.lower() in s
b9c0: 56 61 6c 75 65 73 3a 0a 20 20 20 20 20 20 20 20  Values:.        
b9d0: 23 20 20 20 20 72 65 74 75 72 6e 20 54 72 75 65  #    return True
b9e0: 0a 20 20 20 20 20 20 20 20 73 56 61 6c 75 65 20  .        sValue 
b9f0: 3d 20 22 7c 22 2b 73 56 61 6c 75 65 5b 31 3a 5d  = "|"+sValue[1:]
ba00: 2e 63 61 70 69 74 61 6c 69 7a 65 28 29 0a 20 20  .capitalize().  
ba10: 20 20 20 20 20 20 69 66 20 73 56 61 6c 75 65 20        if sValue 
ba20: 69 6e 20 73 56 61 6c 75 65 73 3a 0a 20 20 20 20  in sValues:.    
ba30: 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 54          return T
ba40: 72 75 65 0a 20 20 20 20 20 20 20 20 73 56 61 6c  rue.        sVal
ba50: 75 65 20 3d 20 73 56 61 6c 75 65 2e 6c 6f 77 65  ue = sValue.lowe
ba60: 72 28 29 0a 20 20 20 20 20 20 20 20 69 66 20 73  r().        if s
ba70: 56 61 6c 75 65 20 69 6e 20 73 56 61 6c 75 65 73  Value in sValues
ba80: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 72 65  :.            re
ba90: 74 75 72 6e 20 54 72 75 65 0a 20 20 20 20 72 65  turn True.    re
baa0: 74 75 72 6e 20 46 61 6c 73 65 0a 0a 0a 64 65 66  turn False...def
bab0: 20 67 5f 6d 6f 72 70 68 20 28 64 54 6f 6b 65 6e   g_morph (dToken
bac0: 2c 20 73 50 61 74 74 65 72 6e 2c 20 73 4e 65 67  , sPattern, sNeg
bad0: 50 61 74 74 65 72 6e 3d 22 22 2c 20 6e 4c 65 66  Pattern="", nLef
bae0: 74 3d 4e 6f 6e 65 2c 20 6e 52 69 67 68 74 3d 4e  t=None, nRight=N
baf0: 6f 6e 65 2c 20 62 4d 65 6d 6f 72 69 7a 65 4d 6f  one, bMemorizeMo
bb00: 72 70 68 3d 54 72 75 65 29 3a 0a 20 20 20 20 22  rph=True):.    "
bb10: 61 6e 61 6c 79 73 65 20 61 20 74 6f 6b 65 6e 2c  analyse a token,
bb20: 20 72 65 74 75 72 6e 20 54 72 75 65 20 69 66 20   return True if 
bb30: 3c 73 4e 65 67 50 61 74 74 65 72 6e 3e 20 6e 6f  <sNegPattern> no
bb40: 74 20 69 6e 20 6d 6f 72 70 68 6f 6c 6f 67 69 65  t in morphologie
bb50: 73 20 61 6e 64 20 3c 73 50 61 74 74 65 72 6e 3e  s and <sPattern>
bb60: 20 69 6e 20 6d 6f 72 70 68 6f 6c 6f 67 69 65 73   in morphologies
bb70: 22 0a 20 20 20 20 69 66 20 22 6c 4d 6f 72 70 68  ".    if "lMorph
bb80: 22 20 69 6e 20 64 54 6f 6b 65 6e 3a 0a 20 20 20  " in dToken:.   
bb90: 20 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20 64 54       lMorph = dT
bba0: 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68 22 5d 0a 20  oken["lMorph"]. 
bbb0: 20 20 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20     else:.       
bbc0: 20 69 66 20 6e 4c 65 66 74 20 69 73 20 6e 6f 74   if nLeft is not
bbd0: 20 4e 6f 6e 65 3a 0a 20 20 20 20 20 20 20 20 20   None:.         
bbe0: 20 20 20 6c 4d 6f 72 70 68 20 3d 20 5f 6f 53 70     lMorph = _oSp
bbf0: 65 6c 6c 43 68 65 63 6b 65 72 2e 67 65 74 4d 6f  ellChecker.getMo
bc00: 72 70 68 28 64 54 6f 6b 65 6e 5b 22 73 56 61 6c  rph(dToken["sVal
bc10: 75 65 22 5d 5b 73 6c 69 63 65 28 6e 4c 65 66 74  ue"][slice(nLeft
bc20: 2c 20 6e 52 69 67 68 74 29 5d 29 0a 20 20 20 20  , nRight)]).    
bc30: 20 20 20 20 20 20 20 20 69 66 20 62 4d 65 6d 6f          if bMemo
bc40: 72 69 7a 65 4d 6f 72 70 68 3a 0a 20 20 20 20 20  rizeMorph:.     
bc50: 20 20 20 20 20 20 20 20 20 20 20 64 54 6f 6b 65             dToke
bc60: 6e 5b 22 6c 4d 6f 72 70 68 22 5d 20 3d 20 6c 4d  n["lMorph"] = lM
bc70: 6f 72 70 68 0a 20 20 20 20 20 20 20 20 65 6c 73  orph.        els
bc80: 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 6c  e:.            l
bc90: 4d 6f 72 70 68 20 3d 20 5f 6f 53 70 65 6c 6c 43  Morph = _oSpellC
bca0: 68 65 63 6b 65 72 2e 67 65 74 4d 6f 72 70 68 28  hecker.getMorph(
bcb0: 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65 22 5d  dToken["sValue"]
bcc0: 29 0a 20 20 20 20 69 66 20 6e 6f 74 20 6c 4d 6f  ).    if not lMo
bcd0: 72 70 68 3a 0a 20 20 20 20 20 20 20 20 72 65 74  rph:.        ret
bce0: 75 72 6e 20 46 61 6c 73 65 0a 20 20 20 20 23 20  urn False.    # 
bcf0: 63 68 65 63 6b 20 6e 65 67 61 74 69 76 65 20 63  check negative c
bd00: 6f 6e 64 69 74 69 6f 6e 0a 20 20 20 20 69 66 20  ondition.    if 
bd10: 73 4e 65 67 50 61 74 74 65 72 6e 3a 0a 20 20 20  sNegPattern:.   
bd20: 20 20 20 20 20 69 66 20 73 4e 65 67 50 61 74 74       if sNegPatt
bd30: 65 72 6e 20 3d 3d 20 22 2a 22 3a 0a 20 20 20 20  ern == "*":.    
bd40: 20 20 20 20 20 20 20 20 23 20 61 6c 6c 20 6d 6f          # all mo
bd50: 72 70 68 20 6d 75 73 74 20 6d 61 74 63 68 20 73  rph must match s
bd60: 50 61 74 74 65 72 6e 0a 20 20 20 20 20 20 20 20  Pattern.        
bd70: 20 20 20 20 7a 50 61 74 74 65 72 6e 20 3d 20 72      zPattern = r
bd80: 65 2e 63 6f 6d 70 69 6c 65 28 73 50 61 74 74 65  e.compile(sPatte
bd90: 72 6e 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  rn).            
bda0: 72 65 74 75 72 6e 20 61 6c 6c 28 7a 50 61 74 74  return all(zPatt
bdb0: 65 72 6e 2e 73 65 61 72 63 68 28 73 4d 6f 72 70  ern.search(sMorp
bdc0: 68 29 20 20 66 6f 72 20 73 4d 6f 72 70 68 20 69  h)  for sMorph i
bdd0: 6e 20 6c 4d 6f 72 70 68 29 0a 20 20 20 20 20 20  n lMorph).      
bde0: 20 20 7a 4e 65 67 50 61 74 74 65 72 6e 20 3d 20    zNegPattern = 
bdf0: 72 65 2e 63 6f 6d 70 69 6c 65 28 73 4e 65 67 50  re.compile(sNegP
be00: 61 74 74 65 72 6e 29 0a 20 20 20 20 20 20 20 20  attern).        
be10: 69 66 20 61 6e 79 28 7a 4e 65 67 50 61 74 74 65  if any(zNegPatte
be20: 72 6e 2e 73 65 61 72 63 68 28 73 4d 6f 72 70 68  rn.search(sMorph
be30: 29 20 20 66 6f 72 20 73 4d 6f 72 70 68 20 69 6e  )  for sMorph in
be40: 20 6c 4d 6f 72 70 68 29 3a 0a 20 20 20 20 20 20   lMorph):.      
be50: 20 20 20 20 20 20 72 65 74 75 72 6e 20 46 61 6c        return Fal
be60: 73 65 0a 20 20 20 20 23 20 73 65 61 72 63 68 20  se.    # search 
be70: 73 50 61 74 74 65 72 6e 0a 20 20 20 20 7a 50 61  sPattern.    zPa
be80: 74 74 65 72 6e 20 3d 20 72 65 2e 63 6f 6d 70 69  ttern = re.compi
be90: 6c 65 28 73 50 61 74 74 65 72 6e 29 0a 20 20 20  le(sPattern).   
bea0: 20 72 65 74 75 72 6e 20 61 6e 79 28 7a 50 61 74   return any(zPat
beb0: 74 65 72 6e 2e 73 65 61 72 63 68 28 73 4d 6f 72  tern.search(sMor
bec0: 70 68 29 20 20 66 6f 72 20 73 4d 6f 72 70 68 20  ph)  for sMorph 
bed0: 69 6e 20 6c 4d 6f 72 70 68 29 0a 0a 0a 64 65 66  in lMorph)...def
bee0: 20 67 5f 61 6e 61 6c 79 73 65 20 28 64 54 6f 6b   g_analyse (dTok
bef0: 65 6e 2c 20 73 50 61 74 74 65 72 6e 2c 20 73 4e  en, sPattern, sN
bf00: 65 67 50 61 74 74 65 72 6e 3d 22 22 2c 20 6e 4c  egPattern="", nL
bf10: 65 66 74 3d 4e 6f 6e 65 2c 20 6e 52 69 67 68 74  eft=None, nRight
bf20: 3d 4e 6f 6e 65 2c 20 62 4d 65 6d 6f 72 69 7a 65  =None, bMemorize
bf30: 4d 6f 72 70 68 3d 54 72 75 65 29 3a 0a 20 20 20  Morph=True):.   
bf40: 20 22 61 6e 61 6c 79 73 65 20 61 20 74 6f 6b 65   "analyse a toke
bf50: 6e 2c 20 72 65 74 75 72 6e 20 54 72 75 65 20 69  n, return True i
bf60: 66 20 3c 73 4e 65 67 50 61 74 74 65 72 6e 3e 20  f <sNegPattern> 
bf70: 6e 6f 74 20 69 6e 20 6d 6f 72 70 68 6f 6c 6f 67  not in morpholog
bf80: 69 65 73 20 61 6e 64 20 3c 73 50 61 74 74 65 72  ies and <sPatter
bf90: 6e 3e 20 69 6e 20 6d 6f 72 70 68 6f 6c 6f 67 69  n> in morphologi
bfa0: 65 73 20 28 64 69 73 61 6d 62 69 67 75 61 74 69  es (disambiguati
bfb0: 6f 6e 20 6f 66 66 29 22 0a 20 20 20 20 69 66 20  on off)".    if 
bfc0: 6e 4c 65 66 74 20 69 73 20 6e 6f 74 20 4e 6f 6e  nLeft is not Non
bfd0: 65 3a 0a 20 20 20 20 20 20 20 20 6c 4d 6f 72 70  e:.        lMorp
bfe0: 68 20 3d 20 5f 6f 53 70 65 6c 6c 43 68 65 63 6b  h = _oSpellCheck
bff0: 65 72 2e 67 65 74 4d 6f 72 70 68 28 64 54 6f 6b  er.getMorph(dTok
c000: 65 6e 5b 22 73 56 61 6c 75 65 22 5d 5b 73 6c 69  en["sValue"][sli
c010: 63 65 28 6e 4c 65 66 74 2c 20 6e 52 69 67 68 74  ce(nLeft, nRight
c020: 29 5d 29 0a 20 20 20 20 20 20 20 20 69 66 20 62  )]).        if b
c030: 4d 65 6d 6f 72 69 7a 65 4d 6f 72 70 68 3a 0a 20  MemorizeMorph:. 
c040: 20 20 20 20 20 20 20 20 20 20 20 64 54 6f 6b 65             dToke
c050: 6e 5b 22 6c 4d 6f 72 70 68 22 5d 20 3d 20 6c 4d  n["lMorph"] = lM
c060: 6f 72 70 68 0a 20 20 20 20 65 6c 73 65 3a 0a 20  orph.    else:. 
c070: 20 20 20 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20         lMorph = 
c080: 5f 6f 53 70 65 6c 6c 43 68 65 63 6b 65 72 2e 67  _oSpellChecker.g
c090: 65 74 4d 6f 72 70 68 28 64 54 6f 6b 65 6e 5b 22  etMorph(dToken["
c0a0: 73 56 61 6c 75 65 22 5d 29 0a 20 20 20 20 69 66  sValue"]).    if
c0b0: 20 6e 6f 74 20 6c 4d 6f 72 70 68 3a 0a 20 20 20   not lMorph:.   
c0c0: 20 20 20 20 20 72 65 74 75 72 6e 20 46 61 6c 73       return Fals
c0d0: 65 0a 20 20 20 20 23 20 63 68 65 63 6b 20 6e 65  e.    # check ne
c0e0: 67 61 74 69 76 65 20 63 6f 6e 64 69 74 69 6f 6e  gative condition
c0f0: 0a 20 20 20 20 69 66 20 73 4e 65 67 50 61 74 74  .    if sNegPatt
c100: 65 72 6e 3a 0a 20 20 20 20 20 20 20 20 69 66 20  ern:.        if 
c110: 73 4e 65 67 50 61 74 74 65 72 6e 20 3d 3d 20 22  sNegPattern == "
c120: 2a 22 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  *":.            
c130: 23 20 61 6c 6c 20 6d 6f 72 70 68 20 6d 75 73 74  # all morph must
c140: 20 6d 61 74 63 68 20 73 50 61 74 74 65 72 6e 0a   match sPattern.
c150: 20 20 20 20 20 20 20 20 20 20 20 20 7a 50 61 74              zPat
c160: 74 65 72 6e 20 3d 20 72 65 2e 63 6f 6d 70 69 6c  tern = re.compil
c170: 65 28 73 50 61 74 74 65 72 6e 29 0a 20 20 20 20  e(sPattern).    
c180: 20 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 61          return a
c190: 6c 6c 28 7a 50 61 74 74 65 72 6e 2e 73 65 61 72  ll(zPattern.sear
c1a0: 63 68 28 73 4d 6f 72 70 68 29 20 20 66 6f 72 20  ch(sMorph)  for 
c1b0: 73 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68  sMorph in lMorph
c1c0: 29 0a 20 20 20 20 20 20 20 20 7a 4e 65 67 50 61  ).        zNegPa
c1d0: 74 74 65 72 6e 20 3d 20 72 65 2e 63 6f 6d 70 69  ttern = re.compi
c1e0: 6c 65 28 73 4e 65 67 50 61 74 74 65 72 6e 29 0a  le(sNegPattern).
c1f0: 20 20 20 20 20 20 20 20 69 66 20 61 6e 79 28 7a          if any(z
c200: 4e 65 67 50 61 74 74 65 72 6e 2e 73 65 61 72 63  NegPattern.searc
c210: 68 28 73 4d 6f 72 70 68 29 20 20 66 6f 72 20 73  h(sMorph)  for s
c220: 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 29  Morph in lMorph)
c230: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 72 65  :.            re
c240: 74 75 72 6e 20 46 61 6c 73 65 0a 20 20 20 20 23  turn False.    #
c250: 20 73 65 61 72 63 68 20 73 50 61 74 74 65 72 6e   search sPattern
c260: 0a 20 20 20 20 7a 50 61 74 74 65 72 6e 20 3d 20  .    zPattern = 
c270: 72 65 2e 63 6f 6d 70 69 6c 65 28 73 50 61 74 74  re.compile(sPatt
c280: 65 72 6e 29 0a 20 20 20 20 72 65 74 75 72 6e 20  ern).    return 
c290: 61 6e 79 28 7a 50 61 74 74 65 72 6e 2e 73 65 61  any(zPattern.sea
c2a0: 72 63 68 28 73 4d 6f 72 70 68 29 20 20 66 6f 72  rch(sMorph)  for
c2b0: 20 73 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70   sMorph in lMorp
c2c0: 68 29 0a 0a 0a 64 65 66 20 67 5f 6d 65 72 67 65  h)...def g_merge
c2d0: 64 5f 61 6e 61 6c 79 73 65 20 28 64 54 6f 6b 65  d_analyse (dToke
c2e0: 6e 31 2c 20 64 54 6f 6b 65 6e 32 2c 20 63 4d 65  n1, dToken2, cMe
c2f0: 72 67 65 72 2c 20 73 50 61 74 74 65 72 6e 2c 20  rger, sPattern, 
c300: 73 4e 65 67 50 61 74 74 65 72 6e 3d 22 22 2c 20  sNegPattern="", 
c310: 62 53 65 74 4d 6f 72 70 68 3d 54 72 75 65 29 3a  bSetMorph=True):
c320: 0a 20 20 20 20 22 6d 65 72 67 65 20 74 77 6f 20  .    "merge two 
c330: 74 6f 6b 65 6e 20 76 61 6c 75 65 73 2c 20 72 65  token values, re
c340: 74 75 72 6e 20 54 72 75 65 20 69 66 20 3c 73 4e  turn True if <sN
c350: 65 67 50 61 74 74 65 72 6e 3e 20 6e 6f 74 20 69  egPattern> not i
c360: 6e 20 6d 6f 72 70 68 6f 6c 6f 67 69 65 73 20 61  n morphologies a
c370: 6e 64 20 3c 73 50 61 74 74 65 72 6e 3e 20 69 6e  nd <sPattern> in
c380: 20 6d 6f 72 70 68 6f 6c 6f 67 69 65 73 20 28 64   morphologies (d
c390: 69 73 61 6d 62 69 67 75 61 74 69 6f 6e 20 6f 66  isambiguation of
c3a0: 66 29 22 0a 20 20 20 20 6c 4d 6f 72 70 68 20 3d  f)".    lMorph =
c3b0: 20 5f 6f 53 70 65 6c 6c 43 68 65 63 6b 65 72 2e   _oSpellChecker.
c3c0: 67 65 74 4d 6f 72 70 68 28 64 54 6f 6b 65 6e 31  getMorph(dToken1
c3d0: 5b 22 73 56 61 6c 75 65 22 5d 20 2b 20 63 4d 65  ["sValue"] + cMe
c3e0: 72 67 65 72 20 2b 20 64 54 6f 6b 65 6e 32 5b 22  rger + dToken2["
c3f0: 73 56 61 6c 75 65 22 5d 29 0a 20 20 20 20 69 66  sValue"]).    if
c400: 20 6e 6f 74 20 6c 4d 6f 72 70 68 3a 0a 20 20 20   not lMorph:.   
c410: 20 20 20 20 20 72 65 74 75 72 6e 20 46 61 6c 73       return Fals
c420: 65 0a 20 20 20 20 23 20 63 68 65 63 6b 20 6e 65  e.    # check ne
c430: 67 61 74 69 76 65 20 63 6f 6e 64 69 74 69 6f 6e  gative condition
c440: 0a 20 20 20 20 69 66 20 73 4e 65 67 50 61 74 74  .    if sNegPatt
c450: 65 72 6e 3a 0a 20 20 20 20 20 20 20 20 69 66 20  ern:.        if 
c460: 73 4e 65 67 50 61 74 74 65 72 6e 20 3d 3d 20 22  sNegPattern == "
c470: 2a 22 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  *":.            
c480: 23 20 61 6c 6c 20 6d 6f 72 70 68 20 6d 75 73 74  # all morph must
c490: 20 6d 61 74 63 68 20 73 50 61 74 74 65 72 6e 0a   match sPattern.
c4a0: 20 20 20 20 20 20 20 20 20 20 20 20 7a 50 61 74              zPat
c4b0: 74 65 72 6e 20 3d 20 72 65 2e 63 6f 6d 70 69 6c  tern = re.compil
c4c0: 65 28 73 50 61 74 74 65 72 6e 29 0a 20 20 20 20  e(sPattern).    
c4d0: 20 20 20 20 20 20 20 20 62 52 65 73 75 6c 74 20          bResult 
c4e0: 3d 20 61 6c 6c 28 7a 50 61 74 74 65 72 6e 2e 73  = all(zPattern.s
c4f0: 65 61 72 63 68 28 73 4d 6f 72 70 68 29 20 20 66  earch(sMorph)  f
c500: 6f 72 20 73 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f  or sMorph in lMo
c510: 72 70 68 29 0a 20 20 20 20 20 20 20 20 20 20 20  rph).           
c520: 20 69 66 20 62 52 65 73 75 6c 74 20 61 6e 64 20   if bResult and 
c530: 62 53 65 74 4d 6f 72 70 68 3a 0a 20 20 20 20 20  bSetMorph:.     
c540: 20 20 20 20 20 20 20 20 20 20 20 64 54 6f 6b 65             dToke
c550: 6e 31 5b 22 6c 4d 6f 72 70 68 22 5d 20 3d 20 6c  n1["lMorph"] = l
c560: 4d 6f 72 70 68 0a 20 20 20 20 20 20 20 20 20 20  Morph.          
c570: 20 20 72 65 74 75 72 6e 20 62 52 65 73 75 6c 74    return bResult
c580: 0a 20 20 20 20 20 20 20 20 7a 4e 65 67 50 61 74  .        zNegPat
c590: 74 65 72 6e 20 3d 20 72 65 2e 63 6f 6d 70 69 6c  tern = re.compil
c5a0: 65 28 73 4e 65 67 50 61 74 74 65 72 6e 29 0a 20  e(sNegPattern). 
c5b0: 20 20 20 20 20 20 20 69 66 20 61 6e 79 28 7a 4e         if any(zN
c5c0: 65 67 50 61 74 74 65 72 6e 2e 73 65 61 72 63 68  egPattern.search
c5d0: 28 73 4d 6f 72 70 68 29 20 20 66 6f 72 20 73 4d  (sMorph)  for sM
c5e0: 6f 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 29 3a  orph in lMorph):
c5f0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 72 65 74  .            ret
c600: 75 72 6e 20 46 61 6c 73 65 0a 20 20 20 20 23 20  urn False.    # 
c610: 73 65 61 72 63 68 20 73 50 61 74 74 65 72 6e 0a  search sPattern.
c620: 20 20 20 20 7a 50 61 74 74 65 72 6e 20 3d 20 72      zPattern = r
c630: 65 2e 63 6f 6d 70 69 6c 65 28 73 50 61 74 74 65  e.compile(sPatte
c640: 72 6e 29 0a 20 20 20 20 62 52 65 73 75 6c 74 20  rn).    bResult 
c650: 3d 20 61 6e 79 28 7a 50 61 74 74 65 72 6e 2e 73  = any(zPattern.s
c660: 65 61 72 63 68 28 73 4d 6f 72 70 68 29 20 20 66  earch(sMorph)  f
c670: 6f 72 20 73 4d 6f 72 70 68 20 69 6e 20 6c 4d 6f  or sMorph in lMo
c680: 72 70 68 29 0a 20 20 20 20 69 66 20 62 52 65 73  rph).    if bRes
c690: 75 6c 74 20 61 6e 64 20 62 53 65 74 4d 6f 72 70  ult and bSetMorp
c6a0: 68 3a 0a 20 20 20 20 20 20 20 20 64 54 6f 6b 65  h:.        dToke
c6b0: 6e 31 5b 22 6c 4d 6f 72 70 68 22 5d 20 3d 20 6c  n1["lMorph"] = l
c6c0: 4d 6f 72 70 68 0a 20 20 20 20 72 65 74 75 72 6e  Morph.    return
c6d0: 20 62 52 65 73 75 6c 74 0a 0a 0a 64 65 66 20 67   bResult...def g
c6e0: 5f 74 61 67 5f 62 65 66 6f 72 65 20 28 64 54 6f  _tag_before (dTo
c6f0: 6b 65 6e 2c 20 64 54 61 67 73 2c 20 73 54 61 67  ken, dTags, sTag
c700: 29 3a 0a 20 20 20 20 22 72 65 74 75 72 6e 73 20  ):.    "returns 
c710: 54 72 75 65 20 69 66 20 3c 73 54 61 67 3e 20 69  True if <sTag> i
c720: 73 20 70 72 65 73 65 6e 74 20 6f 6e 20 74 6f 6b  s present on tok
c730: 65 6e 73 20 62 65 66 6f 72 65 20 3c 64 54 6f 6b  ens before <dTok
c740: 65 6e 3e 22 0a 20 20 20 20 69 66 20 73 54 61 67  en>".    if sTag
c750: 20 6e 6f 74 20 69 6e 20 64 54 61 67 73 3a 0a 20   not in dTags:. 
c760: 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 46 61         return Fa
c770: 6c 73 65 0a 20 20 20 20 69 66 20 64 54 6f 6b 65  lse.    if dToke
c780: 6e 5b 22 69 22 5d 20 3e 20 64 54 61 67 73 5b 73  n["i"] > dTags[s
c790: 54 61 67 5d 5b 30 5d 3a 0a 20 20 20 20 20 20 20  Tag][0]:.       
c7a0: 20 72 65 74 75 72 6e 20 54 72 75 65 0a 20 20 20   return True.   
c7b0: 20 72 65 74 75 72 6e 20 46 61 6c 73 65 0a 0a 0a   return False...
c7c0: 64 65 66 20 67 5f 74 61 67 5f 61 66 74 65 72 20  def g_tag_after 
c7d0: 28 64 54 6f 6b 65 6e 2c 20 64 54 61 67 73 2c 20  (dToken, dTags, 
c7e0: 73 54 61 67 29 3a 0a 20 20 20 20 22 72 65 74 75  sTag):.    "retu
c7f0: 72 6e 73 20 54 72 75 65 20 69 66 20 3c 73 54 61  rns True if <sTa
c800: 67 3e 20 69 73 20 70 72 65 73 65 6e 74 20 6f 6e  g> is present on
c810: 20 74 6f 6b 65 6e 73 20 61 66 74 65 72 20 3c 64   tokens after <d
c820: 54 6f 6b 65 6e 3e 22 0a 20 20 20 20 69 66 20 73  Token>".    if s
c830: 54 61 67 20 6e 6f 74 20 69 6e 20 64 54 61 67 73  Tag not in dTags
c840: 3a 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e  :.        return
c850: 20 46 61 6c 73 65 0a 20 20 20 20 69 66 20 64 54   False.    if dT
c860: 6f 6b 65 6e 5b 22 69 22 5d 20 3c 20 64 54 61 67  oken["i"] < dTag
c870: 73 5b 73 54 61 67 5d 5b 31 5d 3a 0a 20 20 20 20  s[sTag][1]:.    
c880: 20 20 20 20 72 65 74 75 72 6e 20 54 72 75 65 0a      return True.
c890: 20 20 20 20 72 65 74 75 72 6e 20 46 61 6c 73 65      return False
c8a0: 0a 0a 0a 64 65 66 20 67 5f 74 61 67 20 28 64 54  ...def g_tag (dT
c8b0: 6f 6b 65 6e 2c 20 73 54 61 67 29 3a 0a 20 20 20  oken, sTag):.   
c8c0: 20 22 72 65 74 75 72 6e 73 20 54 72 75 65 20 69   "returns True i
c8d0: 66 20 3c 73 54 61 67 3e 20 69 73 20 70 72 65 73  f <sTag> is pres
c8e0: 65 6e 74 20 6f 6e 20 74 6f 6b 65 6e 20 3c 64 54  ent on token <dT
c8f0: 6f 6b 65 6e 3e 22 0a 20 20 20 20 72 65 74 75 72  oken>".    retur
c900: 6e 20 22 61 54 61 67 73 22 20 69 6e 20 64 54 6f  n "aTags" in dTo
c910: 6b 65 6e 20 61 6e 64 20 73 54 61 67 20 69 6e 20  ken and sTag in 
c920: 64 54 6f 6b 65 6e 5b 22 61 54 61 67 73 22 5d 0a  dToken["aTags"].
c930: 0a 0a 64 65 66 20 67 5f 6d 65 74 61 20 28 64 54  ..def g_meta (dT
c940: 6f 6b 65 6e 2c 20 73 54 79 70 65 29 3a 0a 20 20  oken, sType):.  
c950: 20 20 22 72 65 74 75 72 6e 73 20 54 72 75 65 20    "returns True 
c960: 69 66 20 3c 73 54 79 70 65 3e 20 69 73 20 65 71  if <sType> is eq
c970: 75 61 6c 20 74 6f 20 74 68 65 20 74 6f 6b 65 6e  ual to the token
c980: 20 74 79 70 65 22 0a 20 20 20 20 72 65 74 75 72   type".    retur
c990: 6e 20 64 54 6f 6b 65 6e 5b 22 73 54 79 70 65 22  n dToken["sType"
c9a0: 5d 20 3d 3d 20 73 54 79 70 65 0a 0a 0a 64 65 66  ] == sType...def
c9b0: 20 67 5f 73 70 61 63 65 5f 62 65 74 77 65 65 6e   g_space_between
c9c0: 5f 74 6f 6b 65 6e 73 20 28 64 54 6f 6b 65 6e 31  _tokens (dToken1
c9d0: 2c 20 64 54 6f 6b 65 6e 32 2c 20 6e 4d 69 6e 2c  , dToken2, nMin,
c9e0: 20 6e 4d 61 78 3d 4e 6f 6e 65 29 3a 0a 20 20 20   nMax=None):.   
c9f0: 20 22 63 68 65 63 6b 73 20 69 66 20 73 70 61 63   "checks if spac
ca00: 65 73 20 62 65 74 77 65 65 6e 20 74 6f 6b 65 6e  es between token
ca10: 73 20 69 73 20 3e 3d 20 3c 6e 4d 69 6e 3e 20 61  s is >= <nMin> a
ca20: 6e 64 20 3c 3d 20 3c 6e 4d 61 78 3e 22 0a 20 20  nd <= <nMax>".  
ca30: 20 20 6e 53 70 61 63 65 20 3d 20 64 54 6f 6b 65    nSpace = dToke
ca40: 6e 32 5b 22 6e 53 74 61 72 74 22 5d 20 2d 20 64  n2["nStart"] - d
ca50: 54 6f 6b 65 6e 31 5b 22 6e 45 6e 64 22 5d 0a 20  Token1["nEnd"]. 
ca60: 20 20 20 69 66 20 6e 53 70 61 63 65 20 3c 20 6e     if nSpace < n
ca70: 4d 69 6e 3a 0a 20 20 20 20 20 20 20 20 72 65 74  Min:.        ret
ca80: 75 72 6e 20 46 61 6c 73 65 0a 20 20 20 20 69 66  urn False.    if
ca90: 20 6e 4d 61 78 20 69 73 20 6e 6f 74 20 4e 6f 6e   nMax is not Non
caa0: 65 20 61 6e 64 20 6e 53 70 61 63 65 20 3e 20 6e  e and nSpace > n
cab0: 4d 61 78 3a 0a 20 20 20 20 20 20 20 20 72 65 74  Max:.        ret
cac0: 75 72 6e 20 46 61 6c 73 65 0a 20 20 20 20 72 65  urn False.    re
cad0: 74 75 72 6e 20 54 72 75 65 0a 0a 0a 64 65 66 20  turn True...def 
cae0: 67 5f 74 6f 6b 65 6e 20 28 6c 54 6f 6b 65 6e 2c  g_token (lToken,
caf0: 20 69 29 3a 0a 20 20 20 20 22 72 65 74 75 72 6e   i):.    "return
cb00: 20 74 6f 6b 65 6e 20 61 74 20 69 6e 64 65 78 20   token at index 
cb10: 3c 69 3e 20 69 6e 20 6c 54 6f 6b 65 6e 20 28 6f  <i> in lToken (o
cb20: 72 20 74 68 65 20 63 6c 6f 73 65 73 74 20 6f 6e  r the closest on
cb30: 65 29 22 0a 20 20 20 20 69 66 20 69 20 3c 20 30  e)".    if i < 0
cb40: 3a 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e  :.        return
cb50: 20 6c 54 6f 6b 65 6e 5b 30 5d 0a 20 20 20 20 69   lToken[0].    i
cb60: 66 20 69 20 3e 3d 20 6c 65 6e 28 6c 54 6f 6b 65  f i >= len(lToke
cb70: 6e 29 3a 0a 20 20 20 20 20 20 20 20 72 65 74 75  n):.        retu
cb80: 72 6e 20 6c 54 6f 6b 65 6e 5b 2d 31 5d 0a 20 20  rn lToken[-1].  
cb90: 20 20 72 65 74 75 72 6e 20 6c 54 6f 6b 65 6e 5b    return lToken[
cba0: 69 5d 0a 0a 0a 0a 23 23 23 23 20 44 69 73 61 6d  i]....#### Disam
cbb0: 62 69 67 75 61 74 6f 72 20 66 6f 72 20 72 65 67  biguator for reg
cbc0: 65 78 20 72 75 6c 65 73 0a 0a 64 65 66 20 73 65  ex rules..def se
cbd0: 6c 65 63 74 20 28 64 54 6f 6b 65 6e 50 6f 73 2c  lect (dTokenPos,
cbe0: 20 6e 50 6f 73 2c 20 73 57 6f 72 64 2c 20 73 50   nPos, sWord, sP
cbf0: 61 74 74 65 72 6e 2c 20 6c 44 65 66 61 75 6c 74  attern, lDefault
cc00: 3d 4e 6f 6e 65 29 3a 0a 20 20 20 20 22 44 69 73  =None):.    "Dis
cc10: 61 6d 62 69 67 75 61 74 69 6f 6e 3a 20 73 65 6c  ambiguation: sel
cc20: 65 63 74 20 6d 6f 72 70 68 6f 6c 6f 67 69 65 73  ect morphologies
cc30: 20 6f 66 20 3c 73 57 6f 72 64 3e 20 6d 61 74 63   of <sWord> matc
cc40: 68 69 6e 67 20 3c 73 50 61 74 74 65 72 6e 3e 22  hing <sPattern>"
cc50: 0a 20 20 20 20 69 66 20 6e 6f 74 20 73 57 6f 72  .    if not sWor
cc60: 64 3a 0a 20 20 20 20 20 20 20 20 72 65 74 75 72  d:.        retur
cc70: 6e 20 54 72 75 65 0a 20 20 20 20 69 66 20 6e 50  n True.    if nP
cc80: 6f 73 20 6e 6f 74 20 69 6e 20 64 54 6f 6b 65 6e  os not in dToken
cc90: 50 6f 73 3a 0a 20 20 20 20 20 20 20 20 65 63 68  Pos:.        ech
cca0: 6f 28 22 45 72 72 6f 72 2e 20 54 68 65 72 65 20  o("Error. There 
ccb0: 73 68 6f 75 6c 64 20 62 65 20 61 20 74 6f 6b 65  should be a toke
ccc0: 6e 20 61 74 20 74 68 69 73 20 70 6f 73 69 74 69  n at this positi
ccd0: 6f 6e 3a 20 22 2c 20 6e 50 6f 73 29 0a 20 20 20  on: ", nPos).   
cce0: 20 20 20 20 20 72 65 74 75 72 6e 20 54 72 75 65       return True
ccf0: 0a 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20 5f 6f  .    lMorph = _o
cd00: 53 70 65 6c 6c 43 68 65 63 6b 65 72 2e 67 65 74  SpellChecker.get
cd10: 4d 6f 72 70 68 28 73 57 6f 72 64 29 0a 20 20 20  Morph(sWord).   
cd20: 20 69 66 20 6e 6f 74 20 6c 4d 6f 72 70 68 20 6f   if not lMorph o
cd30: 72 20 6c 65 6e 28 6c 4d 6f 72 70 68 29 20 3d 3d  r len(lMorph) ==
cd40: 20 31 3a 0a 20 20 20 20 20 20 20 20 72 65 74 75   1:.        retu
cd50: 72 6e 20 54 72 75 65 0a 20 20 20 20 6c 53 65 6c  rn True.    lSel
cd60: 65 63 74 20 3d 20 5b 20 73 4d 6f 72 70 68 20 20  ect = [ sMorph  
cd70: 66 6f 72 20 73 4d 6f 72 70 68 20 69 6e 20 6c 4d  for sMorph in lM
cd80: 6f 72 70 68 20 20 69 66 20 72 65 2e 73 65 61 72  orph  if re.sear
cd90: 63 68 28 73 50 61 74 74 65 72 6e 2c 20 73 4d 6f  ch(sPattern, sMo
cda0: 72 70 68 29 20 5d 0a 20 20 20 20 69 66 20 6c 53  rph) ].    if lS
cdb0: 65 6c 65 63 74 3a 0a 20 20 20 20 20 20 20 20 69  elect:.        i
cdc0: 66 20 6c 65 6e 28 6c 53 65 6c 65 63 74 29 20 21  f len(lSelect) !
cdd0: 3d 20 6c 65 6e 28 6c 4d 6f 72 70 68 29 3a 0a 20  = len(lMorph):. 
cde0: 20 20 20 20 20 20 20 20 20 20 20 64 54 6f 6b 65             dToke
cdf0: 6e 50 6f 73 5b 6e 50 6f 73 5d 5b 22 6c 4d 6f 72  nPos[nPos]["lMor
ce00: 70 68 22 5d 20 3d 20 6c 53 65 6c 65 63 74 0a 20  ph"] = lSelect. 
ce10: 20 20 20 65 6c 69 66 20 6c 44 65 66 61 75 6c 74     elif lDefault
ce20: 3a 0a 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e  :.        dToken
ce30: 50 6f 73 5b 6e 50 6f 73 5d 5b 22 6c 4d 6f 72 70  Pos[nPos]["lMorp
ce40: 68 22 5d 20 3d 20 6c 44 65 66 61 75 6c 74 0a 20  h"] = lDefault. 
ce50: 20 20 20 72 65 74 75 72 6e 20 54 72 75 65 0a 0a     return True..
ce60: 0a 64 65 66 20 65 78 63 6c 75 64 65 20 28 64 54  .def exclude (dT
ce70: 6f 6b 65 6e 50 6f 73 2c 20 6e 50 6f 73 2c 20 73  okenPos, nPos, s
ce80: 57 6f 72 64 2c 20 73 50 61 74 74 65 72 6e 2c 20  Word, sPattern, 
ce90: 6c 44 65 66 61 75 6c 74 3d 4e 6f 6e 65 29 3a 0a  lDefault=None):.
cea0: 20 20 20 20 22 44 69 73 61 6d 62 69 67 75 61 74      "Disambiguat
ceb0: 69 6f 6e 3a 20 65 78 63 6c 75 64 65 20 6d 6f 72  ion: exclude mor
cec0: 70 68 6f 6c 6f 67 69 65 73 20 6f 66 20 3c 73 57  phologies of <sW
ced0: 6f 72 64 3e 20 6d 61 74 63 68 69 6e 67 20 3c 73  ord> matching <s
cee0: 50 61 74 74 65 72 6e 3e 22 0a 20 20 20 20 69 66  Pattern>".    if
cef0: 20 6e 6f 74 20 73 57 6f 72 64 3a 0a 20 20 20 20   not sWord:.    
cf00: 20 20 20 20 72 65 74 75 72 6e 20 54 72 75 65 0a      return True.
cf10: 20 20 20 20 69 66 20 6e 50 6f 73 20 6e 6f 74 20      if nPos not 
cf20: 69 6e 20 64 54 6f 6b 65 6e 50 6f 73 3a 0a 20 20  in dTokenPos:.  
cf30: 20 20 20 20 20 20 65 63 68 6f 28 22 45 72 72 6f        echo("Erro
cf40: 72 2e 20 54 68 65 72 65 20 73 68 6f 75 6c 64 20  r. There should 
cf50: 62 65 20 61 20 74 6f 6b 65 6e 20 61 74 20 74 68  be a token at th
cf60: 69 73 20 70 6f 73 69 74 69 6f 6e 3a 20 22 2c 20  is position: ", 
cf70: 6e 50 6f 73 29 0a 20 20 20 20 20 20 20 20 72 65  nPos).        re
cf80: 74 75 72 6e 20 54 72 75 65 0a 20 20 20 20 6c 4d  turn True.    lM
cf90: 6f 72 70 68 20 3d 20 5f 6f 53 70 65 6c 6c 43 68  orph = _oSpellCh
cfa0: 65 63 6b 65 72 2e 67 65 74 4d 6f 72 70 68 28 73  ecker.getMorph(s
cfb0: 57 6f 72 64 29 0a 20 20 20 20 69 66 20 6e 6f 74  Word).    if not
cfc0: 20 6c 4d 6f 72 70 68 20 6f 72 20 6c 65 6e 28 6c   lMorph or len(l
cfd0: 4d 6f 72 70 68 29 20 3d 3d 20 31 3a 0a 20 20 20  Morph) == 1:.   
cfe0: 20 20 20 20 20 72 65 74 75 72 6e 20 54 72 75 65       return True
cff0: 0a 20 20 20 20 6c 53 65 6c 65 63 74 20 3d 20 5b  .    lSelect = [
d000: 20 73 4d 6f 72 70 68 20 20 66 6f 72 20 73 4d 6f   sMorph  for sMo
d010: 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 20 20 69  rph in lMorph  i
d020: 66 20 6e 6f 74 20 72 65 2e 73 65 61 72 63 68 28  f not re.search(
d030: 73 50 61 74 74 65 72 6e 2c 20 73 4d 6f 72 70 68  sPattern, sMorph
d040: 29 20 5d 0a 20 20 20 20 69 66 20 6c 53 65 6c 65  ) ].    if lSele
d050: 63 74 3a 0a 20 20 20 20 20 20 20 20 69 66 20 6c  ct:.        if l
d060: 65 6e 28 6c 53 65 6c 65 63 74 29 20 21 3d 20 6c  en(lSelect) != l
d070: 65 6e 28 6c 4d 6f 72 70 68 29 3a 0a 20 20 20 20  en(lMorph):.    
d080: 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 50 6f          dTokenPo
d090: 73 5b 6e 50 6f 73 5d 5b 22 6c 4d 6f 72 70 68 22  s[nPos]["lMorph"
d0a0: 5d 20 3d 20 6c 53 65 6c 65 63 74 0a 20 20 20 20  ] = lSelect.    
d0b0: 65 6c 69 66 20 6c 44 65 66 61 75 6c 74 3a 0a 20  elif lDefault:. 
d0c0: 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 50 6f 73         dTokenPos
d0d0: 5b 6e 50 6f 73 5d 5b 22 6c 4d 6f 72 70 68 22 5d  [nPos]["lMorph"]
d0e0: 20 3d 20 6c 44 65 66 61 75 6c 74 0a 20 20 20 20   = lDefault.    
d0f0: 72 65 74 75 72 6e 20 54 72 75 65 0a 0a 0a 64 65  return True...de
d100: 66 20 64 65 66 69 6e 65 20 28 64 54 6f 6b 65 6e  f define (dToken
d110: 50 6f 73 2c 20 6e 50 6f 73 2c 20 6c 4d 6f 72 70  Pos, nPos, lMorp
d120: 68 29 3a 0a 20 20 20 20 22 44 69 73 61 6d 62 69  h):.    "Disambi
d130: 67 75 61 74 69 6f 6e 3a 20 73 65 74 20 6d 6f 72  guation: set mor
d140: 70 68 6f 6c 6f 67 69 65 73 20 6f 66 20 74 6f 6b  phologies of tok
d150: 65 6e 20 61 74 20 3c 6e 50 6f 73 3e 20 77 69 74  en at <nPos> wit
d160: 68 20 3c 6c 4d 6f 72 70 68 3e 22 0a 20 20 20 20  h <lMorph>".    
d170: 69 66 20 6e 50 6f 73 20 6e 6f 74 20 69 6e 20 64  if nPos not in d
d180: 54 6f 6b 65 6e 50 6f 73 3a 0a 20 20 20 20 20 20  TokenPos:.      
d190: 20 20 65 63 68 6f 28 22 45 72 72 6f 72 2e 20 54    echo("Error. T
d1a0: 68 65 72 65 20 73 68 6f 75 6c 64 20 62 65 20 61  here should be a
d1b0: 20 74 6f 6b 65 6e 20 61 74 20 74 68 69 73 20 70   token at this p
d1c0: 6f 73 69 74 69 6f 6e 3a 20 22 2c 20 6e 50 6f 73  osition: ", nPos
d1d0: 29 0a 20 20 20 20 20 20 20 20 72 65 74 75 72 6e  ).        return
d1e0: 20 54 72 75 65 0a 20 20 20 20 64 54 6f 6b 65 6e   True.    dToken
d1f0: 50 6f 73 5b 6e 50 6f 73 5d 5b 22 6c 4d 6f 72 70  Pos[nPos]["lMorp
d200: 68 22 5d 20 3d 20 6c 4d 6f 72 70 68 0a 20 20 20  h"] = lMorph.   
d210: 20 72 65 74 75 72 6e 20 54 72 75 65 0a 0a 0a 23   return True...#
d220: 23 23 23 20 44 69 73 61 6d 62 69 67 75 61 74 69  ### Disambiguati
d230: 6f 6e 20 66 6f 72 20 67 72 61 70 68 20 72 75 6c  on for graph rul
d240: 65 73 0a 0a 64 65 66 20 67 5f 73 65 6c 65 63 74  es..def g_select
d250: 20 28 64 54 6f 6b 65 6e 2c 20 73 50 61 74 74 65   (dToken, sPatte
d260: 72 6e 2c 20 6c 44 65 66 61 75 6c 74 3d 4e 6f 6e  rn, lDefault=Non
d270: 65 29 3a 0a 20 20 20 20 22 44 69 73 61 6d 62 69  e):.    "Disambi
d280: 67 75 61 74 69 6f 6e 3a 20 73 65 6c 65 63 74 20  guation: select 
d290: 6d 6f 72 70 68 6f 6c 6f 67 69 65 73 20 66 6f 72  morphologies for
d2a0: 20 3c 64 54 6f 6b 65 6e 3e 20 61 63 63 6f 72 64   <dToken> accord
d2b0: 69 6e 67 20 74 6f 20 3c 73 50 61 74 74 65 72 6e  ing to <sPattern
d2c0: 3e 2c 20 61 6c 77 61 79 73 20 72 65 74 75 72 6e  >, always return
d2d0: 20 54 72 75 65 22 0a 20 20 20 20 6c 4d 6f 72 70   True".    lMorp
d2e0: 68 20 3d 20 64 54 6f 6b 65 6e 5b 22 6c 4d 6f 72  h = dToken["lMor
d2f0: 70 68 22 5d 20 20 69 66 20 22 6c 4d 6f 72 70 68  ph"]  if "lMorph
d300: 22 20 69 6e 20 64 54 6f 6b 65 6e 20 20 65 6c 73  " in dToken  els
d310: 65 20 5f 6f 53 70 65 6c 6c 43 68 65 63 6b 65 72  e _oSpellChecker
d320: 2e 67 65 74 4d 6f 72 70 68 28 64 54 6f 6b 65 6e  .getMorph(dToken
d330: 5b 22 73 56 61 6c 75 65 22 5d 29 0a 20 20 20 20  ["sValue"]).    
d340: 69 66 20 6e 6f 74 20 6c 4d 6f 72 70 68 20 6f 72  if not lMorph or
d350: 20 6c 65 6e 28 6c 4d 6f 72 70 68 29 20 3d 3d 20   len(lMorph) == 
d360: 31 3a 0a 20 20 20 20 20 20 20 20 69 66 20 6c 44  1:.        if lD
d370: 65 66 61 75 6c 74 3a 0a 20 20 20 20 20 20 20 20  efault:.        
d380: 20 20 20 20 64 54 6f 6b 65 6e 5b 22 6c 4d 6f 72      dToken["lMor
d390: 70 68 22 5d 20 3d 20 6c 44 65 66 61 75 6c 74 0a  ph"] = lDefault.
d3a0: 20 20 20 20 20 20 20 20 20 20 20 20 23 65 63 68              #ech
d3b0: 6f 28 22 44 41 3a 22 2c 20 64 54 6f 6b 65 6e 5b  o("DA:", dToken[
d3c0: 22 73 56 61 6c 75 65 22 5d 2c 20 64 54 6f 6b 65  "sValue"], dToke
d3d0: 6e 5b 22 6c 4d 6f 72 70 68 22 5d 29 0a 20 20 20  n["lMorph"]).   
d3e0: 20 20 20 20 20 72 65 74 75 72 6e 20 54 72 75 65       return True
d3f0: 0a 20 20 20 20 6c 53 65 6c 65 63 74 20 3d 20 5b  .    lSelect = [
d400: 20 73 4d 6f 72 70 68 20 20 66 6f 72 20 73 4d 6f   sMorph  for sMo
d410: 72 70 68 20 69 6e 20 6c 4d 6f 72 70 68 20 20 69  rph in lMorph  i
d420: 66 20 72 65 2e 73 65 61 72 63 68 28 73 50 61 74  f re.search(sPat
d430: 74 65 72 6e 2c 20 73 4d 6f 72 70 68 29 20 5d 0a  tern, sMorph) ].
d440: 20 20 20 20 69 66 20 6c 53 65 6c 65 63 74 3a 0a      if lSelect:.
d450: 20 20 20 20 20 20 20 20 69 66 20 6c 65 6e 28 6c          if len(l
d460: 53 65 6c 65 63 74 29 20 21 3d 20 6c 65 6e 28 6c  Select) != len(l
d470: 4d 6f 72 70 68 29 3a 0a 20 20 20 20 20 20 20 20  Morph):.        
d480: 20 20 20 20 64 54 6f 6b 65 6e 5b 22 6c 4d 6f 72      dToken["lMor
d490: 70 68 22 5d 20 3d 20 6c 53 65 6c 65 63 74 0a 20  ph"] = lSelect. 
d4a0: 20 20 20 65 6c 69 66 20 6c 44 65 66 61 75 6c 74     elif lDefault
d4b0: 3a 0a 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e  :.        dToken
d4c0: 5b 22 6c 4d 6f 72 70 68 22 5d 20 3d 20 6c 44 65  ["lMorph"] = lDe
d4d0: 66 61 75 6c 74 0a 20 20 20 20 23 65 63 68 6f 28  fault.    #echo(
d4e0: 22 44 41 3a 22 2c 20 64 54 6f 6b 65 6e 5b 22 73  "DA:", dToken["s
d4f0: 56 61 6c 75 65 22 5d 2c 20 64 54 6f 6b 65 6e 5b  Value"], dToken[
d500: 22 6c 4d 6f 72 70 68 22 5d 29 0a 20 20 20 20 72  "lMorph"]).    r
d510: 65 74 75 72 6e 20 54 72 75 65 0a 0a 0a 64 65 66  eturn True...def
d520: 20 67 5f 65 78 63 6c 75 64 65 20 28 64 54 6f 6b   g_exclude (dTok
d530: 65 6e 2c 20 73 50 61 74 74 65 72 6e 2c 20 6c 44  en, sPattern, lD
d540: 65 66 61 75 6c 74 3d 4e 6f 6e 65 29 3a 0a 20 20  efault=None):.  
d550: 20 20 22 44 69 73 61 6d 62 69 67 75 61 74 69 6f    "Disambiguatio
d560: 6e 3a 20 73 65 6c 65 63 74 20 6d 6f 72 70 68 6f  n: select morpho
d570: 6c 6f 67 69 65 73 20 66 6f 72 20 3c 64 54 6f 6b  logies for <dTok
d580: 65 6e 3e 20 61 63 63 6f 72 64 69 6e 67 20 74 6f  en> according to
d590: 20 3c 73 50 61 74 74 65 72 6e 3e 2c 20 61 6c 77   <sPattern>, alw
d5a0: 61 79 73 20 72 65 74 75 72 6e 20 54 72 75 65 22  ays return True"
d5b0: 0a 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20 64 54  .    lMorph = dT
d5c0: 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68 22 5d 20 20  oken["lMorph"]  
d5d0: 69 66 20 22 6c 4d 6f 72 70 68 22 20 69 6e 20 64  if "lMorph" in d
d5e0: 54 6f 6b 65 6e 20 20 65 6c 73 65 20 5f 6f 53 70  Token  else _oSp
d5f0: 65 6c 6c 43 68 65 63 6b 65 72 2e 67 65 74 4d 6f  ellChecker.getMo
d600: 72 70 68 28 64 54 6f 6b 65 6e 5b 22 73 56 61 6c  rph(dToken["sVal
d610: 75 65 22 5d 29 0a 20 20 20 20 69 66 20 6e 6f 74  ue"]).    if not
d620: 20 6c 4d 6f 72 70 68 20 6f 72 20 6c 65 6e 28 6c   lMorph or len(l
d630: 4d 6f 72 70 68 29 20 3d 3d 20 31 3a 0a 20 20 20  Morph) == 1:.   
d640: 20 20 20 20 20 69 66 20 6c 44 65 66 61 75 6c 74       if lDefault
d650: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 64 54  :.            dT
d660: 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68 22 5d 20 3d  oken["lMorph"] =
d670: 20 6c 44 65 66 61 75 6c 74 0a 20 20 20 20 20 20   lDefault.      
d680: 20 20 20 20 20 20 23 65 63 68 6f 28 22 44 41 3a        #echo("DA:
d690: 22 2c 20 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75  ", dToken["sValu
d6a0: 65 22 5d 2c 20 64 54 6f 6b 65 6e 5b 22 6c 4d 6f  e"], dToken["lMo
d6b0: 72 70 68 22 5d 29 0a 20 20 20 20 20 20 20 20 72  rph"]).        r
d6c0: 65 74 75 72 6e 20 54 72 75 65 0a 20 20 20 20 6c  eturn True.    l
d6d0: 53 65 6c 65 63 74 20 3d 20 5b 20 73 4d 6f 72 70  Select = [ sMorp
d6e0: 68 20 20 66 6f 72 20 73 4d 6f 72 70 68 20 69 6e  h  for sMorph in
d6f0: 20 6c 4d 6f 72 70 68 20 20 69 66 20 6e 6f 74 20   lMorph  if not 
d700: 72 65 2e 73 65 61 72 63 68 28 73 50 61 74 74 65  re.search(sPatte
d710: 72 6e 2c 20 73 4d 6f 72 70 68 29 20 5d 0a 20 20  rn, sMorph) ].  
d720: 20 20 69 66 20 6c 53 65 6c 65 63 74 3a 0a 20 20    if lSelect:.  
d730: 20 20 20 20 20 20 69 66 20 6c 65 6e 28 6c 53 65        if len(lSe
d740: 6c 65 63 74 29 20 21 3d 20 6c 65 6e 28 6c 4d 6f  lect) != len(lMo
d750: 72 70 68 29 3a 0a 20 20 20 20 20 20 20 20 20 20  rph):.          
d760: 20 20 64 54 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68    dToken["lMorph
d770: 22 5d 20 3d 20 6c 53 65 6c 65 63 74 0a 20 20 20  "] = lSelect.   
d780: 20 65 6c 69 66 20 6c 44 65 66 61 75 6c 74 3a 0a   elif lDefault:.
d790: 20 20 20 20 20 20 20 20 64 54 6f 6b 65 6e 5b 22          dToken["
d7a0: 6c 4d 6f 72 70 68 22 5d 20 3d 20 6c 44 65 66 61  lMorph"] = lDefa
d7b0: 75 6c 74 0a 20 20 20 20 23 65 63 68 6f 28 22 44  ult.    #echo("D
d7c0: 41 3a 22 2c 20 64 54 6f 6b 65 6e 5b 22 73 56 61  A:", dToken["sVa
d7d0: 6c 75 65 22 5d 2c 20 64 54 6f 6b 65 6e 5b 22 6c  lue"], dToken["l
d7e0: 4d 6f 72 70 68 22 5d 29 0a 20 20 20 20 72 65 74  Morph"]).    ret
d7f0: 75 72 6e 20 54 72 75 65 0a 0a 0a 64 65 66 20 67  urn True...def g
d800: 5f 61 64 64 5f 6d 6f 72 70 68 20 28 64 54 6f 6b  _add_morph (dTok
d810: 65 6e 2c 20 6c 4e 65 77 4d 6f 72 70 68 29 3a 0a  en, lNewMorph):.
d820: 20 20 20 20 22 44 69 73 61 6d 62 69 67 75 61 74      "Disambiguat
d830: 69 6f 6e 3a 20 61 64 64 20 61 20 6d 6f 72 70 68  ion: add a morph
d840: 6f 6c 6f 67 79 20 74 6f 20 61 20 74 6f 6b 65 6e  ology to a token
d850: 22 0a 20 20 20 20 6c 4d 6f 72 70 68 20 3d 20 64  ".    lMorph = d
d860: 54 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68 22 5d 20  Token["lMorph"] 
d870: 20 69 66 20 22 6c 4d 6f 72 70 68 22 20 69 6e 20   if "lMorph" in 
d880: 64 54 6f 6b 65 6e 20 20 65 6c 73 65 20 5f 6f 53  dToken  else _oS
d890: 70 65 6c 6c 43 68 65 63 6b 65 72 2e 67 65 74 4d  pellChecker.getM
d8a0: 6f 72 70 68 28 64 54 6f 6b 65 6e 5b 22 73 56 61  orph(dToken["sVa
d8b0: 6c 75 65 22 5d 29 0a 20 20 20 20 6c 4d 6f 72 70  lue"]).    lMorp
d8c0: 68 2e 65 78 74 65 6e 64 28 6c 4e 65 77 4d 6f 72  h.extend(lNewMor
d8d0: 70 68 29 0a 20 20 20 20 64 54 6f 6b 65 6e 5b 22  ph).    dToken["
d8e0: 6c 4d 6f 72 70 68 22 5d 20 3d 20 6c 4d 6f 72 70  lMorph"] = lMorp
d8f0: 68 0a 20 20 20 20 72 65 74 75 72 6e 20 54 72 75  h.    return Tru
d900: 65 0a 0a 0a 64 65 66 20 67 5f 64 65 66 69 6e 65  e...def g_define
d910: 20 28 64 54 6f 6b 65 6e 2c 20 6c 4d 6f 72 70 68   (dToken, lMorph
d920: 29 3a 0a 20 20 20 20 22 44 69 73 61 6d 62 69 67  ):.    "Disambig
d930: 75 61 74 69 6f 6e 3a 20 73 65 74 20 6d 6f 72 70  uation: set morp
d940: 68 6f 6c 6f 67 69 65 73 20 6f 66 20 3c 64 54 6f  hologies of <dTo
d950: 6b 65 6e 3e 2c 20 61 6c 77 61 79 73 20 72 65 74  ken>, always ret
d960: 75 72 6e 20 54 72 75 65 22 0a 20 20 20 20 64 54  urn True".    dT
d970: 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68 22 5d 20 3d  oken["lMorph"] =
d980: 20 6c 4d 6f 72 70 68 0a 20 20 20 20 23 65 63 68   lMorph.    #ech
d990: 6f 28 22 44 41 3a 22 2c 20 64 54 6f 6b 65 6e 5b  o("DA:", dToken[
d9a0: 22 73 56 61 6c 75 65 22 5d 2c 20 6c 4d 6f 72 70  "sValue"], lMorp
d9b0: 68 29 0a 20 20 20 20 72 65 74 75 72 6e 20 54 72  h).    return Tr
d9c0: 75 65 0a 0a 0a 64 65 66 20 67 5f 64 65 66 69 6e  ue...def g_defin
d9d0: 65 5f 66 72 6f 6d 20 28 64 54 6f 6b 65 6e 2c 20  e_from (dToken, 
d9e0: 6e 4c 65 66 74 3d 4e 6f 6e 65 2c 20 6e 52 69 67  nLeft=None, nRig
d9f0: 68 74 3d 4e 6f 6e 65 29 3a 0a 20 20 20 20 22 44  ht=None):.    "D
da00: 69 73 61 6d 62 69 67 75 61 74 69 6f 6e 3a 20 73  isambiguation: s
da10: 65 74 20 6d 6f 72 70 68 6f 6c 6f 67 69 65 73 20  et morphologies 
da20: 6f 66 20 3c 64 54 6f 6b 65 6e 3e 20 77 69 74 68  of <dToken> with
da30: 20 73 6c 69 63 69 6e 67 20 69 74 73 20 76 61 6c   slicing its val
da40: 75 65 20 77 69 74 68 20 3c 6e 4c 65 66 74 3e 20  ue with <nLeft> 
da50: 61 6e 64 20 3c 6e 52 69 67 68 74 3e 22 0a 20 20  and <nRight>".  
da60: 20 20 69 66 20 6e 4c 65 66 74 20 69 73 20 6e 6f    if nLeft is no
da70: 74 20 4e 6f 6e 65 3a 0a 20 20 20 20 20 20 20 20  t None:.        
da80: 64 54 6f 6b 65 6e 5b 22 6c 4d 6f 72 70 68 22 5d  dToken["lMorph"]
da90: 20 3d 20 5f 6f 53 70 65 6c 6c 43 68 65 63 6b 65   = _oSpellChecke
daa0: 72 2e 67 65 74 4d 6f 72 70 68 28 64 54 6f 6b 65  r.getMorph(dToke
dab0: 6e 5b 22 73 56 61 6c 75 65 22 5d 5b 73 6c 69 63  n["sValue"][slic
dac0: 65 28 6e 4c 65 66 74 2c 20 6e 52 69 67 68 74 29  e(nLeft, nRight)
dad0: 5d 29 0a 20 20 20 20 65 6c 73 65 3a 0a 20 20 20  ]).    else:.   
dae0: 20 20 20 20 20 64 54 6f 6b 65 6e 5b 22 6c 4d 6f       dToken["lMo
daf0: 72 70 68 22 5d 20 3d 20 5f 6f 53 70 65 6c 6c 43  rph"] = _oSpellC
db00: 68 65 63 6b 65 72 2e 67 65 74 4d 6f 72 70 68 28  hecker.getMorph(
db10: 64 54 6f 6b 65 6e 5b 22 73 56 61 6c 75 65 22 5d  dToken["sValue"]
db20: 29 0a 20 20 20 20 72 65 74 75 72 6e 20 54 72 75  ).    return Tru
db30: 65 0a 0a 0a 64 65 66 20 67 5f 63 68 61 6e 67 65  e...def g_change
db40: 5f 6d 65 74 61 20 28 64 54 6f 6b 65 6e 2c 20 73  _meta (dToken, s
db50: 54 79 70 65 29 3a 0a 20 20 20 20 22 44 69 73 61  Type):.    "Disa
db60: 6d 62 69 67 75 61 74 69 6f 6e 3a 20 63 68 61 6e  mbiguation: chan
db70: 67 65 20 74 79 70 65 20 6f 66 20 74 6f 6b 65 6e  ge type of token
db80: 22 0a 20 20 20 20 64 54 6f 6b 65 6e 5b 22 73 54  ".    dToken["sT
db90: 79 70 65 22 5d 20 3d 20 73 54 79 70 65 0a 20 20  ype"] = sType.  
dba0: 20 20 72 65 74 75 72 6e 20 54 72 75 65 0a 0a 0a    return True...
dbb0: 0a 23 23 23 23 20 47 52 41 4d 4d 41 52 20 43 48  .#### GRAMMAR CH
dbc0: 45 43 4b 45 52 20 50 4c 55 47 49 4e 53 0a 0a 24  ECKER PLUGINS..$
dbd0: 7b 70 6c 75 67 69 6e 73 7d 0a 0a 0a 23 23 23 23  {plugins}...####
dbe0: 20 43 41 4c 4c 41 42 4c 45 53 20 46 4f 52 20 52   CALLABLES FOR R
dbf0: 45 47 45 58 20 52 55 4c 45 53 20 28 67 65 6e 65  EGEX RULES (gene
dc00: 72 61 74 65 64 20 63 6f 64 65 29 0a 0a 24 7b 63  rated code)..${c
dc10: 61 6c 6c 61 62 6c 65 73 7d 0a 0a 0a 23 23 23 23  allables}...####
dc20: 20 43 41 4c 4c 41 42 4c 45 53 20 46 4f 52 20 47   CALLABLES FOR G
dc30: 52 41 50 48 20 52 55 4c 45 53 20 28 67 65 6e 65  RAPH RULES (gene
dc40: 72 61 74 65 64 20 63 6f 64 65 29 0a 0a 24 7b 67  rated code)..${g
dc50: 72 61 70 68 5f 63 61 6c 6c 61 62 6c 65 73 7d 0a  raph_callables}.