Grammalecte  Hex Artifact Content

Artifact 57c70320f0c55fae792a1b8798e89331eb93f9c7dbdb6a124f1fcc89348b427b:


0000: 23 21 70 79 74 68 6f 6e 33 0a 0a 23 20 4c 65 78  #!python3..# Lex
0010: 69 63 6f 6e 20 62 75 69 6c 64 65 72 0a 0a 69 6d  icon builder..im
0020: 70 6f 72 74 20 61 72 67 70 61 72 73 65 0a 66 72  port argparse.fr
0030: 6f 6d 20 64 69 73 74 75 74 69 6c 73 20 69 6d 70  om distutils imp
0040: 6f 72 74 20 64 69 72 5f 75 74 69 6c 0a 0a 69 6d  ort dir_util..im
0050: 70 6f 72 74 20 67 72 61 70 68 73 70 65 6c 6c 2e  port graphspell.
0060: 64 61 77 67 20 61 73 20 66 73 61 0a 66 72 6f 6d  dawg as fsa.from
0070: 20 67 72 61 70 68 73 70 65 6c 6c 2e 69 62 64 61   graphspell.ibda
0080: 77 67 20 69 6d 70 6f 72 74 20 49 42 44 41 57 47  wg import IBDAWG
0090: 0a 0a 0a 64 65 66 20 62 75 69 6c 64 20 28 73 70  ...def build (sp
00a0: 66 53 72 63 2c 20 73 4c 61 6e 67 4e 61 6d 65 2c  fSrc, sLangName,
00b0: 20 73 44 69 63 4e 61 6d 65 2c 20 62 4a 53 4f 4e   sDicName, bJSON
00c0: 3d 46 61 6c 73 65 2c 20 63 53 74 65 6d 6d 69 6e  =False, cStemmin
00d0: 67 4d 65 74 68 6f 64 3d 22 53 22 2c 20 6e 43 6f  gMethod="S", nCo
00e0: 6d 70 72 65 73 73 4d 65 74 68 6f 64 3d 31 29 3a  mpressMethod=1):
00f0: 0a 20 20 20 20 22 74 72 61 6e 73 66 6f 72 6d 20  .    "transform 
0100: 61 20 74 65 78 74 20 6c 65 78 69 63 6f 6e 20 61  a text lexicon a
0110: 73 20 61 20 62 69 6e 61 72 79 20 69 6e 64 65 78  s a binary index
0120: 61 62 6c 65 20 64 69 63 74 69 6f 6e 61 72 79 22  able dictionary"
0130: 0a 20 20 20 20 6f 44 41 57 47 20 3d 20 66 73 61  .    oDAWG = fsa
0140: 2e 44 41 57 47 28 73 70 66 53 72 63 2c 20 73 4c  .DAWG(spfSrc, sL
0150: 61 6e 67 4e 61 6d 65 2c 20 63 53 74 65 6d 6d 69  angName, cStemmi
0160: 6e 67 4d 65 74 68 6f 64 29 0a 20 20 20 20 64 69  ngMethod).    di
0170: 72 5f 75 74 69 6c 2e 6d 6b 70 61 74 68 28 22 67  r_util.mkpath("g
0180: 72 61 70 68 73 70 65 6c 6c 2f 5f 64 69 63 74 69  raphspell/_dicti
0190: 6f 6e 61 72 69 65 73 22 29 0a 20 20 20 20 6f 44  onaries").    oD
01a0: 41 57 47 2e 77 72 69 74 65 49 6e 66 6f 28 22 67  AWG.writeInfo("g
01b0: 72 61 70 68 73 70 65 6c 6c 2f 5f 64 69 63 74 69  raphspell/_dicti
01c0: 6f 6e 61 72 69 65 73 2f 22 20 2b 20 73 44 69 63  onaries/" + sDic
01d0: 4e 61 6d 65 20 2b 20 22 2e 69 6e 66 6f 2e 74 78  Name + ".info.tx
01e0: 74 22 29 0a 20 20 20 20 6f 44 41 57 47 2e 63 72  t").    oDAWG.cr
01f0: 65 61 74 65 42 69 6e 61 72 79 28 22 67 72 61 70  eateBinary("grap
0200: 68 73 70 65 6c 6c 2f 5f 64 69 63 74 69 6f 6e 61  hspell/_dictiona
0210: 72 69 65 73 2f 22 20 2b 20 73 44 69 63 4e 61 6d  ries/" + sDicNam
0220: 65 20 2b 20 22 2e 62 64 69 63 22 2c 20 69 6e 74  e + ".bdic", int
0230: 28 6e 43 6f 6d 70 72 65 73 73 4d 65 74 68 6f 64  (nCompressMethod
0240: 29 29 0a 20 20 20 20 69 66 20 62 4a 53 4f 4e 3a  )).    if bJSON:
0250: 0a 20 20 20 20 20 20 20 20 64 69 72 5f 75 74 69  .        dir_uti
0260: 6c 2e 6d 6b 70 61 74 68 28 22 67 72 61 70 68 73  l.mkpath("graphs
0270: 70 65 6c 6c 2d 6a 73 2f 5f 64 69 63 74 69 6f 6e  pell-js/_diction
0280: 61 72 69 65 73 22 29 0a 20 20 20 20 20 20 20 20  aries").        
0290: 6f 44 69 63 20 3d 20 49 42 44 41 57 47 28 73 44  oDic = IBDAWG(sD
02a0: 69 63 4e 61 6d 65 20 2b 20 22 2e 62 64 69 63 22  icName + ".bdic"
02b0: 29 0a 20 20 20 20 20 20 20 20 6f 44 69 63 2e 77  ).        oDic.w
02c0: 72 69 74 65 41 73 4a 53 4f 62 6a 65 63 74 28 22  riteAsJSObject("
02d0: 67 72 61 70 68 73 70 65 6c 6c 2d 6a 73 2f 5f 64  graphspell-js/_d
02e0: 69 63 74 69 6f 6e 61 72 69 65 73 2f 22 20 2b 20  ictionaries/" + 
02f0: 73 44 69 63 4e 61 6d 65 20 2b 20 22 2e 6a 73 6f  sDicName + ".jso
0300: 6e 22 2c 20 62 42 69 6e 61 72 79 44 69 63 74 41  n", bBinaryDictA
0310: 73 48 65 78 53 74 72 69 6e 67 3d 54 72 75 65 29  sHexString=True)
0320: 0a 0a 0a 64 65 66 20 6d 61 69 6e 20 28 29 3a 0a  ...def main ():.
0330: 20 20 20 20 78 50 61 72 73 65 72 20 3d 20 61 72      xParser = ar
0340: 67 70 61 72 73 65 2e 41 72 67 75 6d 65 6e 74 50  gparse.ArgumentP
0350: 61 72 73 65 72 28 29 0a 20 20 20 20 78 50 61 72  arser().    xPar
0360: 73 65 72 2e 61 64 64 5f 61 72 67 75 6d 65 6e 74  ser.add_argument
0370: 28 22 73 72 63 5f 6c 65 78 69 63 6f 6e 22 2c 20  ("src_lexicon", 
0380: 74 79 70 65 3d 73 74 72 2c 20 68 65 6c 70 3d 22  type=str, help="
0390: 70 61 74 68 20 61 6e 64 20 66 69 6c 65 20 6e 61  path and file na
03a0: 6d 65 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65  me of the source
03b0: 20 6c 65 78 69 63 6f 6e 22 29 0a 20 20 20 20 78   lexicon").    x
03c0: 50 61 72 73 65 72 2e 61 64 64 5f 61 72 67 75 6d  Parser.add_argum
03d0: 65 6e 74 28 22 6c 61 6e 67 5f 6e 61 6d 65 22 2c  ent("lang_name",
03e0: 20 74 79 70 65 3d 73 74 72 2c 20 68 65 6c 70 3d   type=str, help=
03f0: 22 6c 61 6e 67 75 61 67 65 20 6e 61 6d 65 22 29  "language name")
0400: 0a 20 20 20 20 78 50 61 72 73 65 72 2e 61 64 64  .    xParser.add
0410: 5f 61 72 67 75 6d 65 6e 74 28 22 64 69 63 5f 6e  _argument("dic_n
0420: 61 6d 65 22 2c 20 74 79 70 65 3d 73 74 72 2c 20  ame", type=str, 
0430: 68 65 6c 70 3d 22 64 69 63 74 69 6f 6e 61 72 79  help="dictionary
0440: 20 66 69 6c 65 20 6e 61 6d 65 20 28 77 69 74 68   file name (with
0450: 6f 75 74 20 65 78 74 65 6e 73 69 6f 6e 29 22 29  out extension)")
0460: 0a 20 20 20 20 78 50 61 72 73 65 72 2e 61 64 64  .    xParser.add
0470: 5f 61 72 67 75 6d 65 6e 74 28 22 2d 6a 73 22 2c  _argument("-js",
0480: 20 22 2d 2d 6a 73 6f 6e 22 2c 20 68 65 6c 70 3d   "--json", help=
0490: 22 42 75 69 6c 64 20 64 69 63 74 69 6f 6e 61 72  "Build dictionar
04a0: 79 20 69 6e 20 4a 53 4f 4e 22 2c 20 61 63 74 69  y in JSON", acti
04b0: 6f 6e 3d 22 73 74 6f 72 65 5f 74 72 75 65 22 29  on="store_true")
04c0: 0a 20 20 20 20 78 50 61 72 73 65 72 2e 61 64 64  .    xParser.add
04d0: 5f 61 72 67 75 6d 65 6e 74 28 22 2d 73 22 2c 20  _argument("-s", 
04e0: 22 2d 2d 73 74 65 6d 6d 69 6e 67 22 2c 20 68 65  "--stemming", he
04f0: 6c 70 3d 22 73 74 65 6d 6d 69 6e 67 20 6d 65 74  lp="stemming met
0500: 68 6f 64 3a 20 53 3d 73 75 66 66 69 78 65 73 2c  hod: S=suffixes,
0510: 20 41 3d 61 66 66 69 78 65 73 2c 20 4e 3d 6e 6f   A=affixes, N=no
0520: 20 73 74 65 6d 6d 69 6e 67 22 2c 20 74 79 70 65   stemming", type
0530: 3d 73 74 72 2c 20 63 68 6f 69 63 65 73 3d 5b 22  =str, choices=["
0540: 53 22 2c 20 22 41 22 2c 20 22 4e 22 5d 2c 20 64  S", "A", "N"], d
0550: 65 66 61 75 6c 74 3d 22 53 22 29 0a 20 20 20 20  efault="S").    
0560: 78 50 61 72 73 65 72 2e 61 64 64 5f 61 72 67 75  xParser.add_argu
0570: 6d 65 6e 74 28 22 2d 63 22 2c 20 22 2d 2d 63 6f  ment("-c", "--co
0580: 6d 70 72 65 73 73 22 2c 20 68 65 6c 70 3d 22 63  mpress", help="c
0590: 6f 6d 70 72 65 73 73 69 6f 6e 20 6d 65 74 68 6f  ompression metho
05a0: 64 3a 20 31 2c 20 32 20 28 62 65 74 61 29 2c 20  d: 1, 2 (beta), 
05b0: 33 2c 20 28 62 65 74 61 29 22 2c 20 74 79 70 65  3, (beta)", type
05c0: 3d 69 6e 74 2c 20 63 68 6f 69 63 65 73 3d 5b 31  =int, choices=[1
05d0: 2c 20 32 2c 20 33 5d 2c 20 64 65 66 61 75 6c 74  , 2, 3], default
05e0: 3d 31 29 0a 20 20 20 20 78 41 72 67 73 20 3d 20  =1).    xArgs = 
05f0: 78 50 61 72 73 65 72 2e 70 61 72 73 65 5f 61 72  xParser.parse_ar
0600: 67 73 28 29 0a 20 20 20 20 62 75 69 6c 64 28 78  gs().    build(x
0610: 41 72 67 73 2e 73 72 63 5f 6c 65 78 69 63 6f 6e  Args.src_lexicon
0620: 2c 20 78 41 72 67 73 2e 6c 61 6e 67 5f 6e 61 6d  , xArgs.lang_nam
0630: 65 2c 20 78 41 72 67 73 2e 64 69 63 5f 6e 61 6d  e, xArgs.dic_nam
0640: 65 2c 20 78 41 72 67 73 2e 6a 73 6f 6e 29 0a 20  e, xArgs.json). 
0650: 20 20 20 0a 0a 69 66 20 5f 5f 6e 61 6d 65 5f 5f     ..if __name__
0660: 20 3d 3d 20 27 5f 5f 6d 61 69 6e 5f 5f 27 3a 0a   == '__main__':.
0670: 20 20 20 20 6d 61 69 6e 28 29 0a                     main().