Grammalecte  Check-in [685f9128f0]

Overview
Comment:[fr] restructuration des données pour éviter la confusion avec le token <:>
Downloads: Tarball | ZIP archive | SQL archive
Timelines: family | ancestors | descendants | both | fr | Lexicographe
Files: files | file ages | folders
SHA3-256: 685f9128f02c56ec32fb487b5ccf9ac035e3e8ca61e5badebfa0f74300530e7f
User & Date: olr on 2017-11-02 11:01:33
Other Links: branch diff | manifest | tags
Context
2017-11-02
11:30
[fr] lexicographe: gestion des formes verbales interrogatives check-in: b3d7cb93a1 user: olr tags: Lexicographe, fr
11:01
[fr] restructuration des données pour éviter la confusion avec le token <:> check-in: 685f9128f0 user: olr tags: Lexicographe, fr
10:58
Ajout dans le tokenizer du ~ dans la detection des dossier linux, et distintion entre les deux types de dossier windows/linux avec le changement dans le lexicographe check-in: 11f1414b5b user: IllusionPerdu tags: Lexicographe
Changes

Modified gc_lang/fr/build_data.py from [732462dec8] to [01eee1eb89].

322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
        dCur = dLocGraph
        sLoc, sTag = sLine.split("\t")
        for oToken in oTokenizer.genTokens(sLoc.strip()):
            sWord = oToken["sValue"]
            if sWord not in dCur:
                dCur[sWord] = {}
            dCur = dCur[sWord]
        dCur[":"] = sTag

    sCode = "# generated data (do not edit)\n\n" + \
            "dLocutions = " + str(dLocGraph) + "\n"
    open(sp+"/modules/locutions_data.py", "w", encoding="utf-8", newline="\n").write(sCode)
    if bJS:
        open(sp+"/modules-js/locutions_data.json", "w", encoding="utf-8", newline="\n").write(json.dumps(dLocGraph, ensure_ascii=False))








|







322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
        dCur = dLocGraph
        sLoc, sTag = sLine.split("\t")
        for oToken in oTokenizer.genTokens(sLoc.strip()):
            sWord = oToken["sValue"]
            if sWord not in dCur:
                dCur[sWord] = {}
            dCur = dCur[sWord]
        dCur["_:_"] = sTag

    sCode = "# generated data (do not edit)\n\n" + \
            "dLocutions = " + str(dLocGraph) + "\n"
    open(sp+"/modules/locutions_data.py", "w", encoding="utf-8", newline="\n").write(sCode)
    if bJS:
        open(sp+"/modules-js/locutions_data.json", "w", encoding="utf-8", newline="\n").write(json.dumps(dLocGraph, ensure_ascii=False))

Modified gc_lang/fr/data/locutions.txt from [ccc8b2e17e] to [fe35a065db].

1413
1414
1415
1416
1417
1418
1419
1420
1421
1422
1423
1424
1425
1426
1427
1428
1429
1430
1431
1432
....
1658
1659
1660
1661
1662
1663
1664
1665
1666
1667
1668
1669
1670
1671
1672
1673
1674
....
1796
1797
1798
1799
1800
1801
1802
1803
1804
1805
1806
1807
1808
1809
1810
....
2223
2224
2225
2226
2227
2228
2229
2230
2231
2232
2233
2234
2235
2236
2237
2238
2239
2240
2241
2242
2243
2244
2245
....
2295
2296
2297
2298
2299
2300
2301
2302
2303
2304
2305
2306
2307
2308
2309
n’importe	:LW
n’importe comment	:LW
n’importe où	:LW
n’importe quand	:LW
off strat	:LW
old school	:LW|:LN:m
on l’a vu	:LW
on ne peut plus	:LW
on ne sait d’où	:LW
opus incertum	:LW/L
opus isodomum	:LW/L
opus spicatum	:LW/L
ou pas	:LW
ou sinon	:LW
oui mais non	:LW
outre mesure	:LW
outre plus	:LW
outre que	:LW
p. ex.	:LW
par accident	:LW
................................................................................
rien moins que	:LW
rien que	:LW
rien que sur un temps	:LW
rien à voir	:LW
rubis sur l’ongle	:LW
révérence gardée	:LW
révérence parler	:LW
s. d.	:LW
s. l.	:LW
s. l. n. d.	:LW
sans ambage	:LW
sans ambages	:LW
sans arrêt	:LW
sans aucun doute	:LW
sans autre façon	:LW
sans autre forme de procès	:LW
sans cesse	:LW
................................................................................
sur le papier	:LW
sur le pied de	:LW
sur le pied de guerre	:LW
sur le pied de paix	:LW
sur le piton	:LW
sur le qui-vive	:LW
sur le tard	:LW
sur le terrain	:LW
sur le vif	:LW
sur les bords	:LW
sur les chapeaux de roues	:LW
sur les talons	:LW
sur l’heure	:LW
sur l’ongle	:LW
sur mesure	:LW|:LN:m
................................................................................
à la queue leu-leu	:LW
à la ramasse	:LW
à la rame	:LW
à la renverse	:LW
à la rigueur	:LW
à la ronde	:LW
à la rue	:LW
à la russe	:LW
à la saint-glinglin	:LW
à la sauvette	:LW
à la six-quatre-deux	:LW
à la sourdine	:LW
à la spartiate	:LW
à la tarde	:LW
à la traverse	:LW
à la turque	:LW
à la tête de	:LW
à la tête du client	:LW
à la va comme je te pousse	:LW
à la va-comme-je-te-pousse	:LW
à la va-vite	:LW
à la valdrague	:LW
à la venvole	:LW
................................................................................
à l’envi	:LW
à l’envi de	:LW
à l’environ	:LW
à l’espère	:LW
à l’exception de	:LW
à l’exclusion de	:LW
à l’excès	:LW
à l’extrême	:LW
à l’extrême limite	:LW
à l’extérieur	:LW
à l’heure actuelle	:LW
à l’heure dite	:LW
à l’heure qu’il est	:LW
à l’improvisade	:LW
à l’improviste	:LW







|
|



|







 







<
<
<







 







|







 







|







|







 







|







1413
1414
1415
1416
1417
1418
1419
1420
1421
1422
1423
1424
1425
1426
1427
1428
1429
1430
1431
1432
....
1658
1659
1660
1661
1662
1663
1664



1665
1666
1667
1668
1669
1670
1671
....
1793
1794
1795
1796
1797
1798
1799
1800
1801
1802
1803
1804
1805
1806
1807
....
2220
2221
2222
2223
2224
2225
2226
2227
2228
2229
2230
2231
2232
2233
2234
2235
2236
2237
2238
2239
2240
2241
2242
....
2292
2293
2294
2295
2296
2297
2298
2299
2300
2301
2302
2303
2304
2305
2306
n’importe	:LW
n’importe comment	:LW
n’importe où	:LW
n’importe quand	:LW
off strat	:LW
old school	:LW|:LN:m
on l’a vu	:LW
on ne peut plus	*|:LW
on ne sait d’où	*|:LW
opus incertum	:LW/L
opus isodomum	:LW/L
opus spicatum	:LW/L
ou pas	*|:LW
ou sinon	:LW
oui mais non	:LW
outre mesure	:LW
outre plus	:LW
outre que	:LW
p. ex.	:LW
par accident	:LW
................................................................................
rien moins que	:LW
rien que	:LW
rien que sur un temps	:LW
rien à voir	:LW
rubis sur l’ongle	:LW
révérence gardée	:LW
révérence parler	:LW



sans ambage	:LW
sans ambages	:LW
sans arrêt	:LW
sans aucun doute	:LW
sans autre façon	:LW
sans autre forme de procès	:LW
sans cesse	:LW
................................................................................
sur le papier	:LW
sur le pied de	:LW
sur le pied de guerre	:LW
sur le pied de paix	:LW
sur le piton	:LW
sur le qui-vive	:LW
sur le tard	:LW
sur le terrain	*|:LW
sur le vif	:LW
sur les bords	:LW
sur les chapeaux de roues	:LW
sur les talons	:LW
sur l’heure	:LW
sur l’ongle	:LW
sur mesure	:LW|:LN:m
................................................................................
à la queue leu-leu	:LW
à la ramasse	:LW
à la rame	:LW
à la renverse	:LW
à la rigueur	:LW
à la ronde	:LW
à la rue	:LW
à la russe	*|:LW
à la saint-glinglin	:LW
à la sauvette	:LW
à la six-quatre-deux	:LW
à la sourdine	:LW
à la spartiate	:LW
à la tarde	:LW
à la traverse	:LW
à la turque	*|:LW
à la tête de	:LW
à la tête du client	:LW
à la va comme je te pousse	:LW
à la va-comme-je-te-pousse	:LW
à la va-vite	:LW
à la valdrague	:LW
à la venvole	:LW
................................................................................
à l’envi	:LW
à l’envi de	:LW
à l’environ	:LW
à l’espère	:LW
à l’exception de	:LW
à l’exclusion de	:LW
à l’excès	:LW
à l’extrême	*|:LW
à l’extrême limite	:LW
à l’extérieur	:LW
à l’heure actuelle	:LW
à l’heure dite	:LW
à l’heure qu’il est	:LW
à l’improvisade	:LW
à l’improviste	:LW

Modified gc_lang/fr/modules-js/lexicographe.js from [df1f15e3d4] to [5f1e1db445].

415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
...
448
449
450
451
452
453
454

455
456
457
458
459
460
461
            if (oToken.sType == "WORD" || oToken.sType == "ELPFX"){
                let iKeyTree = iKey + 1;
                let oLocNode = this.oLocGraph[oToken.sValue.toLowerCase()];
                while (oLocNode) {
                    let oTokenNext = aTokenList[iKeyTree];
                    iKeyTree++;
                    if (oTokenNext) {
                        if (oTokenNext.sValue == ":") { // temporary fix
                            break;
                        }
                        oLocNode = oLocNode[oTokenNext.sValue.toLowerCase()];
                    }
                    if (oLocNode && iKeyTree <= aTokenList.length) {
                        sMorphLoc = oLocNode[":"];
                        aTokenTempList.push(oTokenNext);
                    } else {
                        break;
                    }
                }
            }

................................................................................
                if (bInfo) {
                    let aSubElem = null;
                    if (sMorphLoc.startsWith("*|")) {
                        // cette suite de tokens n’est une locution que dans certains cas minoritaires
                        for (let oElem of this.generateInfoForTokenList(aTokenTempList)) {
                            aElem.push(oElem);
                        }

                    } else {
                        aSubElem = [...this.generateInfoForTokenList(aTokenTempList)];
                    }
                    // cette suite de tokens est la plupart du temps une locution
                    let aFormatedTag = [];
                    for (let sTagLoc of sMorphLoc.split('|') ){
                        aFormatedTag.push(this._formatTagsLoc(sTagLoc));







<
<
<



|







 







>







415
416
417
418
419
420
421



422
423
424
425
426
427
428
429
430
431
432
...
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
            if (oToken.sType == "WORD" || oToken.sType == "ELPFX"){
                let iKeyTree = iKey + 1;
                let oLocNode = this.oLocGraph[oToken.sValue.toLowerCase()];
                while (oLocNode) {
                    let oTokenNext = aTokenList[iKeyTree];
                    iKeyTree++;
                    if (oTokenNext) {



                        oLocNode = oLocNode[oTokenNext.sValue.toLowerCase()];
                    }
                    if (oLocNode && iKeyTree <= aTokenList.length) {
                        sMorphLoc = oLocNode["_:_"];
                        aTokenTempList.push(oTokenNext);
                    } else {
                        break;
                    }
                }
            }

................................................................................
                if (bInfo) {
                    let aSubElem = null;
                    if (sMorphLoc.startsWith("*|")) {
                        // cette suite de tokens n’est une locution que dans certains cas minoritaires
                        for (let oElem of this.generateInfoForTokenList(aTokenTempList)) {
                            aElem.push(oElem);
                        }
                        sMorphLoc = sMorphLoc.slice(2);
                    } else {
                        aSubElem = [...this.generateInfoForTokenList(aTokenTempList)];
                    }
                    // cette suite de tokens est la plupart du temps une locution
                    let aFormatedTag = [];
                    for (let sTagLoc of sMorphLoc.split('|') ){
                        aFormatedTag.push(this._formatTagsLoc(sTagLoc));

Modified gc_lang/fr/modules-js/locutions_data.json from [e7425a77a1] to [835a70fdd1].

cannot compute difference between binary files

Modified gc_lang/fr/modules/locutions_data.py from [07b4296679] to [1b8f1d5aa6].

cannot compute difference between binary files