виправлено помилку nlp.max_length limit exceeded:
+Text of length 1195652 exceeds maximum of 1000000. The parser and NER models require roughly 1GB of temporary memory per 100,000 characters in the input. This means long texts may cause memory allocation errors. If you're not using the parser or NER, it's probably safe to increase the nlp.max_length limit. The limit is in number of characters, so you can check whether your inputs are too long by checking len(text).
+Встановлено ліміт NLP_EN.max_length = 5000000;
виправлено помилку ImportError: cannot import name 'escape' from 'jinja2':
+This happens because Jinja has removed those functions in a recent version — 3.1.0 — released on March 24th, 2022.
++
Markupandescapeshould be imported from MarkupSafe.
You have two options form here:
+escape, for example, adding it explicitly in your requirements.txt:jinja2<3.1.0
+So, you should use
+from markupsafe import escape
+instead of
+from jinja2 import escape
+При використанні Flask==1.1.2 треба зафікмувати наступні залежності: jinja2<3.1.0; itsdangerous==2.0.1, Werkzeug<2.0.0;
дрібні виправлення коду.
+3.0.6;keepalive_timeout 1050 для nginx;host[:port]/ken/api/en/parcexml.ENG🇬🇧 Додано API для обробки/аналізу текстів (а саме, отримання parce.xml) у вигляді повідомлень. Приклад вхідних даних:
{
@@ -33,18 +77,18 @@ 🏭 Нові можливості
HELP.md.3.0.5;en_core_web_sm до версії 3.0.0;host[:port]/ken/api/en/allterms.
ENG🇬🇧 Додано API для обробки/аналізу текстів (а саме, отримання allterms.xml) у вигляді повідомлень. Приклад вхідних даних:
{
@@ -71,73 +115,73 @@ 🏭 Нові можливості
HELP.md.#depparse_tab, а саме в #displacy;en_core_web_sm до версії 2.3.1;Python до версії Python 3.7.9.allterms.xml та structure.xml).HELP.md.UKR🇺🇦 Додано API для обробки/аналізу текстів у вигляді повідомлень. Приклад вхідних даних:
{
@@ -148,81 +192,81 @@ 🏭 Нові можливості
xlsx замість xls) з використанням FileSaver.js та xlsx.full.min.js.xls замість xlsx).requirements.txt (для підтримки Python 2.7.17).allterms.xml, parce.xml.#term-tree).wine (додано змінну середовища export WINEDEBUG=-all).<select> #uploadResultList (спиcок термінів) та <select> #term-tree (дерево термінів), якщо обчислення займає тривалий час, то інтерфейс відображає процес завантаження.<select> #uploadResultList.function mark(text), function markTerms(term)) в елементі #text-content.JSON-файлу проекту (Konspekt.exe для української мови версії від 03-11-2018):JavaScript-бібліотеки, зокрема, tippy.js.r'&|>|<|_|"|\.\.+|\s\s+' (Konspekt.exe для української мови версії від 03-11-2018).UKR🇺🇦 Додана функція динамічного визначення часу на тривалість роботи Konspekt.exe для української мови версії від 03-11-2018:
if len(args['body']) <= 50000:
@@ -354,71 +398,71 @@ 👍 Покращення
JavaScript на клієнті.🌟 Багатомовна версія ENG🇬🇧, UKR🇺🇦
🌟 Initial commit for multilingual version ENG🇬🇧, UKR🇺🇦
<relup>/<reldown> файлу allterms.xml.
Нумерація в тегах <relup>/<reldown> файлу allterms.xml починається з 0.JavaScript на клієнті згідно нової нумерації в тегах <relup>/<reldown>, <sentpos> файлу allterms.xml.Виправлено помилку при нумерації речень в тегу <sentpos> файлу allterms.xml. Нумерація речень в тегу <sentpos> файлу allterms.xml починається з 0.
Для індексації речень з використанням spaCy (в цій бібліотеці відсутня індексація речень) за основу використано приклад:
Змінено елемент <title> головної сторінки index.html (додано мовний код EN додатку ken згідно стандарту представлення назв мов ISO 639-1):
<title>Конспект (EN) - v1.0.4</title>
@@ -441,8 +485,8 @@ 👍 Покращення
KEn, необхідно використовувати актуальну версію браузера Google Chrome (70 та вище).KEn з версії v1.0.2 (або більш ранньої) до v.1.0.3 дані проаналізованих раніше документів будуть втрачені.KEn, необхідно використовувати актуальну версію браузера Google Chrome).JavaScript на клієнті.#notes (Блокнот), а саме додано функцію автоматичного збереження вмісту елемента #notes до головного JSON-файлу проекту в поле notes, та відповідно змінено його специфікацію.app.config['MAX_CONTENT_LENGTH'] об'єкту Flask відновлено за замовчуванням (За замовчуванням об'єкт Flask прийме завантаження файлів на необмежену кількість пам'яті).Змінено елемент <title> головної сторінки index.html (видалено рік):
<title>Конспект - v1.0.2</title>
@@ -515,8 +559,8 @@ 👍 Покращення
KEn з версії v1.0.0 (або більш ранньої) до v.1.0.1 дані проаналізованих раніше документів будуть втрачені.JSON-файлу проекту:compressToBase64/decompressFromBase64 (що зберігають allterms.xml в alltermsxmlCompressed, та parce.xml в parcexmlCompressed (в JSON-файлі проекту)).#notes відносно #displacy, #displacy-ner, #displacy-label.KEn з версії v0.7.1 (або більш ранньої) до v.1.0.0 дані проаналізованих раніше документів будуть втрачені.Збільшено розмір nginx client_max_body_size до 500 mb (що дозволяє проводити обробку файлів розміром до 500 мб).
Виправлено роботу елемента #termTree, а саме додано функцію "візуалізації залежностей термінів" з елементу #termTree в елементі #depparse_tab, а саме в #displacy.
localStorage (що відповідають за збереження та ініціалізацію результатів лінгвістичного аналізу файлів проекту), окрім таблиці.#termTree (дерево термінів) в елемент #table-body (таблиця).#button-dropdown-help): додано "Журнал змін" (елемент #button-changelog) - Журнал змін проекту CHANGELOG.md.#uploadResultList), РІС (#uploadUnknownTerms).KEn з версії v0.6.0 до v.0.7.0 дані проаналізованих раніше файлів будуть втрачені або працюватимуть некоректно.localStorage, що відповідають за збереження та ініціалізацію результатів лінгвістичного аналізу файлів проекту.static.Виправлено оновлення деяких елементів при перемиканні/вибору файлів в елементі #projectFileList ("Файли"). Оновлються елементи:
Реалізовано можливість локального збереження файлів разбору allterms.xml та parce.xml через графічний інтерфейс користувача, зокрема, через взаємодію з елементом #button-save відповідно:
JavaScript на клієнті.id елементу #text-content-panel-body.#notes (відключено можливість змінення розміру).Виправлено випадкове виконання функцій events при взаємодії з елементами:
localStorage).JavaScript на клієнті.#term-tree та виділення речень з терміном в sents_from_text).JavaScript-бібліотеки.#sents_from_text та вибраних термінів в #text-content з використанням бібліотеки mark.jsline = re.sub(r'\W', ' ', line, flags=re.I)).title.title.Реалізовано відображення показників частоти термінів за допомоги спливаючої підказки title для кожного терміну елементу #uploadResultList.
Реалізовано можливість сортування термінів в елементі #uploadResultList згідно:
Системні вимоги згідно нових мінімальних системних вимог, україномовної частини README.md.Виправлено помилку UnicodeDecodeError: 'utf8' codec can't decode byte.
Декодовано файл як UTF-8, ігноруючи будь-які символи які закодовані в неправильному кодуванні:
° на етапі нормалізації тексту.\W non-alphanumeric characters) на етапі нормалізації тексту.#projectFileList при евенті видалення файлів проекту за кліком правої кнопки миші.client_max_body_size 50M.CHANGELOG.md, що містить список версій програми та список відповідних змін програмного коду, виправлень та покращень..col-md-6..col-md-6.README.md.id="text-content".id="sents_from_text" area to update for a new text.id="sents_from_text" area when selecting files from id="projectFileList" select list.README.md.id =" text-content ".id="sents_from_text" згідно нового тексту.README.md.language_check.README.md.id="text-content".loader colour.id="text-content".loader.csv.README.md.csv.README.md..xls format..csv.README.md..xls..csv.README.md.