91iݯddlZddlmZmZddlmZddlmZmZddlmZddl Z ddl Z ddl m Z ddl mZmZddlZddlZddlmZddlZddlZddlZddlZddlZddlZdd ldd lmZdd lmZdd lmZddl Z ddl!Z!dd l"m#Z#ejHZ%GddejLZ'GddejPZ(dZ)GddZ*y)N)copydeepcopy)Decimal)datetimetimezone)LoggerPath)DictIterator)cached_property)*fields cmf_import log_configwrapsceZdZdZy)AnonymousFilterct|ddS)N anonymousF)getattr)selfrecords ./common/models/cmf_import.pyfilterzAnonymousFilter.filter!sv{E22N)__name__ __module__ __qualname__rr rrr s3r rc BeZdZejj dzZejj gdzZdZdZdZ e dZ e de fdZe dZe d Zedefd Zedefd Zej0d d d fdedefdZ dOdedededededef dZdZdPdefdZdZde fdZ!dZ"e#dZ$dZ%fdZ&d Z'd!Z(d"Z)e#dQd#Z*ed$Z+e#d%Z,e#d&Z-d'efd(Z.d)Z/dRd*e fd+Z0d,Z1dSd-Z2d.Z3d/Z4de fd0Z5d1Z6d2Z7d3Z8d4Z9e#dTd5efd6Z:e#dUd7Z;d8Z<fd9Z=fd:Z>d;Z?de fd<Z@d=ZAd>ZBd?ZCd@e defdAZDdBZEdCZFdDZGdVdEZHdFZIdefdGZJdHZKe#eLdddIJdKZMe# dWdLedMefdNZNxZOS)X CmfImport) CSV_SETTING_NAMEcsv_import_settings_fieldslogger _last_stats threadingqueuethreading_max_forksdownload_threading_max_forks max_processesimport_settingsworker_flag_file) calc_import_settingscancelcheck_projects delete_dumpget_all_logs_by_zipget_log_filenameget_log_filenames pg_restorepreviewstartstoptake_import_statstmplt_import_settingsCSVNz/tmp/eva_import_worker.flagreturnc6|jjSN)r1existsclss r worker_herezCmfImport.worker_here<s##**,,r c8|jjyrB)r1touchrDs rcreate_worker_flagzCmfImport.create_worker_flag@s ""$r cn|jjr|jjyyrB)r1rCunlinkrDs rremove_worker_flagzCmfImport.remove_worker_flagDs+    & & (  ' ' ) )r c|js8|jdg|jdDcic]}|d| c}|_|jScc}w)N json_settingsr0name)_import_settings load_fieldsrN)rss rr0zCmfImport.import_settingsIsU$$   o. /;?;M;MN_;`$aaQvY\$aD !$$$%bs Ac8tjrtjntj}tj j d|}|sGtj d|}|j|js|jdddtj j d|}|sGtj d|}|j|js|jdddtj|jddtjtj }|j||j!tj#tj$tj|jddtjtj }|j||j!tj#tj$|j't)tj+}|j||j!tj,tj.j1t2|||}|j5tj7d |j8}|j|d|_|j.s2|j=tj.j?t2|S) uE Журнал логирования процесса импорта data.logrOparentr F) make_preview mark_dirtyzanonymous_data.logutf-8D)filenameencodingwhenmaxBytes backupCountimport_) configDEBUGloggingINFOmodels CmfAttachmentgetsave file_exists upload_filer MyLogsHandlerfull_path_fileIMPORT_LOG_MAX_BYTESIMPORT_LOG_BACKUP_COUNTsetLevel setFormatter Formatter FORMATTER addFilterr StreamHandlerCustomFormatterhandlers QueueListener log_queuer; getLoggerid propagate addHandler QueueHandler) rlevelattachment_logattachment_log_anon file_handleranonymous_handlerconsole_handlerlistenerr)s rr)zCmfImport.loggerPsq"( 7<< --11z$1O#11z$1ON    !!--**3Uu*U$22667@7K7K7M6>-/  !$L $'NNL !{{(, (A(A#(F %)-)C)CC)H & r cXtj|_tj|_yrB)raIMPORT_THREADSr-IMPORT_DOWNLOAD_THREADSr.rs r_prepare_multiprocessingz"CmfImport._prepare_multiprocessings#)#8#8 ,2,J,J)r Tc ddl}ddl}|j}|dz }|r|jd|dd|j j }t |dz }|r|jd |d dtjrttj|}|r%|jd tjd dtt |d z |}|r|jd |dd|std|d|d|S)u. Рассчитывает максимальное количество процессов для создания нескольких независимых процессов Returns: int: максимальное количество процессов rNu4Количество ядер системы (CPU): u (не менее 2)T)r@u%Доступно памяти (RAM): u! ГБ (по 2 ГБ на ядро)u/Количество процессов (MAX): uB (в параметре 'IMPORT_PROCESS' конфигурации)ru (итоговое)uYНедостаточно системных ресурсов для импорта (CPU: z, RAM: uq ГБ). За дополнительной информацией обратитесь в техподдержку) multiprocessingpsutil cpu_countrvirtual_memory availableintraIMPORT_PROCESSmin Exception)rrrrrr/available_memoryavailable_memory_gbs rget_max_processeszCmfImport.get_max_processessW '$--/ !A  HHFykQef   "002<<!"2i"@A  HH78K7LLmn     5 5}EM  HHA&BWBWAXYTU  C 3a 78-H  HHA-Pcd   " 7+>*?@|}  r ctjjd|dg}|s'tjd|}|j|js|j j d|jS)uK Возвращает путь текущему файлу rTurl)rOrVrrUu Начало)rerfrgrhrir)infor)rargsrrs rr7zCmfImport.get_log_filenamesp --11z$X]W^1_#11z$1ON    !)) KK  ^ ,!!!r c t|jd}|jddtj|Dcgc]}tj j tj j||rEtjd|r/tj jd|j|}}|Scc}w)u Список файлов после logrotate, чтобы можно было загрузить историю T)parentsexist_okz%(?:data|anonymous_data)\.log(\.\d+)?$files) r get_files_dirmkdiroslistdirpathisfilejoinrematch)rrrdir_pathf file_lists rr8zCmfImport.get_log_filenames s**401td3MOZZX`MaPrww||Ha'@A"JANWW\\'4+=+=+?CP PPsB Ccddl}t|jd}|jd}tj j |rt j||j|d5}|jD]3}|jdtj}|j|5 dddtj jd|jdS#1swY8xYw)NrT all_logs.zipw/filesr)zipfiler rjoinpathrrrCremoveZipFiler8replacera UPLOAD_DIRwriter)rrrrrzip_pathmyzip file_paths rr6zCmfImport.get_all_logs_by_zips**401$$^4 77>>( # IIh  __Xs + 'u!335 ' %--h8I8IJ  I& ' 'ww||GT%7%7%9>JJ  ' 's 6AC55C>cddlm}tjjd}|j j |s|j|d}|S)Nr) cmf_hashlibtask_code_prefixABCDEFGHIJKLMNOPQRSTUVWXYZ) enc_table)cmf.utilrre CmfProjectrregex fullmatch short_str_enc)keyrrs rget_correct_keyzCmfImport.get_correct_key$sN( ",,334FG%%//4++C;W+XC r c8ddl}ddlm}||jd}|j t j jdd}|j}|r|j|d5}|jD]H} | jdtj} |j| tj| J dddtj j#d|jd Sy#1swY9xYw) Nrr Tz %Y%m%d%H%Mz _all_logs.ziprrrr)rpathlibr rrrnowstrftimer8rrrarrrrrr) rrrrr rrlog_file_pathsrrs r zip_all_logszCmfImport.zip_all_logs2s **401$$ (?(? (M'Nm%\]//1 3/ )5!%!7!7!9)I ) 1 1(FD>N>N>a>a>cDnn>_>_>aD>O>O>b>b>dD>O>O>b>b>dDnn>_>_>aD>S>S>f>f>h*9>56+0<(*.;'4901!// r c |jgd|jdry|jjjdd|jd<|jjjdd|jd<|jjjdd|jd<|jjjdd|jd<|jjjd d|jd <|jj | |jd<|j|_|j y) Nrr0r Tr r Fr r r)rQrNvaluergrr>rhrs rr>zCmfImport.tmplt_import_settingsps4 KL   / 0 -1-?-?-E-E-I-I.Z^-_>*9=9K9K9Q9Q9U9UVprv9w56+/+=+=+C+C+G+G V[+\<(*.*<*<*B*B*F*F{TX*Y;'484F4F4L4L4P4PQfhm4n0104 0Q0Q]a0Q0b,-!// r czd|jdd}tjd|d|t|y)Nu1Ошибка при импорте данных. .ue. Проверьте загружаемый файл и повторите попытку снова.zCmfImportError: : )striprcerror cmf_alert)res r _log_errorzCmfImport._log_error}sBA#))C.AQRwx (Rs34#r c|jdg|jdD]}|d|jk(s|dcSgS)NrNr0rOr)rQrNr')rsettingss rr(z$CmfImport.csv_import_settings_fieldssS /*+**+<= *H4#8#88)) * r ctjjtjj d|tjj y)uJ Запускаем в фоне импорт данных r;N)re CmfAccessListactivate_admin_moder& run_workerrI import_id_args_kwargss rr;zCmfImport.starts> 002##GY7++-r cDtjjd|y)uR Останавливаем в фоне импорт данных r<N)rer&rrs rr<zCmfImport.stops ##FI6r entity_typec8|jdgd}||vr4|jjjdk7rt d|ddd|i}t j jd |j| t j jy ) u Запускает отдельную обработку сущностей (фильтры, связи, ссылки и др.) Args: entity_type (str): тип сущности (filters, relations, links, etc.) rfilters relations CmfPluginJirau4Запуск отдельной обработки 'u?' возможен только для импорта из JiraTabortr$process_entity)paramsN) rQrrrrrer&rrzrI)rr$ jira_entitiesr-s rr,zCmfImport.process_entitys ($ = ( !!,,? F{mTPQ   -##$4dggf#M++-r cpddl}|j}|jr|j|yy)Nr)shutilget_download_pathrCrmtree)rrrr0 download_paths rr5zCmfImport.delete_dumps0..0    ! MM- ( "r rowc d}| |j}|sg}i}t|jD]Q\}}|dr,||r'|ddjdd|jk7r8|dd|k(sD||||dd<S|s|S||} t t | d } |D]^} |jj| } t| tjst| tjrNd} | jD])}|jd d d || gd d || ggd g} | s)n| rt| | | t| tjrt| | || || }t| tjrDt!j"|d}t!j$|t j&j(}t| tj*rK|j-| d |ga|j.dr|j|d g}|s|jd }|r|j|d gd}|r| | _|j| j2d g}|r8| j2dt5j6t8j:d| _| }|j=|S)u Импортируем объект :param list row: Строка из файла :param models.* model: Модель для создания объекта :param list _filter: Для фильтрации объекта :param str key: Ключевое имя для сопоставления модели :return: Новый или найденный объект :rtype: Optional[models.*] N model_fieldfield_qualnamerr verbose_name field_namerrORrO==z**rrRUunionT)rrinclude_deleted)rOr_z %Y%m%d-%H%M%S)r8 enumerater(splitrstrrrrg issubclass CmfRelationCmfGenericRelationrelated_modelssetattr CmfRelBaseCmfPhone phonenumbersparse format_numberPhoneNumberFormat INTERNATIONAL CmfNumericrrNrrOrrrutcrh)rr4model_filterrresult_fieldsisettingnew_objnew_coder9fieldrel_obj rel_modelvalphoners r _process_objzCmfImport._process_objs ;$$CG#D$C$CD GJAw=)Q}-.>?EEcJ1MQVQaQaa}%n5<@CA .|<=  GM4(ww/0! 4JLL$$Z0E%!3!34 5&JcJc8d!&!5!5!7I'mmD64Q[I\:]5;T7:CV4W4Ybfag,iG  GZ9%!2!23 GZ)< =*%C%1$**35"00 8V8V8d8de%!2!23 NNJc2 3/ 42   g &YYgtfY=F;;v&DdVTR' YYGLL$Y@F"),,qhll1KM0Z[ F KKM r c&|jdS)um Ручка фронта для проверки конфликтующих проектов T)as_msg)get_conflict_projectsrs rr4zCmfImport.check_projectss)))66r c |jdg|jjjdk(ryg}ddd}|jddd }|d Dcgc]}|d s |d s|d }}|D]}|j |d }|j dxs|d} |jjjd|d} tjjddd| gddd| dggdgd} | r8| jj dxs| jj d} | rK|jjjdk(r| jdk(s | k(r| jd |k(rtjjddd| gdd|ggdgd } | D]}d}t|jxr7|jj |jjjk7}|jjjdk7r2|jd!k(r#d"|j"d#|j$d$|d%<|}n|jjjdk(rf|jd!k7rW|jdk(r+|jd&ddd'k(r|j&sd(|d)<d*| d#|j)d$|d%<|}n|jr|j&s|r|}|sR|j"d+|j$d,} |jdk(r| d-z } n|jd!k(r| d.z } |j&r| d/z } n|r| d0z } |j+| |fd1}|rCd2d1j-d3|Dd4d1j-d5|j/Dd6}|r|S|D cgc]\}} |  c} }Scc}wcc} }w)7u Возвращает список конфликтующих проектов или текст сообщения для предупреждения Args: as_msg (bool, optional): возвращать в виде текста для сообщения. Defaults to False. Return: list, str: список проектов или текст сообщения plugin.plugin.source_hash CmfPluginCsvNu^отменить выбор аналогичных импортируемых проектовuудалить существующие проекты (проекты и все их данные будут безвозвратно удалены))r3deleteselectedObjectsrrchildrenr isCheckedr original_namerO::rzr:ext_id=LIKE%::::%T)-- logic_prefiximport_raw_json)rr?rrCmfPluginConfluence project.agileILIKEr)rrrzcmf_import.ext_id cmf_deletedz project.wikiuдобавить суффикс 'Wiki' к названию или коду существующих Wiki-проектов (пример: 'z Wiki' (zWIKI))r  import_typeprojectuобъединить с существующими Agile-проектами, запустив импорт с опцией 'Импортировать в Документы Agile проекта'combineuимпортировать с добавлением 'Wiki' к названию или коду проекта (пример: ' ()u Agile-проектu Wiki-проектu( удален в корзинуuI импортирован из другого источникаu

В системе уже существуют проекты с аналогичными названиями или кодами:

    c3.K|] \}}d|dywz
  • z
    • Nr$).0 project_namer@s r z2CmfImport.get_conflict_projects..s` a4 ~U3`su

Для продолжения импорта вы можете:

    c3(K|] }d|d ywrr$)ractions rrz2CmfImport.get_conflict_projects..sM&4xu-Msz
)rQrrrr0rrg source_hashrersgetrsrrlistboolrrlrOrrwupperrrvalues)rraconflicting_projectsactionsrootr]selected_projectsprjselected_project_keyselected_project_nameselected_project_ext_idryrmatching_projectsmatching_projectconflicting_project other_sourcerr@s rrbzCmfImport.get_conflict_projectss 567 ;;   ' '> 9 !wo  ##$56w?B37 3CgCs5zVYZeVfSZgg$m UC#'#7#7E #C $'GGO$<$KF !)-););)G)G(H3t9+&V #'',,s$;<v-D,ES'IJ !%- G&66::6BjgF]F]FaFabiFj  ))448MM#00OC%(==#33E:>RR!' 1 1 6 6W&;<'2FG !%!7 ! %66 U &*##$//](33::dkk>P>P>\>\\  KK%%004II(55GAAQAVAV@WX,==>fFL) +;'KK%%004II(55G'44G// >wGMQZZ$/;;#z$I. ++@*AB06689AL) +;'(33'33#+;'&&9&>&>%?rBUBfBfAggh#iL*77?J$(FF ,99^K$(EE *66$(RR %$(ss (//?R0STm6 Uom U^ `K_``abMGNN PGyy$$&'1//::w:OO P emq rr c.|jgdd}|jr tj5|jj j drBtjj|jj j|jj j drY|j}|rG|D]B}|jd|tj|j!d t#Dd t$j&d <d |_d |_|jjj,j |_|j1t#d t$j&d <|j2D]i}|j2|D]U}d }|dk(r9t5|j7j9r|j2||}|j;|||Wktj<j?dd|g|jjA|}ddd|jS|_|j1tTjVjXj[|S|j\dk(r|j_Sy#1swYxxYw#tB$r_}tEtG|dtIjJ|jLd}|jOd|||_(Yd}~d}~wwxYw#|jS|_|j1tTjVjXj[|ccYSxYw)u9 Импортируем файл в бд )rplugin.plugin.*zplugin.*Fr rr u7Удаляем конфликтующий проект r~T)TEXKOM_db_deleter}NO_CACHEr1 downloadedrr;rrN u*Ошибка работы импорта: r)0rQrcmfutilenable_import_moderNrrgrerr rrrbrrcWARNINGrfrrenvironimported_object_countprogressrrlrh import_statsrr1iterdirinc_statr bulk_deleteprocess_importr cmf_rollbackrCr format_tb __traceback__r error_msgget_redis_import_statscmfapp CMF_CACHEflushdbr_process_import_excel) rrTprojectsryobj_nameopr]err error_texts rrzCmfImport.process_imports => ;;& //1I))//33K@00::tyyG\G\G^:_))//334NO#'#=#=#?#+3- $+bcjbk)lt{uDuD!E ' E * -.0BJJz*12D.$%DM"&++"4"4"@"@"F"FDKIIKL-0BJJz*$($5$5="&"3"3H"==B"#C!\1d4;Q;Q;S;[;[;]6^&*&7&7&A"&E MM(B< ==))55lDRV=W5X![[7747HF5IB%)$?$?$A! !!))+ 99 --/ / OII6 , #CzI,?,?@Q@Q,RSU,V+WX !KC5QR!+  , %)$?$?$A! !!))+ sCKHK K KK L=AL83M8L==MANc |ddlm}|jr|jdsyd} i}i}i}i}i}i}i} |j } t | D]\}} |dk(r|jdri} i} d}d}t |j D]\}}|dr| |s|ddjd d}| j|i}|dd jd }|d}| |}|d k(r|}g|d k(r|}ot|d kDr,|dk(r || |d <|j|i}| |||d <nT|dk(r|dk(r|j| |}n5|dk(r|j| |}n|dk(rd|j| |i}|||<|| |< | jdi}|jdd}|j|jd}|s8|j|tj |\}}|||jd<|j|tj"| \}}| jdi}|jdr|d|d<|jdi}|r| j|}|s|dk(rAtj$j'ddtj(jd}n@tj$j'ddtj(jd}|| |<||d <||d<||d!<||d"<d#d$d%|j*gdd%|dgg}|j|tj,||\} }| j.j1|| j3| ||d<|r(|j|g}!|!j1| |!||<|r.|j|dg}"|"j1||"||d<| jd&ijd'd}#|#rd|#d(|j4j6}$|j|$i}%||%d!<|#|%d'<|%jd)g}&|&j1| |&|%d)<|%||$<|j|jd}'|'stj8jd#d*d%|j*ggd+g,}(d#d*d%|(j*ggd-g})d.||(d/d0}*|j|tj:|*|)1\}'}|'||jd<|j|tj<|'| d2|j?D]\}$}+tj8jd#d*d%|+d!j*ggd3g,}(d#d*d%|(j*gd'd%|+d'ggd4g})tj,j|),},|,sMtj-|+d!|(|+d'tj@jd56},|,j3|+d)D]} |,| _!| j3d78|j?D]Q\}}-|j|}.|.s|-D]3}/|/jBjE|.|/_!|/j35S|j?D]e\}}0|j|}.|.s|0D]G}1|j|1}/|/s|/jBjE|.|/_!|/j3Ig y7#tF$r}2tI|2d9|d:|2d;tKjL|2jNd<}3|jPjS|3|3|_*|jVjYd=>|_-|j3Yd?}2~2yd?}2~2wwxYw)@u Запуск импорта из CSV :return: Истина в случае успешного импорта r)CmfPluginImportMixinr0F first_rowr}r6r7rr9 parent_task child_tasksr executorsrrrpriorityrrrurr cmf_author cmf_ownerz project.basez task.base%base)r) cmf_modelprefixactivityztask.agile:softdev%softdevrryrVAND parent_idr;rrOr@taskstree_parent_id)rOr;Sprintsr)rOr; Доскаrkanban)rOrV tree_parent list_type)rrR obj_fields filter_obj)leftright)rOr;Epics)rrrmz task.epicztask.epic:default)rVrrO logic_typeT only_datau Строка rrr import-error status_codeN).%common.models.cmf_plugin_import_mixinrrrN _get_filerAr(rBrglenget_logic_prefix get_priorityget_status_type setdefaultprocess_any_table_fieldsrerr CmfWorkflow calc_workflow CmfActivityrzrrrrhrr CmfFolderrCmfListCmfTaskitems CmfLogicTyperrrrrrrr) exceptionrrrr)4rr number_rowall_parent_taskall_child_tasksall_epic_tasks all_tasks cash_board cash_projectcash_workflow_task file_readr4executorrUparent_task_codechild_tasks_codeidxrW model_name_row fields_namer9rproject_fieldsrrryr@ executor_obj task_fields value_statusr filter_tasktask_objtmp_parent_taskstmp_child_tasks epic_nameepic_keytmp_data tmp_taskslist_obj parent_folderrrdataepic_objrrsub_task tasks_code sub_task_coderrs4 rrzCmfImport._process_import_excels Ot'9'9:K'L q  O ONIJL!# (I#,Y#7{ e C?t'9'9+'F#% #% $-d.M.M$N/LC"=1S !(!78H!I!O!OPS!TUV!WJ";;z26D")-"8"F"L"LS"QK!,QJHE!]2+0( #}4+0( ;'!+%47-88Y &**>+=+=f+EF!5!N!NtU[UfUfhv!wJGQ?FL!3!3F!;<"6"O"OPTV\VfVfhp"q a%kk)R8 ??<0/:9'-'9'9'G'GR[dpQWQcQcQgQgmsQgQt(H(vH(.'9'9'G'GR[OdQWQcQcQgQgmvQgQw(H(yH>.*<*"@J*6,31>/7"9J#7"O"O[_V\VdVd[e[e#P#gKHa>FJ~11&9:$==dFDYDYGOZb>ceu{ e|#1"6"6"8 2$ & 0 0 4 4UEUW[]abk]l]o]oDp=T=V 4!W $&6m>N>N%O%tT&\:<^` !>>--Z-@%~~T)_R_37<9?9L9L9P9PVi9P9j . lHMMO $W 2H+3H(MMDM12 2$,;+@+@+B (' %'mm,<= $)( ,,113/:, ( (1@0E0E0G ,, *'mm,<= )3, #,==#?#$005573>H0$MMO , ,$   ( Bse2i>Q>QRURcRc>deg>h=ijJ KK ! !* -'DN--::~:VDK IIK s,Y\+A#\\(5\ ^;(B ^66^;c :|j|tj}|r|syd}|jD]}|ds |dddk(s|}|j dgtj j |jt|d|jjdg}|s?tj |t|d|j| }|j|jjd t|jjD][}|j j|jk(r'|j#|jjj%|]|j|tj&tjj(d d |jgdd |jgg}|j ddg||_||_|j.r|j|S)u; Импорт товара в сделку Nr6r7zCmfProduct.pricescurrencyfile_valprice) product_idr currency_idr)productrrrT)forcedeal_idr;r)rrSr sales_order)r_re CmfProductr(rQCmfPricergrzrrrhpricesrr deal_itemsrrrfr CmfDealItemsr8dealr is_changed)rr4r&r price_settingrritems r_process_productzCmfImport._process_products##C):):;7 77 )H &8M+BCS+TXk+k (  ) *&##wzzWaIbAc04 0@0@'$TOOG7=Q[C\;]hlhuhu/3$5E JJL$'../ /D!!TWW, KKM OO ! ! ( ( .  /   f&9&9v?P?P?]?]+4dDGG*D|UY[b[e[eFf)g!i )]34  ?? IIK r c|s|r |jsyd}|jD]}|ds |dddk(s|}|syg}tjj |d}|s)tj|d}|j |j dd|jg|r|j dd|jgn(|j dd|jjg|j|tj|}|jd d g|js|r||_n|j|_|js||_ |jr|j |S) Nr6r7zCmfDeal.pipeliner)rO pipeline_idr; company_idcompanypipeline) r.r(re CmfPipelinergrhrrzr_CmfDealrQr/r') rr4contactr.pipeline_settingrrSr/r&s r _process_dealzCmfImport._process_dealsUw77 ,H &8M+BCS+TXj+j#+  , %%))/? /K)L))/? /K)LH MMO tX[[9:  NNL$ ; < NNL$0B0BC D  fnng> )Z01||& & }}$DM ?? IIK r cddl}ddl}ddl}|jr"|j|jz dkry|j|_t } |j|j |j }|jd|jd|d<|j |j|d<|j|d<|j|j|d <|jj!d |y#t$rd|d<YxwxYw#t$rd|d<YxwxYw) Nr)z8.8.8.8PipzIP unavailabler)rrrmemorydiskzSTATS )timersocketr*dictAF_INET SOCK_DGRAMconnect getsocknamecloseOSError getloadavgr disk_usager1r)r)rr;rr<statsrRs r get_statszCmfImport.get_statss(   t/?/?!?1 D $499; + fnnf.?.?@A IIo &--/!,E$K GGI '"--/E&M!//1h))$*@*@*BCf  6%)* +*E$K +  '&E&M 's%AD!:D5!D21D25EEcddl}tjj|j }|j |\}}}|dz }t jj|jddg}|dkrNd|_ |jr:|jt|jjd|d d y |jj d k(s|j"d k7rId|_ |jr5|jt|jj%dy t|j'y)Nrrrcache_status_typerzr ru8Импорт прерван, место на диске z.2fz Gb < 10GbTimport-stopping IN_PROGRESS import-pauseduA**** Импорт остановлен пользователемF)r0rrimport_heartbeatr1rErer&rgrzrr'rhrr)rrrIwarningrG)rr0r3totalusedfreefree_gbrs r is_cancelzCmfImport.is_cancels""335..0 "--m<tT'"""dggxAT6U"V R<'CJ~~   !!$\]deh\iir"st ::??/ /33H3HM3Y(CJ~~   ##$gh  r r-c $ddl}d|dg}t|tr/|jD]\}}|j |d|ddj |}|j dddd |d |d gd d td dtddy)ul Запускает выполнение метода импорта в отдельном процессе Args: method (str): метод импорта import_id (str): ID импорта (CmfImport) params (dict, optional): параметры запускаемого метода. Defaults to None. rN"z=",/usr/bin/python3 manage.pyshellzHfrom common.models.cmf_import import CmfImportWorker; CmfImportWorker().(r|T"/var/log/eva-import-subprocess.loga+&/var/log/eva-import-subprocess.err.log close_fdsstart_new_sessionstdoutstderr) subprocess isinstancer=rrrPopenopen)methodr r-reparams_lkvs rrzCmfImport.run_workers  {!$% fd #  .11#Rs! - .(#"K%%+HAfXQ8  "jAd/| D]P} jjj d| d0d} t j.j| dg }|sPn| s"jj|d1| |sljj|d&| d2| vrt>jCd3| }|s"jj|d4| t jjd dd|jEd5d0ddgd g}|D]*}|jd|jEd5d0dk(s(|}n|sjj|d6|jEd5d0dd7| vrt>jCd8| }|s|jEd0}tjj!|jEd9}t j.jd:d|ggd;ggd<}|D]}d}|jFrN|jFjr8t#|jFjjHjd}|s]|jrQt#|jjHjd=ijd,d>jKd?d@}||k(s|}n|s%jj|dA|d50d*|jd<| |jd+<|j8|jd<idB| vrt>jCdC| }|s|jEd0}t j.jjjj d|}|s"jj|dD| d*|jd<| |jd+<|j8|jd<8dE| j*vrt>jMdF| jNrt>jCdG| jN}|s|jEd0}t jjd!dd"|gd ddH|dIggd g}|D]*}t#|jdJt#|k(s(|}n|s$jj|dK|!|jt jj|Qy#t&$r.} jj|d| d| Yd} ~ d} ~ wwxYw)LNc$|jdS)N data-issue-id)has_attr)tags rz@CmfImport.obj_check_links..check_links..so1Nr ruT: Не удалось найти id задачи в атрибуте 'data-issue-id'rkrlu;: Не удалось найти задачу по ext_id ''zdata-macro-namejirarz data-jira-keyuX: Не удалось найти код задачи в атрибуте 'data-jira-key'rsrn%"key":""%r<ru=: Не удалось найти задачу по коду "rWa cmf_convertedhrefu#: Ссылка без адреса u9: Не удалось разобрать URL-адрес 'z': httpzdata-linked-resource-typezdata-linked-resource-idpage)Nnull)rlrrlrorp%"homepage":{"id":"ru<: Не удалось найти документ по ид z data-anchor#z##T href_origspaceuD: Не удалось найти пространство по ид z/wiki/z\/\d+ru<: Не удалось найти ид документа в z/browse/z \/\w+-\d+u8: Не удалось найти код задачи в ru<: Не удалось найти задачу по коду z /display/z+/display/([~]?[A-Za-z0-9]+)+(?:/)?([^?#]*)?rrOrz!=N)rrszparent.import_raw_json _expandabler}/ruD: Не удалось найти документ по ссылке z/pages/viewpage.action$/pages/viewpage.action\?pageId=(\d+)uE: Не удалось найти документ по ссылке: kaitenz%^(?:/\d+|/space/\d+/boards/card/\d+)$z(\d+)$z%"id":z,%rzu=. Не удалось найти задачу Kaiten по ID )(find_allrgr)rPrrrer replace_withrecreate_tag_linkrrsrurllibrL unquote_plusrCurlparserschemehostname startswith CmfDocumentrstringrOrfrquotelstriprfindallsearchgrouprVrrBrr)main_objsouprissue_id issue_ext_idtaskrtask_keyrr parsed_urlexcrl resource_type resource_idtag_href anchor_nameext_codeobjsr4r space_key page_namedocsdoc doc_spacepage_idtask_idrrs r check_linksz.CmfImport.obj_check_links..check_linkssg }}%NO L77?3KK''#*$xy"&++"4"4"@"@!AH:N ~~)))>KK''#*$_`l_mmno  !4!4!D!DT!JK! L&}},=v+F}G K77?3KK''#*$|}++-v(27NO-., "D++E2h>"KK''#*$abjakklm  !4!4!D!DS!IJ3 K6}}S)L O99==1iimmF+KK''#*$G HaHabefibjHkGlm !'!6!6s!;J$**j.A.A"))44V<ATATX`A`C!F$'GG,G$HM"%''*C"DK$.;n3T$(KK$6$6$B$B#C2k]!S$0044FF84T #"("3"3"7"7%-vT[[=O=O=[=[<\\_7`$a%6BVWbVcce@f$g("#8#C # KK//#+*,hiohp q%::SXX6*S&J[J[:\'*xxH"ww}5.4ll.@.@]ASAZAZ[^A_.` .6Zr++G9=CIIo658CIIk208CIIf-$&'1k$//33HfPST_S``cNd;e.check_pagetree_roots}}M;+G}H 99==1(+ 6M(N%,KK''8*4ijmin(op"yy}}-AB &*kk&8&8&D&D%ER ~#V & 2 2 6 6>N 6 O $$*$5$5$9$9%vT[[5G5G5S5S4TTW/XY.:N|n\^8_` %:%M!#'::.C#DL+8+;+;+A+AL(1>1C1C1I1IL.37::l3KC/0+1C(01KK''#*%@AM@NO; r c \|jddiD]}|jddjdk(r(|jd}|jdd }tj |}|jd }t jjd d d jjjdgddd|dggdg}|s"jj|d|d|j|d <tj|dd|d<d|d<y)Nrwikilivesearchrrfalserzdata-macros-parametersz"rWcurrentSpaceKeyrlrnrorprsrvrrrqr<u: При конвертации макроса 'Livesearch' (Динамический поиск) не найдено пространство с ключем 'A'. Возможно оно еще не импортированоFrX: ensure_ascii separators)rrgrrrrrerrrrr)rPrzr)rrrmacros_parametersr-rryrs rcheck_livesearchz3CmfImport.obj_check_links..check_livesearchsY}}M;K+L}M .77?G4::<F$'GG,D$E!$5$=$=h$L!$56"JJ'89  ++00!6S1C1C1O1O0PPS+TU*Gx {"5MN!6 1KK''#*%YYbXcdYZ ,3JJ()04 !&)1;1,- (.O$= .r c H|jdddgiD]}|jd}|jdxs|jd}tjjdd d jjj d gd d d|dgg}|s"j j|d|dtjj||}|rt|j|d<j j|d|d y)u\ Добавляет ID документа в макрос "Include" rzinclude-excerptz include-pagerzdata-param-projectkeyzdata-param-pagenamezdata-param-page-labelrlrnrorprsrvrrru`: В макросе "Include" не удалось найти пространство по key "uA". Возможно оно еще не импортированоrUzdata-param-pageidu_: В макросе "Include" не удалось найти страницу по имени "u@".Возможно она еще не импортированаN) rrgrerrrr)rPrrCrz)rrr projectkeyrry excerpt_pagers r check_includez0CmfImport.obj_check_links..check_includes[}}M^  ++//!6S1C1C1O1O0PPS+TU*Gx |25NO0 KK''#*%yzDyEEYZ %11559W5U /2.check_childpages..s;5!u{{323q8 C+5s:<|rrrrrlrnrorprsrvrrru: При конвертации макроса 'Отображение дочерних' не найдено пространство с ключем 'rrUu: При конвертации макроса 'Отображение дочерних' не найдена страница 'u9'.Возможно она не импортированаzextension-object-name)class_z | r documentIdFrr)rrgr=rBrVrerrrr)rPrfindrOrrrrCrzr)rrrrydocumentspacekeypagenameoriginal_macro_parametersr parent_pagespan_object_namemacro_parametersr-rs rcheck_childpagesz3CmfImport.obj_check_links..check_childpagessY}}M?+K}LC .77?+v5,/GG4T,U),045%>%D%DS%I51- 144V<8@3;&)jjG D[15C1C.Hh&)jjG'+H$//33%vT[[5G5G5S5S4TTW/XY.8H:R9PQ 4G # ++"e$]]e\fg]^ !%11558G5TH# ++"e$EEMJOVW !&1' '*xx7Nx'O$03K4D4D3E.F$+'*ww/F'G$!ZZ(89F+.{~~+>F<(37::%*#-4>4C/0 (.O$GC .r task_raw_data local_linksc|xsg}|jdgD]}|d}|d}|jddk7s&|jddk7s|jdd rHtjd |d }|sd|jd }tj jd dd|g}|s||vr|j |d|d<|S)N remotelinksobject applicationrzcom.atlassian.confluence relationshipz Wiki Page processedFrrrrlrnrorT)rgrrrrerr)rr remotelinkremotelink_objremotelink_apprrrs rcheck_remotelinksz4CmfImport.obj_check_links..check_remotelinks1s%+K+// rB 3 !+H!5!+M!:#&&v.2LL!~~n5D!~~k59 "I>Z_K`a#kk!nG ,,006SQXPY?8[0\C +-#**3/.2J{+) 3, r c |jsy|jd}|jD]}|s|jD]\}}|s tj dtj }|j |s@|d} ||dj|jjDcgc] }t|c}||<d|i|_d|i|_ ycc}w)u Конвертирует ссылки, которые могут быть в макросе "Свойства страницы" Ndetailsz )flagslxmlr}) macros_dbrrrcompileIrrbodyrhrCmacros_db_draft) rrdetailrrpattern value_soupxrrs rcheck_macros_dbz2CmfImport.obj_check_links..check_macros_dbLs==mmI.G!..* V"(,,.VJC   jjbddjCG">>%0 !.uf!=JZ0"$'':??;S;S*Ta3q6*T"UF3KV V'0CM#,g"6C +Us9C, F)init_views_and_dsTDONE) rVrzcomments.log_levelz comments.text text_draftrrsrrru5Конвертируем ссылки объекта r{r|r}rrtrrr ) save_importrruVНе удалось конвертировать перекрестные ссылкиzERR-0034)rrrr@N)cmf.apprbs4rr=rrUrgr get_obj_by_idr)debugrrrhtmlrrrrrhrCrsrr'hasattrrhcomments log_levelrput)rr obj_queueobj_queue_errorsrrrrrrr has_errorsobj_idrobj_textrrcomment comment_textrrs`` @@robj_check_linkszCmfImport.obj_check_linkss'%| O|$ L .B @G .R T  6 7, 5 1J $>>#"V#A$!// 0 CKK%%(]^d]eeghkhphpgqqr&st"xx~~3H(6:Dyy#C. KK--88L+;L! D8L+L& L+0L+M ! L++MM  Mc 6ddlm}ddl}tj 5tj 5tj 5|jd}tt|}tjjddgdgdg}g} |D]i} | js| jtjj!| jj"j$j'k|j)d|j*d |d |t-j.} t-j.} g} |j)d |j0|jj3}t5|j0D]`}t7j8|j:d || | | d }| j||j=|j)d|bd}gdgdg}|j?|ddg|||zg}|D]4}|jArn"|dz }| jC|jD6| D]}| jCd|j)d|j*| D]}|jG|jj3|z }|j)d||jIz dd}| jKs$|| jMz }| jKs$|j)d|j*d||cdddcdddcdddS#1swYnxYwdddn #1swYnxYwdddy#1swYyxYw)NrrrIN)rtr)CmfPluginTrackerApiCmfPluginYouTrackCmfPluginKaitenCmfPluginZephyrScaleext_urlr<u)Конвертируем ссылки в uB на локальные задачи и документы start=z limit=uJОбрабатываем ссылки в несколько тредов: r3)r,r-r)targetrOru.Параллельный обработчик rimport_originalr;Trqrz)rrslicerru,Ждем обработки ссылок в u*------------------------ скорость u# обьектов в секундуu6Закончили обработку ссылок в u. Ошибок: )'r#rrr disable_acldisable_notifyrrvarsre CmfPluginrr:rrrLrrnetlocrrr8r,Queuer-rranger+Threadr3r;slistrUr+rzr total_secondsemptyrg)rrr;limitrrr.rRpluginsrrr,r- obj_processrRrVproccntrSrrdiffs rprocess_cross_links_by_modelz&CmfImport.process_cross_links_by_models'  "E G$:$:$<E g>X>X>ZE   ) ) +JL,E &&++D "{, GH! \~~ 5 5fnn6J6J K R R X X Z[ \ HH@ASAS@TUWX]W^^efkelm n I${{} K HHabfbzbza{| }!!%%'A4334 R ''//*1#.%.,<$,""4( I$PQ RC13RSG;;gtTl',eem&<>D &>>#q cff%  & $ & f% & HHCEDVDVCWX Y#   $$((*Q.D HHA#HZHZH\B\A]^AB CJ&,,..2244 ',,. HHMeN`N`Maaqr|q}~ KE E E E E E E E E E E sGNM: KM%'"M% M: N%M. *M:1 N:N ?NNcddl}|jdddd|jd|d|dtjd gd d t d d t d d }|j jd|jd|d|d|S)NrrYrZr[z&cmf_import = models.CmfImport.get(id='z,');cmf_import.process_cross_links_by_model('z', z, z);Tr]r^r_r`u1Запущен process_cross_links_by_model (pid=z model_name=z start=r|) rergrzraIMPORT_OBJ_CNTrhr)rr)rrr;rerMs r_execute_cross_linkszCmfImport._execute_cross_linkss"K8 B<>#-/NOO1 BJL,Ekkk1G L KK  GHZHZG[[^_i^jk==A=O=O>#h. \]efi\jkBCIBJK L   NN@F M  sI66 J?JJJc d|vr tdd}|d|d|j}tj}|jd|d}|jj |d}|j  |jj5} | j|jj||| j|||n7|j|r| j|n| j|d|| jddd |j|d k7r|s d |d|j}|d}|jj |d}|j  |j|sd |j*jj-|ivr}|jj5} | j|jj|| j||j*|d || jddd |jyyy#1swY3xYw#tjj $r=} t"j%d | d |j&d |j(Yd} ~ zd} ~ wwxYw# |jw#tjj $r<} t"j%d | d |j&d |j(Yd} ~ wd} ~ wwxYwxYw#1swYxYw#tjj $r<} t"j%d | d |j&d |j(Yd} ~ yd} ~ wwxYw# |jw#tjj $r<} t"j%d | d |j&d |j(Yd} ~ wd} ~ wwxYwxYw)N-uAНельзя использовать "-" в obj_name: {obj_name}i: z.lock)timeout)exrzlock release error z , lock_name z , timeout rz downloaded-)rrzAPPREDIS_DBredislockacquirer/saddrsetrCincrexecuterelease exceptions LockErrorgr&rOrfrrg) rrrrttlrredis_dblock_keyrkpipers rrzCmfImport.inc_statYsj (?_` `AhZq *<<ggYauE*~~""8R"8  b((* d $''---$HHS%CH0__S)IIcNHHS!H,   b   ez477)4Ce}H>>&&x&>**477==9 2C**,CLL%E"yy~ B1::h'#'6x #(<<>F8 R  2 r c|jddg|jdk7r|jjS|j S)NrIrrM)rQrIrrrrs rr=zCmfImport.take_import_statssE -~>?  ! !] 2$$** ***,,r c|jgd|jdk7s|jjdk(rytj j st}|jsld}|j|tj||_ |jjd|_|j|j!yy ) NrrrIrrMimport-plannedFuИмпорт прерван по неизвестной причине. Проверьте системные требования.rrrT)rQrIrrrrimport_is_runningCmfImportWorker is_runningrrcrrrrrhrL)rworkerrs rrzCmfImport.is_runnings QR  ! !] 2dkk6F6FJZ6Z));;=$&F$$&b '--8!*"mm>>>>Z  '')r z @minutely) only_once system_jobschedulectjjsytj dtjj gddddggggdD])}|j rtjd|+y) Nz&cmf_deferred_job: CmfImport.cron_checkrIr;rMz status.codezNOT INr~r}r<uHИмпорт прерван по неизвестным причинам) rer&rFrtr&rrr admin_alert)rs r cron_checkzCmfImport.cron_checks++-  89##((:+;*<=L ) uC>>###$npst ur project_identifierreport_file_namec tjjdddd|dgdd|gdd|gdd|gggd gd d g }|std |d|jstd|d|j j }|jjjd}|s%|jjjd}|std|dt|jstd|d|d|8tjt}|jtj||_|j!d|dt#j$}|j'|}t#j$}||z } t|j)|} t+| d5} t,j/|| ddd|j0j3dr|D]`} | d} | d}| d}| d}| d }|j!| d!|d"|d#|d$|s<|j5d%| j7d&|b|j!d'| d(d)t9d*+t;| j=t>j@d,d|j!d-yd.d/l!m!}d0}g}|D]} |jE|| gd1}|j!d2|||d34z|j!d'| d(|j!d5t9d*+t;| j=t>j@d,dy#1swYxYw)6u Собирает статистику количества сдампленных и обработанных объектов по проекту Args: project_identifier (str): ext_id, код, префикс кода задач или название проекта report_file_name (str, optional): имя файла отчета. Defaults to "report.json". logger (Logger, optional): вывод данных отчета. r:rlrn%rrmrrOrzcmf_import.pluginrsr<uПроект 'u' не найденu Проект u. не содержит данных дампа project_dirru*В данных дампа проекта uA отсутствует путь до каталога дампаu@Отсутствует каталог дампа проекта z: 'rNu3Сбор статистики по проекту 'zw+r`entitydumpedr r unprocessedu, (сдамплено/обработано): z / r{r|uНеобработанные ruВыполнено за z.4fu,. Ссылка на файл отчета: 'T)full_urlz rdisk/file/z2--------------------------------------------------r)tabulatec\|jDcgc] \}}|dvr| c}}Scc}}w)N)rrr r)r) stats_datarkrls r data_listz*CmfImport.project_stats..data_lists8","2"2"4!QGGs()r}uСдампленоuОбработаноuРезультатrgrid)headerstablefmtu*Ссылка на файл отчета: ')#rerrgrrsrrrr rCrcryr!rorbr)rr; perf_counter project_statsrrhrdumprOrrPr app_base_hrefrCrrarrr)rrr)ryrr start_timerFend_time elapsed_time report_filer entity_statsrrr rrrrrrs rrzCmfImport.project_statss##''v+=*>a'@AS"45'.@AS"45 + $!(  n-?,@@STU U&&mG94bcd d##**--3377 F !1177;;FCK&&x0F OOGMM *  I'RSTU&&( $$W-$$&*, ;'001AB +t $  IIeQ   ;; ! !) , % d %h/%h/(5 %h/*=9  vh&RSYRZZ]^g]hhjkqjrrstuNN%B6<<>BRRTU`Ta#bc d KK*<*<===JTX=Yrr(r;r<r,r5r_r4rbr9rrr*r4rGrUrr3r:rrrhrvr1r|r~rr3rPrSrbrrr=rcmf_deferred_jobrr __classcell__)rs@rr&r&$s?''448PPL&&226  KK9:-D--%%**%%% ===D\\    0gk5>CCsbe148K7S7r " D  K   O Y6   ..77 .#.:)LL\7 QSfr 00dtBB!F+:2 d  :..4b&h4()04p)p)cp)dHT*GR*fX -4-" L uM u!.ccccr r&c.tfd}|S)Nc |g|i|}t|jjdtj |S#t |jj dYyxYw)Nu*Импорт завершил работуu&Ошибка работы демона)rr)rr&rLrr)rrrrzfns rwrappedz!catch_exceptions..wrapped#sd KS)$)&)C L JJOOH I  ( ( *J K N JJ !I Js AA 'A3r)rrs` rcatch_exceptionsr"s" 2Y K K Nr ceZdZd dZdZdZddZdZedZ edZ ed Z ed Z ed Z d Zy)rcddlm}ddl}ddlm}|j ||_|j|j |d|d|j|d|d|_ y) Nrrr z/var/logz.logrz /var/run/z.pid) cmf.modules.logsrrcrr ryr) init_loggerrdr)rrrrcr s r__init__zCmfImportWorker.__init__2s^/ '',  t{{DuD\,JRYR^R^_ #d+,r c X|jjdtjj ddd|gdd|gggd}|j |j d|jjd d |_ |jttj5tj5tj5|j!}t"j%d dddddddddtjj |j&gd }tj(j+dd|g}|jj,d k(r|sM|jjd|jjd|_ |jni|jj.dk7rP|jjd|d|jjd|_ |jtj0j d|}t3|j4j7t8j:d}tj<j?||j@|jBd|j,dtEjFtHjJdd|dd y#1swYxYw#1swYxYw#1swYxYw)!NuИмпорт запущенr:rzr;rrrrrr<u%***Запускаем импорт***rMimport-startedrrrrJrru2***Импорт успешно завершен***import-completedrCLOSEDu6***Импорт завершен с ошибками: u,. Подробности в отчете.***rrTrU/files/uИмпорт данных 'u' завершен %d.%m.%Y %H:%Mz (UTC), Журнал логированияTrpersonrOrforce_notify_current_person)&r)rrer&rgrrrrrrhrrr?r@rrgeventrWrzrrVrrrfrCrlrrar CmfNotify place_notifyrrOrrrrQ)rr rrzr[log_filelog_paths rrunzCmfImportWorker.run:s 67""4$i1H6SWYbJc*d.c#e  78\\44\l4m     " G$:$:$< g>X>X>Z $$&C LLO   ""cff+`#b&&,,\44M,N ::??. .  TU \\<>-chhZ7J8<t@jBddddy#1swYxYw#1swYxYw#1swYxYw)NuДамп запущенr:rzr;rrr<u!***Запускаем дамп***rMrrrru.***Дамп успешно завершен***rru2***Дамп завершен с ошибками: z***rrrru'Дамп данных завершен rz , X>X>Z a""&&tdD)5LvW[]fNg.h.c'eC GG7 888]`p8qCJ HHJ L##%C%%'D**00tS8Q0RFtF  PQ \\<<<R  ''83 "TU[T\\_ `a \\<<<X  zz**1-::BB6CTCTV_`H+ a a a, %%##9(,,x||:TUc9de#*$LN(, & .- a a a a a as<J*JF:JJJ*J JJ' #J**J3Nc |jjdtj5tj 5tj 5t jjddd|gdd|ggddgd }|jjd |_ |jt d }d }|jjdt jjdd|gdD]>} |jjd||j!ddt@t jjddd|gdd|gggdd }|j&D]>} |jjd||j!ddt@|s=|jjd |_ |jjdn?|jj)d||jjd |_ |jt0j2j4j7 d d d d d d d d d y #t#|dz }|jj%d|dYxYw#t#|dz }|jj%dYvxYw#t*$re}t#||jj%dt-||_|jjd |_ Yd }~#d }~wwxYw#|jt0j2j4j7wxYw#1swY1xYw#1swY6xYw#1swYy xYw)rnuОтмена запущенаr:rzr;rrrT)rrr?zimport-cancelingrrNu#***** Отменяем импортr)rr?uУдаляем )rrru#Не удалось удалить uW, видимо обьект использовали вне данных импорта)rrimport_objectsuyНе удалось удалить, видимо обьект использовали вне данных импортаzimport-canceledu,Успешно отменили импортu#Количество ошибок: ruОшибка удаления )r)rrr?r@rrer&rgrrrrhrrrrfrrrrrrCrrrrr)rr rr[r4rs r_cancel_importzCmfImportWorker._cancel_imports\ 89  "+ ,G$:$:$<+ ,g>X>X>Z+ ,""&&tdD)5LvW[]fNg.h/7.DVZ'\C88EW8XCJ HHJ L% , "EG!,,11,c9Rdh1iuCuJJOOocU,CDJJDJI&L u&&**4$i9PSY[_ajRk2l.Vhl+n--jCj /#(?@ D E" j!$!@!@M^!@!_CJJJOO$RSJJ$$'J6(%ST!$!@!@^!@!\CJ !!))+W+ ,+ ,+ ,+ ,u(N"QJFJJ003VWZV[\s2tuj$  ,,.ij YQ $$'EcU%KL #A  \\<<<X  Y  !!))+W+ ,+ ,+ ,+ ,+ ,+ ,sON5A)N(AK: ;J>K:;KBK:8N(9N5O0K K:,K7 4K:: M( AM# M+#M( (M++:N% %N((N2 -N55N? :OO c@tjjddd|gdd|gggd}dd|jd i}|jj j d k(rLd |jj|d d dd|jj|dd dd}|j||j|}|s |jjd|dy|d}|jdi}|jjdd|_ |jt|jj!|ddt"j%5t"j'5t"j)5|d$i|t*j-ddddddddddtjj|j.gd}tj0j3dd|g} |jj4dk(r~| s2|jjd |_ |jnJ|jj6d!k7r1|jjd" |_ |jt8j:j<j?|jj!|dd#y#1swYKxYw#1swYPxYw#1swYUxYw)%Nr:rzr;rrr<linksuОбработка ссылок)rOrir)uИмпорт фильтров_process_filters)rprocess_method)rOriru3Обработка связей всех задач_process_relationsr&uCКонфигурация для запуска обработки 'u' не найденаrirrMrrrOu запущенаrrJrrrrrru завершенаr$) rer&rgrbrrrr,updater)rrrrrhrrrr?r@rrrWrzrrVrrrrrr) rr r$rprocess_configsprocess_jira_configsprocess_configri method_kwargsr[s r_process_entityzCmfImportWorker._process_entitys""tY'y)  #   911  ::   & &/ 9<!jj77&)*<R!jj77&)*>$ $  " "#7 8(,,[9 JJ  bcnbopEF G )&**8R8 \\44%(5      N6233DEF  " G$:$:$< g>X>X>Z   #] # LLO   ""vv# &&,,\44M,N ::??. . \\<LL LLc |jjr td|jjt t j |j||jjyNu"Импорт уже запущен) rrCr write_textrCrgetpidrrKrrs rr;zCmfImportWorker.start sT 88?? @A A C ,-$ r c |jjr td|jjt t j |j||jjyr) rrCrrrCrrrrKrs rrzCmfImportWorker.dump sU 88?? @A A C ,- r c |jjr td|jjt t j |j||jjyr) rrCrrrCrrrrKrs rr3zCmfImportWorker.cancel sW 88?? @A A C ,-T" r cptjjgdgd}|r;|jr|jj d|j jd|_|jttdD]U}tjdtjj|jd d g }|jd k7sUnn|jj d |j jd|_|jt|jj!d|j"j%s|jj!dy|jj!d t'j(t+|j"j-t.j0|j"j5y#|jj3dY:xYw)Nrrr<uQПытаемся остановить импорт, таймаут 1 минутаrLr<rrIrrJrMu"Импорт уже прерванrNu<Импорт остановлен пользователемu Импорт не запущенu'Останавливаем импортuKНе удалось завершить процесс, он запущен?)rer&rgrr)rPrrrrhrrErrWrzrIrrrCrkillr read_textsignalSIGTERMrrK)rrrrVs rr<zCmfImportWorker.stop s""*T^S"T   ""#vw \\<  q KK ! !"o ps 6AHH5c|jjr td|jjt t j |j|i||jjyr) rrCrrrCrrrrKrps rr,zCmfImportWorker.process_entity< s\ 88?? @A A C ,-d-f- r c|jjrRtjt |jj ry|jj yy)NT)rrCrcheck_process_runningrrrKrs rrzCmfImportWorker.is_runningD sF 88?? ,,S1C1C1E-FG HHOO  r )zeva-import-workerr")r!r"r#rrrrrrr;rr3r<r,rr$r rrr1s-#.J.@0,dSIj:r r)+csvrrdecimalrrrrcrsysrrr typingr r rjrKr xlrdopenpyxlr;r+r,r cmf.includerr common.fieldsrrrrr functoolsrrDrxFilterrr&rrr$r rrs ' ! +   $' EKKM 3gnn3{ $${|? WWr