?jpddlmZddlmZddlmZmZddlmZddlZddlm Z ddl Z ddl Z ddl m Z ddlmZddlZddlZddlZddlZdd lTdd lmZdd lmZdd lmZddlZddlZdd lmZejZej Z!Gddej"Z#GddZ$GddZ%Gdde$e%ej&Z&dZ'GddZ(dS))copy)Decimal)datetimetimezone)LoggerNPath) BeautifulSoup)cached_property)*fields cmf_import log_configwrapsceZdZdZdS)AnonymousFilterc$t|ddS)N anonymousF)getattr)selfrecords ./common/models/cmf_import.pyfilterzAnonymousFilter.filter#sv{E222N)__name__ __module__ __qualname__rrrrr"s#33333rrceZdZedefdZejdddfdede fdZ dded ed ed ededede fdZ e ddZdZdefdZdZdZdZd S) LoggingMixinreturncftjr tjn tj}tjd|}|sOtd|}||js| dddtjd|}|sOtd|}||js| dddtj |j ddtj tj }|||ttjtj |j ddtj tj }|||ttj|t)t}|||tjtjt2|||}|td |j}||d|_|js7|tjt2|S) uE Журнал логирования процесса импорта data.lognameparentrF) make_preview mark_dirtyzanonymous_data.logutf-8D)filenameencodingwhenmaxBytes backupCountimport_) configDEBUGloggingINFOmodels CmfAttachmentgetsave file_exists upload_filer MyLogsHandlerfull_path_fileIMPORT_LOG_MAX_BYTESIMPORT_LOG_BACKUP_COUNTsetLevel setFormatter Formatter FORMATTER addFilterr StreamHandlerCustomFormatterhandlers QueueListener log_queuestart getLoggerid propagate addHandler QueueHandler) rlevelattachment_logattachment_log_anon file_handleranonymous_handlerconsole_handlerlistenerloggers rrZzLoggingMixin.logger(s"(? 7< -11z$1OO V#11z$1OON    ! ! !!- V**3Uu*UUU$266Hcn&;H ^2F,2,@,@,E,EL)-3-B-B3-G-GL*       LLLLL    K  ,,,:=,,),,          sCD E#EEcd|dd}td|d|t|dS)Nu1Ошибка при импорте данных. .ue. Проверьте загружаемый файл и повторите попытку снова.zCmfImportError: : )stripr7r} cmf_alert)r\es r _log_errorzLoggingMixin._log_errorsZx#))C..xxx 33333444#rctjd|dg}|s0td|}||js|jd|jS)uK Возвращает путь текущему файлу r'url)r)r*rr(u Начало)r9r:r;r<r=rZinfor)rargsrbrTs rget_log_filenamezLoggingMixin.get_log_filenames -11z$X]W^1__ "#11z$1OON    ! ! !) - K  ^ , , ,!!rctdddfdtjD}|S)u Список файлов после logrotate, чтобы можно было загрузить историю T)parentsexist_okc&g|]}tjtj|?td|Ztjd|S)z%(?:data|anonymous_data)\.log(\.\d+)?$files)ospathisfilejoinrematch get_files_dir).0fdir_pathrs r z2LoggingMixin.get_log_filenames..sPPPrw||Ha'@'@AAP"JANNPRW\\'4+=+=+?+?CCPPPr)r rmkdirrlistdir)rrrb file_listrs` @rget_log_filenameszLoggingMixin.get_log_filenamess~**40011td333PPPPPRZX`MaMaPPP rc:ddl}t|d}|d}tj|rt j|||d5}| D]7}| dtj }| |8 dddn #1swxYwYtjd|dS)NrT all_logs.zipw/filesr)zipfiler rjoinpathrrexistsremoveZipFilerreplacer5 UPLOAD_DIRwriter)rrrbrrzip_pathmyzip file_paths rget_all_logs_by_zipz LoggingMixin.get_all_logs_by_zips8**40011$$^44 7>>( # # Ih    __Xs + + 'u!3355 ' ' %--h8IJJ  I&&&& ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' 'w||GT%7%7%9%9>JJJsA CC#&C#czddl}t|d}|t jdd}|}|r||d5}|D]K}| dtj }| |tj|L dddn #1swxYwYtjd|dSdS) NrTz %Y%m%d%H%Mz _all_logs.ziprrrr)rr rrrnowstrftimerrrr5rrrrrr) rrrbrrrlog_file_pathsrrs r zip_all_logszLoggingMixin.zip_all_logsse**40011$$ (?(? (M(M%\%\%\]]//11  O3// )5!%!7!7!9!9))I ) 1 1(F  KK --fn.BCCL M M M M rct|jds||j_|jjS)N _api_urls)hasattr __class__rrrs rapi_urlszCrossLinkMixin.api_urls$s7t~{33 ?'+'<'<'>'>DN $~''rc|dD]}|d}|s(|jtjdAtjd|}tj|d}|s+|jtjd|d| tj |d S) u=Заменяет макросы задач YouTrack и Kaitenc,|dS)N data-issue-id)has_attr)tags rz6CrossLinkMixin._replace_issue_macros..,sS\\/-J-JrruS Не удалось найти id задачи в атрибуте 'data-issue-id'::Text_idinclude_archivedu: Не удалось найти задачу по ext_id ''N) find_allr;rZwarning thread_ctxlog_obj source_hashr9CmfTask replace_with CmfPluginCsvcreate_tag_link)rsouprissue_id issue_ext_idtasks r_replace_issue_macrosz$CrossLinkMixin._replace_issue_macros*s ==!J!JKK H HCww//H  ##!)~~~(4BBBBL>%%\D%QQD  ##!)tteqttt   V0@@FF G G G G! H Hrc |ddiD]}d}|d}|s(|jtjdCt jddd d |d gd d |ggdgd}|s+|jtjd|d|t j |dS)u/Заменяет макросы задач Jirazdata-macro-namejirarNz data-jira-keyuW Не удалось найти код задачи в атрибуте 'data-jira-key'ORimport_raw_jsonLIKE%"key":""%rn=Trrr< Не удалось найти задачу по коду 'r) rr;rZrrrr9rrrr)rrrr~task_keys r_replace_jira_macrosz#CrossLinkMixin._replace_jira_macros>s@==(96'B=CC G GCCww//H  ##!)CCC.$$&0G80G0G0GHS(+ **!%%C  ##!)rrgorrr   V0@@EE F F F F3 G Grc tj|S#t$r7}|jt jd|d|Yd}~dSd}~wwxYw)ufБезопасно парсит URL и возвращает parsed_url или None при ошибкеu- Не удалось разобрать URL 'z': N)rrrr|rZrrr)rrrs r_parse_url_safelyz CrossLinkMixin._parse_url_safely[s <((-- -    K  %aaTWaa\_aa   44444  s! A",AA"c|jr|j|jvrdS|jr|jdsdS|js |jrdSdS)uOОпределяет, нужно ли обрабатывать данный URLFhttpT)rrscheme startswith)r parsed_urls r_should_process_urlz"CrossLinkMixin._should_process_urlesn   :#6dm#K#K5   Z%6%A%A&%I%I 5  Z%8 5trc f|d}|d}|j}tj|j}d}d} d} |dkr|dvrt jd|} tj | dgd }|s:tj d d d t jd gdd d|dgg}|s,|j dt j d|dS|dr|dd} n|dkr\|dvrXtj d d d |d gdg}|s+|j t j d|dS n|drd} t d|D]B} t jd| dd} tj | dgd }|rnC| s,|j t j d|ddS|s,|j t j d| ddS|j} n|drt d|} | s,|j t j d |ddS| d!dd} tjd"dd d#| dgd$d%| ggdgd&}|s,|j t j d'| ddSn|d(rt d)|}|sdS|d}tj|d*}|rtj d+d |ggd,ggd-d&}|D]}d}|jr=|jjr1t5|jjjd.}|sa|jrZt5|jjd/idd0d1d2}||kr|}nn+tj gd3dd4d#|dgg}|s3|j t j d5|rd6nd7d8|ddS|jr5|jd9d0d:dd2} n|d;r|d<r|d<d!}tj d d d |gd gd&}|D]:}t5|jt jdr|}n ;|r|d!}|s,|j t j d=|ddS|jr5|jd9d0d:dd2} n|d>r|d1d?}tj dd d@|dgdgd&}|D]=}|jjdAidB}||kr|}>|s,|j t j d=|ddSn|dCr||dDrg|dDd!}tjd d d |g}|s/|j t j dE|dF|ddSnv|dGr|dHr|dHd!}tj d d d |g}|s/|j t j dI|dF|ddS|j!dJdHd} n|dKrdL|vrt "dM|}|sdS|d}tj gdNdd4d#|dgg}|s/|j t j dO|dP|ddStj#||dQdRdS}|s/|j t j dT|dF|ddSdUdVdWdXdYdZd[d\}|dHdgd!}|r|d]kr|}n||}|s2|j t j d^|d_|d`|ddStj ||a}|s2|j t j db|d_|dc|ddS|}n|j$rdd|j$vrt "de|rt df|}|sdS|d} tjd d d | gdd dg| dhggdgd&}!|!D]1}"t5|"jdit5| kr|"}n2|s+|j t j dj| dSndS|| | dkS)lu Определяет объект, на который ведет ссылка, и возвращает информацию о ссылке. Возвращает словарь с ключами: obj, href, anchor. zdata-linked-resource-typezdata-linked-resource-idNpage)NnullrhrefT)rrrrr %::::%r %"homepage":{"id":"rrru9 Не удалось найти документ по id z data-anchor#spaceruA Не удалось найти пространство по id z/wiki/z\/\d+u: Не удалось найти id документа в 'u: Не удалось найти документ по id 'z/browse/z \/\w+-\d+u8 Не удалось найти код задачи в 'rr r rnrrrz /display/z+/display/([~]?[A-Za-z0-9]+)+(?:/)?([^?#]*)?r[r)r!=N)rr zparent.import_raw_jsonkey _expandabler/) logic_prefixr project.wikiILIKEu Не удалось найти uдокументu проектu по ссылке 'zid--z/pages/viewpage.actionpageIdu7 Не удалось найти документ по 'z/x/z\\/z %"tinyui":"_linkstinyuiz/secure/RapidBoard.jspa rapidViewu+ Не удалось найти доску u по 'z/issues/ru8 Не удалось найти фильтр задач projectz /projects/z/issuesz"^/projects/([^/]+)/issues(?:/.*)?$)r-r(r.u. Не удалось найти проект 'u' по 'u Задачиr) tree_parentr*r)rsystemuG Не удалось найти реестр задач проекта u$Мои открытые задачиuСообщено мнойuОткрытые задачиu#Выполненные задачиu!Недавно созданныеuНедавно решенныеu%Недавно обновленные) myopenissues reportedbyme allopenissues doneissues addedrecentlyresolvedrecentlyupdatedrecently allissuesu Фильтр задач 'u' проекта u3 не поддерживается. Ссылка: ')r6r)u9 Не удалось найти фильтр задач 'u. Ссылка: 'kaitenz%^(?:/\d+|/space/\d+/boards/card/\d+)$z(\d+)$z%"id":z,%rOu< Не удалось найти задачу Kaiten по id )r~ranchor)%r;rrrparse_qsqueryrrr9 CmfDocument CmfProjectrZrrlstriprrfindallfragmentsearchgroupr unquote_plusrr*r rrsplitrrCmfKanbanBoard CmfBqlFilterrr CmfRegistryr)#rrr original_url resource_type resource_idurl_path url_paramsr~rrArext_coderr space_key page_namedocsdoc doc_spacepage_id tinyui_liker3board_id filter_id project_keyr5 task_registryfilter_type_map filter_type filter_name task_filtertask_idobjsrows# r_resolve_link_infoz!CrossLinkMixin._resolve_link_infous  ;<< gg788 ?\**:+;<<  F " "{.'H'H".??+??F$((x!%)C '++!6+L1G+L+L+LM*F4Z;4Z4Z4Z[,  ##r *rreprrtww}%% 8]+22377 g % %+^*K*K#'' &*@ *@*@*@Ax(C  ##!)yylwyyt     * *} F**X|<<  &2BBfQRRjBB(,,!"8%)- E  ##!)tteqtttt  ##!)nneknnnt(FF   , ,g yy|<> " K''%-vvvv*1vvfrvvv 4$155 -$6 # K''%-||4?||RY||lx||| 4!   %-1D%D%DA8LL&EIIi22E tkk!nnG>&&vW7&0D0D0D0DE**!% 'D  s*4011S\\AACEB  ##!)ppgnppt   4DF;;;rc f |d |d}|d d}|dd}|t jt jfvrd}|j|jr d |jznd z|jr d |jznd zd }|rBt |}d |d} fd} t | | |}tj || |d||dd S)uiСоздает новый тег ссылки на основе полученной информацииr~rrArm T)rr?rr$r+z(https?://[^/]+)?(/?\bz\b)cr jdnj}|d}tjt t ||}|S)Nz##r&full_url)rrJrrurljoin app_base_hrefr)r link_textdomainrAr~s rreplacerz1CrossLinkMixin._create_link_tag..replacersi;A O38 7 7v 7 7 7sxI"[[^^F & 4 4%tF||<<<!!!I%$rtarget)rmrrArt view_moderP)get_textrr)rnrrCrHrFrescapesubr9rrr;) rrr link_inforrutag_text relative_url escaped_urlpatternrsrAr~s @@r_create_link_tagzCrossLinkMixin._create_link_tagsg 8$ <<4<00 CMM3sx==9 9 9I -7-=E3)))2G0:0CK3,,,MfSkk   ? ii 55 DKDDD%%%%%%66'8X>>"22 778$$,,3   rc|dD]}|jdr|dd}|sH||}|s`||sv||||}|s||||}||dS)u1Заменяет обычные HTML-ссылкиa cmf_convertedrrN) rrr;rrrrhr~r)rrrrrrynew_tags r_replace_regular_linksz%CrossLinkMixin._replace_regular_linkss==%% & &Cy}}_-- ''&"%%++--C //44J ++J77 //ZEEI ++CYGGG   W % % % %) & &rr%Nc||||||dS)uUЗаменяет макросы задач и ссылки в HTML-документеN)rrr)rrs r_replace_linkszCrossLinkMixin._replace_linkssF ""4((( !!$''' ##D)))))rc &|ddiD]v}|jdr|jd}|s*|jt jd|d|jd}t jd|}tj |d }|s:tj d d d t jdgdd d|dgg}|r_t |}|j j|d<|jj|d<t||d<d|d<|d=M|jt jd|xdS)ut Заменяет ссылку на корневую страницу в макросе 'Page Tree' data-macrosz page-treerrdata-macro-parametersu7 Макрос 'Page Tree' без параметров: root_page_originalrTrrr r r!r r"rr#root rootLocaletrueuh В макросе 'Page Tree' не удалось найти корневую страницу по id N)rrr;rZrrrrr9rDrEjsonloadsrOrr)dumps)rrrdata_macro_parameters root_page_idroot_page_ext_id root_page macro_paramss r_replace_page_tree_root_linksz,CrossLinkMixin._replace_page_tree_root_linkss== {'C=DD" " Cy}}_-- $'IMM2I$J$J !(  ##!)ggbegg9==)=>>L","8JJLJJ *..6FY].__I "-11!6+L1G+L+L+LM*F4[<4[4[4[\2  #zz*?@@ '0|'9 V$-6^-A \*/3zz,/G/G+,'-O$,-- ##!)PPAMPP?" " rc ~|ddiD]"}|dddkr0|d}|dd }t|}|d }t jd d d tj dgddd|dggdg}|s+|j tj d|d|j|d <t|dd|d<d|d<$dS)Nrwikilivesearchrrfalserzdata-macros-parametersz""currentSpaceKeyrr r r!r r/r r--ru При конвертации макроса 'Livesearch' (Динамический поиск) не найдено пространство с ключом 'A'. Возможно оно еще не импортированоF,: ensure_ascii separators)rr;lowerrrrr9rEsgetrrrZrrrOr)rrrmacros_parametersparamsrVr5s r_replace_livesearch_space_linksz.CrossLinkMixin._replace_livesearch_space_linkss== 7G'H=II * *Cww006688FBB #(@ A A  1 9 9(C H H ZZ 122F #455I',,v'HZ-C'H'H'HI&1II1I1I1IJv -G  ##!)VVU^VVV (/ F$ %,0JJ"%-7--C( ) $*C = * *rc \|dddgiD]}|d}|dp|d}tjdd d tjd gd d d|dgg}|s+|jtjd|dtj ||d}|rt|j |d<|jtjd|ddS)uT Добавляет ID документа в макрос 'Include' rzinclude-excerptz include-pagerzdata-param-projectkeyzdata-param-pagenamezdata-param-page-labelrr r r!r r/r rr#u_ В макросе 'Include' не удалось найти пространство по key 'rTr)r*rzdata-param-pageidu^ В макросе 'Include' не удалось найти страницу по имени 'uA'. Возможно она еще не импортированаN) rr;r9rErrrZrrrDrrO)rrrr_rWr5 excerpt_pages r_replace_include_page_linksz*CrossLinkMixin._replace_include_page_links;s== 8I>7Z'[=\\  C''"9::K 566Z#''BY:Z:ZI'++v'HZ-C'H'H'HI&1KK1K1K1KL,G   ##!)VVvAVVV !-11!%2L  +.|+?+?'(( ##!)VVt}VVV5  rc >|ddiD]}|ddkrd}d}d}d}|d}|rttd|d D}|d r3|d } | d kr|}n"d | vr| d d \}}n|}| }|rhtjdddt jdgddd|dgg}|s,|j t j d|d|rPtj ||d}|s,|j t j d|dl|p|} | r| d} d| j | _|d } t| } t#| j| d!<t| d"d#$|d <d|d<dS)%u Добавляет ID документа в параметр 'Родительская страница' макроса 'Отображение дочерних' rz children-docsrrrNzoriginal-data-macro-parametersc3K|]A}t|dddk)|ddVBdS)rr&r[N)lenrL)rparams r z@CrossLinkMixin._replace_childpages_page_links..ns]115;;sA..//144KKQ''444411r|rr+rr&rr r r!r r/r rr#u При конвертации макроса 'Отображение дочерних' не найдено пространство с ключом 'rTru~ При конвертации макроса 'Отображение дочерних' не найдена страница 'u9'.Возможно она не импортированаzextension-object-name)class_z | r documentIdFrr)rr;dictrLr9rErrrZrrrDfindr)stringrrrrOr)rrcurrent_projectrr5documentrVpagenameoriginal_macro_parametersr parent_pagespan_object_namemacro_parametersrs r_replace_childpages_page_linksz-CrossLinkMixin._replace_childpages_page_links_s== 'G=HHG *G *Cww''611GHIH(+0P(Q(Q %( (,011!:!@!@!E!E111--) -0088(4V':':|$/3zz!&)0:00+, $*C OG *G *rc|D]}|s|D]\}}|stdtj}||sDt |d}||dd|j j D||<|S)u Конвертирует ссылки, которые могут быть в макросе "Свойства страницы" z )flagslxmlrc,g|]}t|Sr"rrxs rrz9CrossLinkMixin._replace_details_links..s&P&P&P!s1vv&P&P&Pr) valuesitemsrcompileIrIr rrbodychildren)rdetailsdetailr)rr} value_soups r_replace_details_linksz%CrossLinkMixin._replace_details_linkssnn&& R RF $llnn R R U**]"$*??~~e,,*5&99 ##J/// gg&P&Pz7O&P&P&PQQs  Rr task_raw_data local_linksc|pg}t|ts|S |dgD]}|d}|d}|ddks/|ddks|dd r[td |d }|r]|d }t jd dd|gd}|s||vr||d|d<n=#t$r0} | tj d| dYd} ~ nd} ~ wwxYw|S)u Создает связь задач, импортированных из Jira, с документами, импортированными из Confluence remotelinksobject applicationrzcom.atlassian.confluence relationshipz Wiki Page processedFz$/pages/viewpage.action\?pageId=(\d+)rr&rr r T)rruO Не удалось создать связи с документами Wiki. ERR-0034)reN) isinstancerr;rrIrJr9rDrr|rrr) rrr remotelinkremotelink_objremotelink_apprr[rYrs r_get_remotelinkszCrossLinkMixin._get_remotelinkss "'R -..   +// rBB 3 3 !+H!5!+M!:#&&v..2LLL!~~n55DD!~~k599E "I>Z_K`aa 3#kk!nnG ,00 (&///B)-1C! +--#**3///.2J{+/ 30    NN%{{vy{{%           sC2D E &EE cd} |jjpd}t|d}|jsdS||dd|jjD|_|jr$| dtnC#t$r6}| tjd|d|d d d}Yd}~nd}~wwxYwt|S) NFrrc,g|]}t|Sr"rrs rrz?CrossLinkMixin._process_comment_cross_links..#G#G#GqCFF#G#G#GrT only_datauQ Не удалось обработать ссылки в комментарии z. r)rerj)rmrr htmlrrrr is_changedr<r{r|rrrr)rcomment has_error comment_textrrs r_process_comment_cross_linksz+CrossLinkMixin._process_comment_cross_linkss0  "<-3L v66D9     % % %77#G#GDI4F#G#G#GHHGL!  t ,,,     NN%IIxIIDGII%     IIIIII  9~~s%BA.B C$,CCcd}d}d|dt_ t|gd}d|jdt_|jr.t |jdddnd t_|j tjd |j j pd }t|d }|jr|||jd krZ|||||||||jd d|jjD|_ |jd krc|jr\|jj }|jj }|d}|r-||}||d<||d<||_||_|jdkr6|jr/||jj |jj |_|j rKtC|dr|"dn|"dtG|j$D]#} | j%dkr|&| $nA#tN$r4} |(tjd| d|dd}Yd} ~ nd} ~ wwxYwtS|S)NF[]) r*rm text_draftr macros_dbmacros_db_draftr rzcomments.log_levelz comments.textr rr&r%u/ Обработка ссылок объектаrrrDc,g|]}t|Sr"rrs rrz;CrossLinkMixin._process_obj_cross_links..)rrrrrT) save_importrr[uQ Не удалось обработать перекрестные ссылки. r)rer~rj)*rrcmfutil get_obj_by_idrnrrrLrrZdebugrmrr rrrvrrrrr*rrrrrr;rr rrrrr<r{comments log_levelrr|rr) robj_idrr~obj_textrrrrrrs r_process_obj_cross_linksz'CrossLinkMixin._process_obj_cross_linkss8 *]]] C ''   (C"1SXJ JM*%]S__%:%:4%C%CA%F%FZ]J " K  !3ddd e e ex~+H 622Dy I##D)))>]2266t<<<88>>>44T:::77cjIII77#G#GDI4F#G#G#GHH~..3=.M/ "%"5";#-- 22:"99'BBG+2Ii(18OI.$-CM*9C'~**s/B*"&"7"7'-O)## ~ 3 ---HHH....HHtH,,, < ; ;$))11':::: ;    NN%}}x{}}%     IIIIII 9~~sJJ++ K)5*K$$K)cddlm}d}|d5 |rn4|}|dkrn|||z }Idddn #1swxYwY||dS)Nr) cmf_contextF)init_views_and_dsTDONE)cmf.appr is_cancelr;rput)r obj_queue error_queuer error_countrs r_cross_links_workerz"CrossLinkMixin._cross_links_workerRs'''''' [5 1 1 1 E E E>>##"V##t<> HH/E&////',//    I+--KG HH|bfbz|| } } }*,,J4344 T T")32q22%.'2v&&& R&RRSSSS HH_+___ ` ` `C1113R3R3RSG 9#w7888;;d|eem,D  & &>>##Eq cf%%%%! & & f%%%%!   ,..;L HHE&&C,DV   "'')) 1{000 "'')) 1 HH~+~~q|~~   ID D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D D sN.NM?(KM( 7 M? N N.(M, ,M?/M, 0M?3 N?N NN N N.N N.N N..N25N2c ddl}d|d|tj||n d|jdd}dd|D}|dddd |jd |d gd d td dtdd}|j d|j ddd| Dd|S)Nrr)rrMrr, c,g|]}t|Sr"r)rps rrz7CrossLinkMixin._execute_cross_links..s@@@1A@@@r/usr/bin/python3 manage.pyshellz&cmf_import = models.CmfImport.get(id='z+');cmf_import.process_cross_links_by_model(z);T"/var/log/eva-import-subprocess.loga+&/var/log/eva-import-subprocess.err.log close_fdsstart_new_sessionstdoutstderrz[PID u.] Запущен process_cross_links_by_model(c"g|] \}}|d| S)rr"rkvs rrz7CrossLinkMixin._execute_cross_links..s&AAA$!Qa::!::AAAr)) rr5IMPORT_OBJ_CNTrOrrPopenopenrZrrr)rrrMr5rr params_strprocs r_execute_cross_linksz#CrossLinkMixin._execute_cross_linkss\,j+++*%,_'':Kgj:K:K:K    YY@@ @@@AA "KJJJ;EJJJ  "de$fdZ%dZ&d?dZ'dZ(dZ)de fd Z*d!Z+d"Z,d#Z-d$Z.ed@d%efd&Z/edAd'Z0d(Z1fd)Z2d*Z3d+Z4fd,Z5d-Z6de fd.Z7d/Z8d0Z9dBd2Z:d3Z;defd4Zd d d67d8Z?e dCd:e!d;e!fd<Z@xZAS)D CmfImport) CSV_SETTING_NAMEcsv_import_settings_fieldsrZ _last_statsrrrdownload_threading_max_forksrFimport_settingsworker_flag_file) calc_import_settingscancelcheck_projects delete_dumprrr pg_restorepreviewrMstoptake_import_statstmplt_import_settingsCSVNz/tmp/eva_import_worker.flagr%c4|jSrZ)rdrclss r worker_herezCmfImport.worker_herens#**,,,rc8|jdSrZ)rdtouchrps rcreate_worker_flagzCmfImport.create_worker_flagrs ""$$$$$rcn|jr|jdSdSrZ)rdrunlinkrps rremove_worker_flagzCmfImport.remove_worker_flagvs>   & & ( ( *  ' ' ) ) ) ) ) * *rc|js2|dgd|jdD|_|jS)N json_settingsc i|] }|d| Sr)r")rss r z-CmfImport.import_settings..s$a$a$aaQvY$a$a$arrc)_import_settingsrwrzrs rrczCmfImport.import_settings{sM$ b   o. / / /$a$a4;MN_;`$a$a$aD !$$rcJtj|_tj|_dSrZ)r5IMPORT_THREADSrIMPORT_DOWNLOAD_THREADSrbrs rrz"CmfImport._prepare_multiprocessings#)#8 ,2,J)))rTcVddl}ddl}|}|dz }|r|d|dd|j}t |dz }|r|d |d dtjrttj|}|r%|d tjd dtt |d z |}|r|d |dd|std|d|d|S)u. Рассчитывает максимальное количество процессов для создания нескольких независимых процессов Returns: int: максимальное количество процессов rNr&u4Количество ядер системы (CPU): u (не менее 2)T)r@u%Доступно памяти (RAM): u! ГБ (по 2 ГБ на ядро)u/Количество процессов (MAX): uB (в параметре 'IMPORT_PROCESS' конфигурации)r[u (итоговое)uYНедостаточно системных ресурсов для импорта (CPU: z, RAM: uq ГБ). За дополнительной информацией обратитесь в техподдержку) multiprocessingr cpu_countravirtual_memory availablerr5IMPORT_PROCESSminr|)rrarrrrFavailable_memoryavailable_memory_gbs rrEzCmfImport.get_max_processess '&&&&&&&$--// !A   HHfyfff     "0022<!"2i"@AA   HHn8Knnn       F 5}EEM   HHU&BWUUU    C 3a 788-HH   HHd-ddd      }"}}+>}}}  rc ddlm}d}tjjd}|j|s||d|}|dst|dkr||| }n.t d d | }tj dd |gd ddd|dggdggdg}|r||z }|S)Nr) cmf_hashlibABCDEFGHIJKLMNOPQRSTUVWXYZrD) char_length enc_table~ )rz [^A-Z0-9]rr/r rzNOT LIKEr)rrNrr)cmf.utilrr9rErregex fullmatch short_str_encrrrrxupperr)r)rr ENC_TABLErD hash_suffixr5s rget_correct_keyzCmfImport.get_correct_keys/((((((0 ",34FG%//44 #%33CQR[3\\K~~c"" D>N>a>a>c>cDn>_>_>a>aD>O>b>b>d>dD>O>b>b>d>dDn>_>_>a>aD>S>f>f>h>h*9>56+0<(*.;'4901!/ rc h|gd|jdrdS|jjdd|jd<|jjdd|jd<|jjdd|jd<|jjdd|jd<|jjd d|jd <|j| |jd<|j|_|dS) NrrcrTrrFrrr)rwrzrr;rxrmr<rs rrmzCmfImport.tmplt_import_settingss) KKKLLL  / 0  F-1-?-E-I-I.Z^-_-_>*9=9K9Q9U9UVprv9w9w56+/+=+C+G+G V[+\+\<(*.*<*B*F*F{TX*Y*Y;'484F4L4P4PQfhm4n4n0104 0Q0Q]a0Q0b0b,-!/ rc|dg|jdD]}|d|jkr |dcSgS)Nrzrcr)r)rwrzr_)rsettingss rr`z$CmfImport.csv_import_settings_fields"s_ /*+++*+<= * *H4#888))))9 rctjtjd|tjdS)uJ Запускаем в фоне импорт данных rMN)r9 CmfAccessListactivate_admin_moder^ run_workerru import_id_args_kwargss rrMzCmfImport.start*sM 00222##GY777++-----rcFtjd|dS)uR Останавливаем в фоне импорт данных rkN)r9r^rrs rrkzCmfImport.stop4s# ##FI66666r entity_typec x|dgd}||vr*|jjjdkrt d|ddd|i}g}|D]S\}}t |tttfs,| |d t|j T|r)t d d |d dn||tjd |j|tjdS)u Запускает отдельную обработку сущностей (фильтры, связи, ссылки и др.) Args: entity_type (str): тип сущности (filters, relations, links, etc.) rxfilters relations code_historyru4Запуск отдельной обработки 'u?' возможен только для импорта из JiraTabortrruPНедопустимые типы значений для параметров: r)ud. Значения параметров должны быть строками или числамиprocess_entity)rN)rwrxrrvrrrrrfloatrrrrupdater9r^rrOru)rrrb jira_entitiesrinvalid_kwargsr)rs rrzCmfImport.process_entity;s ($$$  = ( ( !,?? Q{QQQ      - ,,.. H HJCec3%677 H%%&F&FU 0D&F&FGGG  " vcgclclm{c|c|vvv      MM& ! ! !##$4dgf#MMM++-----rcddl}|}|r||dSdS)Nr)shutilget_download_pathrrmtree)rrrbr download_paths rrhzCmfImport.delete_dumpgsR ..00    ! ! ) MM- ( ( ( ( ( ) )rrgc d}||j}|sg}i}t|jD]o\}}|dr8||r0|dddd|jkrF|dd|kr||||dd<p|s|S||} t t | d } |D]p} |j| } t| tj st| tj r^d} | D]3}|d d d || gd d || ggd g} | rn4| rt| | | t| tjrt| | || || }t| tjr9t!j|d}t!j|t jj}t| tjrX|| d |gr|jdr||d g}|s|d }|r||d gd}|r| | _|| jd g}|r.| jdt5jt8jd| _| }||S)u Импортируем объект :param list row: Строка из файла :param models.* model: Модель для создания объекта :param list _filter: Для фильтрации объекта :param str key: Ключевое имя для сопоставления модели :return: Новый или найденный объект :rtype: Optional[models.*] N model_fieldfield_qualnamerrr field_namerrnr r)rz**rRUunionT)rnrinclude_deleted)r)rrTz %Y%m%d-%H%M%S)r enumerater`rLrvrrrr; issubclass CmfRelationCmfGenericRelationrelated_modelssetattr CmfRelBaseCmfPhone phonenumbersr format_numberPhoneNumberFormat INTERNATIONAL CmfNumericrrzrnr)rrrutcr<)rrgrr%r)result_fieldsr"settingnew_objnew_coderfieldrel_obj rel_modelvalphonerns r _process_objzCmfImport._process_objmsT ;$C G#D$CDD G GJAw=) Q }-.>?EEcJJ1MQVQaaa}%n5<<@CA .|<= M%4(((ww//00! 4 4JL$$Z00E%!344  5&Jc8d8d !&!5!5!7!7I'mmD64Q[I\:]5;T7:CV4W4Ybfag,iiGGZ999%!233  GZ)< = = =*%C%11 f$*355"0 8V8dee%!233  NNJc2 3 3 3 3  g & >YYgtfY==F ;;v&&D SdVTRR (' YYGL$Y@@F \"),[[hl1K1K[[[ F KKMMM rc.|dS)um Ручка фронта для проверки конфликтующих проектов T)as_msg)get_conflict_projectsrs rrgzCmfImport.check_projectss)))666rFc |dg|jjjdkrdSg}ddd}|jddd }d |d D}|D]}|d }|d p|d}|jjjd|d} tj ddd| gddd| dggdgd} | r4| j dp| j d} | r8|jjjdkr | j dks| |kr| j d |kr| || } tj ddd|gdd| ggdgd} | D]Y}d}t|jo|jj|jjjk}|jjjdkr$|j d krd!|jd"|jd#|d$<|}n|jjjdkra|j d krV|j dkr*|jd%ddd&kr|jsd'|d(<d)|d"|d#|d$<|}n|jr |js|r|}|r^|jd*|jd+} |j dkr| d,z } n|j d kr| d-z } |jr| d.z } n|r| d/z } || |f[d0}|rUd1d0d2|Dd3d0d4|Dd5}|r|n d6|DS)7u Возвращает список конфликтующих проектов или текст сообщения для предупреждения Args: as_msg (bool, optional): возвращать в виде текста для сообщения. Defaults to False. Return: list, str: список проектов или текст сообщения plugin.plugin.source_hashrNu^отменить выбор аналогичных импортируемых проектовuудалить существующие проекты (проекты и все их данные будут безвозвратно удалены))rfdeleteselectedObjectsrrc>g|]}|d |d|dS)r~ isCheckedr")rrs rrz3CmfImport.get_conflict_projects..s1gggCs5zgVYZeVfgSZgggrrr) original_namer)rrOr rrr r r!T)rr-r )rrrrur project.agiler/rD)r-rDzcmf_import.ext_id cmf_deletedr.uдобавить суффикс 'Wiki' к названию или коду существующих Wiki-проектов (пример: 'z Wiki' (zWIKI))r import_typer5uобъединить с существующими Agile-проектами, запустив импорт с опцией 'Импортировать в Документы Agile проекта'combineuимпортировать с добавлением 'Wiki' к названию или коду проекта (пример: ' (r;u Agile-проектu Wiki-проектu( удален в корзинуuI импортирован из другого источникаru

В системе уже существуют проекты с аналогичными названиями или кодами:

    c3(K|] \}}d|dVdSz
  • z
    • Nr")r project_namerTs rrz2CmfImport.get_conflict_projects..Qs2`` a3 333``````ru

Для продолжения импорта вы можете:

    c3"K|] }d|dV dSr r")ractions rrz2CmfImport.get_conflict_projects..Ts.MM&----MMMMMMrz
cg|]\}}|Sr"r")rrTr5s rrz3CmfImport.get_conflict_projects..Ws"R"R"Rzq'7"R"R"Rr)rwrxrrvrcr;rr9rErr r-rrrrrr)rDrrrrr)rrconflicting_projectsactionsrselected_projectsprjselected_project_keyselected_project_nameselected_project_ext_idr5r normalized_project_keymatching_projectsmatching_projectconflicting_project other_sourcer\s rrzCmfImport.get_conflict_projectss  56777 ;  '> 9 9 F!wo   #$56w?Bgg4 3Cggg$r Ur UC#&u: $'GGO$<$<$KF !)-);)G&V&V3t9&V&V #',,s$;<v'I-D'I'I'IJ !%-  G k&6::6BBjgF]FaFabiFjFj   )48MMM#0OCC%(===#3E:>RRR%)%9%9$'&& " !' 1 6 6W&;<'2HI !%!7 ! ! %66 U6 U &*##$/](3:dk>P>\\   K%04III(5GGFAQAVFF,=FFFL) +;''K%04III(5GG'4GG/ >wGMQZZZ$/;!{$I. A+@AA06688AAAL) +;''(3;'3;$; +;'& U&9&>#i#iBUBf#i#i#iL*7?JJ$(FF ,9^KK$(EE *6t$(RR %t$(ss (//?R0STTTm6 Up  ``K_````` MMGNN> P PGy$$&&'11/::w:OOOOO2emq r r r r r rrc|gdd}|jrK t5|jjdr>> ;) ( //11II)/33K@@`0::tyG\G\G^G^:___)/334NOO-#'#=#=#?#?#-+3-- $)lcj)l)lt{uD!E!E!E ' E E E * -/BJz*12D.$%DM"&+"4"@"FDKIIKKKLLL-0BJz*$($5=="&"3H"===B"#C!\11d4;Q;Q;S;S;[;[;];]6^6^1&*&7&A"&E MM(B<<<< = )55lDRV=W5XXX![7747HHF5IIIIIIIIIIIIIII6 , , , #CXXI,?@Q,R,RSU,VXX FFF!",  ,%)$?$?$A$A! !))+++ %)$?$?$A$A! !))+++ 9  --// / sUIHI  I IIIIL J>"AJ94L9J>>LAM*c ddlm}|jr |jdsdSd} i}i}i}i}i}i}i} |} t | D]\}} |dkr|jdri} i} d}d}t |jD][\}}|dr| |s|ddd d}| |i}|dd d }|d}| |}|d kr|}|d kr|}t|d kr:|dkr || |d <||i}| |||d <nm|dkr"|dkr| | |}nE|dkr| | |}n#|dkrd| | |i}|||<|| |<]| di}| dd}||d}|s<||tj|\}}|||d<||tj| \}}| di}|dr |d|d<|di}|r| |}|s|dkrAtjddtjd}n@tjddtjd}|| |<||d <||d<||d!<||d"<d#d$d%|jgdd%|dgg}||tj||\} }| j|| | ||d<|r0||g}!|!| |!||<|r<||dg}"|"||"||d<| d&id'd}#|#rf|#d(|jj}$||$i}%||%d!<|#|%d'<|%d)g}&|&| |&|%d)<|%||$<||d}'|'stjd#d*d%|jggd+g,}(d#d*d%|(jggd-g})d.||(d/d0}*||tj|*|)1\}'}|'||d<||tj|'| d2|D]\}$}+tjd#d*d%|+d!jggd3g,}(d#d*d%|(jgd'd%|+d'ggd4g})tj|),},|,s\t|+d!|(|+d'tj d56},|,|+d)D]} |,| _!| d78 |D]U\}}-||}.|.r9|-D]6}/|/j!"|.|/_!|/7V|D]l\}}0||}.|.rP|0D]M}1||1}/|/r4|/j!"|.|/_!|/Nmn#tF$r}2tI|2d9|d:|2d;tKj&|2j'd<}3|j()|3|3|_*|j+,d=>|_-|Yd?}2~2dSd?}2~2wwxYwd7S)@u Запуск импорта из CSV :return: Истина в случае успешного импорта r)CmfPluginImportMixinrcF first_rowrrrrr parent_task child_tasksr& executorsr-rEpriorityrrrrnr cmf_author cmf_ownerz project.basez task.base%base)rn) cmf_modelprefixactivityztask.agile:softdev%softdevrr5r*AND parent_idrrr)rTtaskstree_parent_id)r)rSprintsr#)r)r ДоскаrSkanban)r)r*r6 list_type)rr obj_fields filter_obj)leftright)r)rEpics)r-rz task.epicztask.epic:default)r*r6r) logic_typeTru Строка rr(r, import-error status_codeN).%common.models.cmf_plugin_import_mixinrArrz _get_filerr`rLr;rget_logic_prefix get_priorityget_status_type setdefaultprocess_any_table_fieldsr9rEr CmfWorkflow calc_workflow CmfActivityrOrrErr<rnr CmfFolderrCmfListCmfTaskr CmfLogicTyperCrr|rsror2r3rZ exceptionr4rrr)4rrA number_rowall_parent_taskall_child_tasksall_epic_tasks all_tasks cash_board cash_projectcash_workflow_task file_readrgexecutorrparent_task_codechild_tasks_codeidxrr_row fields_namerrproject_fieldsr-r5rT executor_obj task_fields value_statusr filter_tasktask_objtmp_parent_taskstmp_child_tasks epic_nameepic_keytmp_data tmp_taskslist_obj parent_folderrWrVdataepic_objrPrCsub_task tasks_code sub_task_coder>r?s4 rr:zCmfImport._process_import_excels' ONNNNN t'9:K'L 5 q  O ONIJL!# ((I#,Y#7#7{ e{ e C??t'9+'F?#% #% $-d.M$N$N//LC"=1!S! !(!78H!I!O!OPS!T!TUV!WJ";;z266D")-"8"F"L"LS"Q"QK!,QJHE!]22+0( #}44+0( ;''!++%447!>-88YY &**>+=+=f+E+EFFG!5!N!NtU[Ufhv!w!wJGQ?FL!3!3F!;!;<"6"O"OPTV\Vfhp"q"q a%kk)R88 ??<00I/:99'-'9'G'GR[dpQWQcQgQgmsQgQtQt(H(v(vHH(.'9'G'GR[OdQWQcQgQgmvQgQwQw(H(y(yH>.*<*">">"@J*6,31>/7"9"9J#7"O"O[_V\Vd[e[e#P#g#gKHa>FJ~11&99:$==dFDYGOZb>c>ceeee#1"6"6"8"8 2 2$ & 0 4 4UEUW[]abk]l]oDp=T=T=T=V 4!W!W $&6m>N%O%tT&\:<^<^<^` !>--Z-@@$%~~T)_R_37<9?9L9P9PVi9P9j9j . l lHMMOOO $W 22H+3H(MMDM11112 ,;+@+@+B+B ( (' %'mm,<== ($)(( ,11333/:, 0?0E0E0G0G , ,, *'mm,<== ,)3,, #,==#?#?#,$0557773>H0$MMOOO ,       jjjsjji>QRURc>d>deg>hjjJ K ! !* - - -'DN-::~:VVDK IIKKK55555 ts^=_ a?(B a::a?c ||tj}|r|sdSd}|jD]}|dr|dddkr|}|dgtj|jt|d|j jdg}|sJt|t|d|j | }| |j d t|jjD]K}|jj|jkr||jj|L||tjtjjd d |jgdd |jgg}|ddg||_||_|jr| |S)u; Импорт товара в сделку NrrzCmfProduct.pricescurrencyfile_valprice) product_idr currency_idr)productrrrT)forcedeal_idrr)r)r%r sales_order)rr9 CmfProductr`rwCmfPricer;rOrrr<pricesrr deal_itemsrrrr CmfDealItemsrdealrr)rrgrr price_settingrritems r_process_productzCmfImport._process_productTs ##C):;; 7 4 7 ) )H & )8M+BCS+TXk+k+k (  *&&&##wzWaIbAcAc04 0@'$TT OOG7=Q[C\;];]hlhu/3$55E JJLLL$'''.// / /D!TW,, KKMMM O ! ( ( . . . .  f&9v?P?]+4dDG*D|UY[b[eFf)g!ii )]3444  ?  IIKKK rc|s |r|jsdSd}|jD]}|dr|dddkr|}|sdSg}tj|d}|s5t|d}||dd|jg|r|dd|jgn"|dd|jjg||tj |}| d d g|js|r||_n |j|_|j s||_ |j r||S) NrrzCmfDeal.pipelinerr| pipeline_idr company_idcompanypipeline) rr`r9 CmfPipeliner;r<rrOrCmfDealrwrr) rrgcontactrpipeline_settingrr%rrs r _process_dealzCmfImport._process_dealus  w 47 , ,H & ,8M+BCS+TXj+j+j#+  4%))/? /K)LL ))/? /K)LLH MMOOO tX[9:::  E NNL$ ; < < < < NNL$0BC D D D  fng>> )Z0111| / /& & } %$DM ?  IIKKK rcddl}ddl}ddl}|jr|j|jz dkrdS|j|_t } ||j|j}|d|d|d<| n#t$rd|d<YnwxYw | |d<n#t$rd|d<YnwxYw| |d<| ||d <|jd |dS) Nr)z8.8.8.8PipzIP unavailabler)r,rrmemorydiskzSTATS )rrsocketrarAF_INET SOCK_DGRAMconnect getsocknamecloseOSError getloadavgr disk_usagerrZr)rrrrstatsr}s r get_statszCmfImport.get_statss      t/?!?1 D D F$49;; + fnf.?@@A IIo & & &--//!,E$K GGIIII + + +*E$KKK + '"--//E&MM ' ' '&E&MMM ' //11h))$*@*@*B*BCCf  )%))*****s%A&B;;C  C C))C;:C;cddl}tj|}||\}}}|dz }t j|j ddg}|dkrQd|_ |j rA| t|jd|d d d S|j jd ks |jd krLd|_ |j r<| t|jdd St|dS)Nrrrcache_status_typerOr r\u8Импорт прерван, место на диске z.2fz Gb < 10GbTimport-stopping IN_PROGRESS import-pauseduA**** Импорт остановлен пользователемF)rrr import_heartbeatrrr9r^r;rOrrr<r{rZr}rnrrr)rrrtotalusedfreefree_gbr~s rrzCmfImport.is_cancelsS "33555..00 "--m<<tT'"""dgxAT6U"VV R<<'CJ~ u   !!"s]d"s"s"s"sttt4 :?/ / /33HM3Y3Y(CJ~ i   ##$ghhh4  urrc \ddl}d|dg}t|tr5|D] \}}||d|d!d|}|dddd |d |d gd d td dtdddS)ul Запускает выполнение метода импорта в отдельном процессе Args: method (str): метод импорта import_id (str): ID импорта (CmfImport) params (dict, optional): параметры запускаемого метода. Defaults to None. rNrz="rr,r-r.zHfrom common.models.cmf_import import CmfImportWorker; CmfImportWorker().(r;Tr/r0r1r2)rrrrrrr=r>)methodrrrparams_lr9r:s rrzCmfImport.run_workers $ $$$% fd # # .  . .11  ----(##"K8%+88.4888  "SELECT name, setting FROM pg_settings WHERE name = ANY(:names)namesc,i|]}|d|dS)rr&r")rrgs rr~z4CmfImport._get_postgres_settings.. s"@@@sCFCF@@@rz_get_postgres_settings error: N)dp data_driverSessionexecutefetchallr|gr)r setting_namessessionrCrrs r_get_postgres_settingsz CmfImport._get_postgres_settingss g)1133GTE__UWm,DEEF@@foo.?.?@@@ @    GG666   IIIIII  sAA B "BB B c ~ddd}|t|}d}d}|D]S\}}d}t ||pd}d|cxkr|krnnd}d }d |d |d |d |d } || z }T|st d|ddSdS)u Проверяет конфигурацию PostgreSQL на соответствие минимальным требованиям. Сравнивает текущие значения параметров PostgreSQL с предопределенными минимальными требованиями. В случае несоответствия генерирует предупреждение cmf_alert(). i)max_connectionsmax_locks_per_transactionTrgreenrFredz
  • z: z (min z)
    • uКонфигурация PostgreSQL не соответствует минимальным системным требованиям:
      z
    N)rrkeysrrr;r) rmin_requirementscurrent_settings config_valid setting_msgs setting_name min_valuecolor current_value setting_msgs r_check_postgres_configz CmfImport._check_postgres_config sW $),    66t&&x&<**47=99 2 2C**,,CLL%%E"yy~~ B1::h'' *#'66x #(<<>>F8 R  rc|ddg|jdkr |jjS|S)Nrr-r)rwrr-rr5rs rrlzCmfImport.take_import_stats sH -~>???  !] 2 2$* ***,,,rc|gd|jdks|jjdkrdStjst}|std}| |tj ||_ |j d|_||dSd S) Nrr4rrrimport-plannedFuИмпорт прерван по неизвестной причине. Проверьте системные требования.rr\r]T)rwrrrnrr import_is_runningCmfImportWorker is_runningrar7rrr4rrr<rx)rworkerr4s rrzCmfImport.is_running s QQQRRR  !] 2 2dk6FJZ6Z6Z5);;== $&&F$$&& b '-888!*"m>>>>ZZ  '')))utrz @minutely) only_once system_jobschedulec4tjsdStdtjgddddggggdD]1}|std|2dS) Nz&cmf_deferred_job: CmfImport.cron_checkrrrz status.codezNOT INrrruHИмпорт прерван по неизвестным причинам) r9r^rrrrrrr admin_alert)r~s r cron_checkzCmfImport.cron_check s++--  F 8999#((:::+;*<=LKK )  u uC>>## u##$npsttt u ur report.jsonproject_identifierreport_file_namec 2tjdddd|dgdd|gdd|gdd|gggd gd d g }|std |d|jstd|d|jj}|jjd}|s|jjd}|std|dt| std|d|d|>t t}| tj||_|d|dt#j}||}t#j}||z } t||} t+| d5} t,|| dddn #1swxYwY|jdr0|D]} | d} | d}| d}| d}| d }| d!}|| d"|d#|d$|d%|r-|d&| d'||r-|d(| d'||d)| d*d+t9d,-t;| t>j d.d|d/dSd0d1l!m!}d2}g}|D] } |"|| !gd3}|d4|||d56z|d)| d*|d7t9d,-t;| t>j d.ddS)8u Собирает статистику количества сдампленных и обработанных объектов по проекту Args: project_identifier (str): ext_id, код, префикс кода задач или название проекта report_file_name (str, optional): имя файла отчета. Defaults to "report.json". logger (Logger, optional): вывод данных отчета. r rr rrnrrDr)r'rpr ruПроект 'u' не найденu Проект u. не содержит данных дампа project_dirru*В данных дампа проекта uA отсутствует путь до каталога дампаu@Отсутствует каталог дампа проекта z: 'rNu3Сбор статистики по проекту 'zw+r4entitydumpedrr undownloaded unprocessedu, (сдамплено/обработано): z / r r;uНезагруженные ruНеобработанные uВыполнено за z.4fu,. Ссылка на файл отчета: 'Trmz rdisk/file/z2--------------------------------------------------r)tabulatec>d|DS)Nc g|] \}}|dv | S))r&r'rrr"r8s rrz>CmfImport.project_stats..data_list.. s2!QGGGGGGr)r) stats_datas r data_listz*CmfImport.project_stats..data_list s/","2"2"4"4r)ruСдампленоuОбработаноuРезультатr(grid)headerstablefmtu*Ссылка на файл отчета: ')#r9rEr;r|r rrxrr rr7rNrrCr6rZrrr project_statsrr>rdumpr)rrrrprrr5rr*r)r"r#rZr5rxr%r!rend_timer& report_filer entity_statsr&r'rrr(r)r*r.rr0s rr2zCmfImport.project_stats s\#''v'@+='@'@'@AS"45'.@AS"45 +** $!(    VT-?TTTUU U& ecGcccdd d#*-377 FF  D!17;;FCCK HWHHH K  '')) mSZmm_jmmm  >&&x00F OOGM * * *  T'TTTUUU&(( $$W--$&&*, ;''001ABB +t $ $  IIeQ                   ; ! !) , ,%  % d d %h/%h/(5 %h/+//?? *=9  vttSYtt^gttkqtttuuucNN#a#a#aS_#a#abbbdNN#b6<<>>#b#bU`#b#bccc KKQ<?QQ=JTX=Y=Y=YQ{##++F,=}MMQQQ    KK ! ! ! ! ! ) ) ) ) ) )    D % 5 5  IIl334444^^^G KKxxgOOOO P P P KKE<EEE F F F KKQ]TX=Y=Y=YQ{##++F,=}MMQQQ     sG>>HH)Tr[)FrZrY)r'N)r!N)Brr r!rr^ ui_meta_skip api_methodsr_rarr rd classmethodrrrrurxr\rrcrrrErrrrrermr r`rMrkrrrhrrrgrrir1r:rrrrrrfrjrrrr<rrrrr/r5rlrcmf_deferred_jobr r2 __classcell__)rs@rr^r^Ls'4 8 L&2666KKt9::-D---[-%%[%**[*%%%%X% KKK77S7777r$$\$L YYY6      _..\.77\7 *.#*.*.*.*.X))) LLLLLL\777 VSVSVSVSprrr 202020htBB!!!F+++:2  d   \ :...\.444bbbbb*%%%N&&&&&hhh4((()))*f*f*f*fX   -4----" LLL u uML\ u!.ffffff\fffffrr^c<tfd}|S)Nc* |g|Ri|}t|jdt|S#t $r6}t |jd|Yd}~dSd}~wwxYw)Nu*Импорт завершил работуu(Ошибка работы демона: )r{rZrr^rxr|rsrl)rrrbrrfns rwrappedz!catch_exceptions..wrapped$ s T"T+D+++F++C LLL K  I J J J  ( ( * * *J T T T NNN K ! !"RS"R"R S S S S S S S S S TsAA B+B  Br)r>r?s` rcatch_exceptionsr@# s8 2YY T T T TY T NrceZdZddZdZdZddZdZed Z ed Z ed Z ed Z ed Z dZdS)reva-import-workercddlm}ddl}ddlm}|||_|j|j|d|d|j|d|d|_ dS) Nrrrz/var/logz.logrz /var/run/z.pid) cmf.modules.logsrr7pathlibr rNrZ init_loggerr8r)rr7rr7r s r__init__zCmfImportWorker.__init__3 s//////      '',,  t{DD\\\,J,JRYR^____+#+++,,rc |jdtjddd|gdd|gggd}||d|jd d |_ | tt 5t5t5|}t"d dddn #1swxYwYdddn #1swxYwYdddn #1swxYwYtj|jgd }tjdd|g}|j jd kr|sO|jd|jd|_ | nb|j jdkrR|jd|d|jd|_ | |jdt0jtjd|}t7|jt0jd}tj ||j!|j"d|jdtGj$tJj&dd|dd !dS)"NuИмпорт запущенr rOrrnrrr,r#ru%***Запускаем импорт***rimport-startedrr^r&rrr#u2***Импорт успешно завершен***import-completedr]CLOSEDu6***Импорт завершен с ошибками: u,. Подробности в отчете.***r\uТекущая версия: r'r(/files/uИмпорт данных 'u' завершен %d.%m.%Y %H:%Mz (UTC),     Журнал логированияTr~personr)r\force_notify_current_person)'rZrr9r^r;rrarrrr<r{rr r r r1geventrHrOrtrGrnrr5 EVA_VERSIONr:rr@rr CmfNotify place_notifyrGr)rrrr)rrr~rrLlog_filelog_paths rrunzCmfImportWorker.run; s 6777""4$i1H6SWYbJc*d.c.c.c#ee  7888\44\l4mm     " "  G$:$:$<$<  g>X>X>Z>Z  $$&&C LLOOO                                             ""cf+`+`+`#bb&,,\44M,NN :?. . .   TUUU \<NchNN8X>X>Z>Z a a"&&tdD)5LvW[]fNg.h.c.c.c'eeC GG7 8 8 888]`p8qqCJ HHJJJ LLL##%%C%%''D*00tS8Q0RRF t F   PQQQ \<<<RR  '833  `U[ ` ` `aaa \<<<XX  z*1-:BB6CTV_``H+ a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a a, %%#N(,x|:T:TgNN#NNN(, & . . . . .sZII(FX>X>Z>Z+ ,+ ,"&&tdD)5LvW[]fNg.h/7.DVZ'\\C88EW8XXCJ HHJJJ LLL% ,  FGGG!,11,c9Rdh1iiuuCuJOO,Cc,C,CDDDJJDJIII&LLLLu(NNN"QJFJ002tWZ2t2t2tuuuuu&**4$i9PSY[_ajRk2l.V.V.Vhl+nn-jjCj (?#(?(?@@@ D EEE" j$  ,,.ijjjjj]!$!@!@M^!@!_!_CJJOO$RSSSSJ$$%S6%S%STTT!$!@!@^!@!\!\CJ Y Y YQ $$%Kc%K%KLLL #A  \<<<XX  Y  !))++++ !))+++++W+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,+ ,sO)O(A0N:AKAE! K!3F ;KAHK/I A?KM1 L6 A L1 ,M11L6 6M198N:19N* *N:. O:N> >ON> O O)O O)O O))O-0O-c ~tjddd|gdd|gggd}dd|jd i}|jjjd krNd |jj|d d dd|jj|dd dd|jj|dd dd}||||}|s |j d|ddS|d}|di} | ||j dd|_ |t|j |ddt"5t"5t"5|d&i| t*ddddn #1swxYwYdddn #1swxYwYdddn #1swxYwYtj|jgd}tjdd|g } |j jdkr{| s5|j d!"|_ |nD|j jd#kr4|j d$"|_ |t8jj|j |dd%dS)'Nr rOrrnrIrlinksuОбработка ссылок)r)rruИмпорт фильтров_process_filters)rprocess_method)r)rrbu3Обработка связей всех задач_process_relationsu7Обработка истории кодов задач_process_code_historyruCКонфигурация для запуска обработки 'u' не найденаrrbrrJrKr)u запущенаr&rrr#rLr]rMr\u завершенаr") r9r^r;rXrxrrvrrrZr}rrrr<r{rrr r r rTrHrOrtrGrnrr6r7r8r9) rrrrbr~process_configsprocess_jira_configsprocess_configr method_kwargsrLs r_process_entityzCmfImportWorker._process_entity sk""tY'y)  #    91  :  &/ 9 9<!j7&)*<R!j7&)*>V!j7&)*A!!#$$ 4  " "#7 8 8 8(,,[99  J  FcnFFF G G G F)&**8R88 V$$$\44%(5       N62EEEFFF  " "  G$:$:$<$<  g>X>X>Z>Z   F # #] # # # LLOOO                                             ""v#  &,,\44M,NN :?. . .  \< ""#GHHH88_8UUCJ HHJJJ LLL JOOZ [ [ [x    K  ? @ @ @ F BCCC q GC**,,--v~ > > > > q K ! !"o p p p p p s AHH#c|jrtd|jt t j|j|i||jdSro) rrr|rprrrqrmrwrs rrzCmfImportWorker.process_entityG sz 8??   B@AA A C ,,---d-f--- rc|jr[tt |jrdS|jdSdS)NT)rrrcheck_process_runningrrxrwrs rrzCmfImportWorker.is_runningO si 8??   ,,S1C1C1E1E-F-FGG t HOO       r)rBrY)rr r!rGrZr_rbrmr@rMr3rfrkrrr"rrrr2 s----$.$.$.L...@0,0,0,0,d\I\I\I|:rr))rdecimalrrrr7rrorEr rrbs4r r rrrr cmf.includer6r common.fieldsrrDrrry functoolsrlocalrrrLFilterrr$rr^r@rr"rrrsh'''''''' ++++++  $$$$$$''''''  Y_    EKMM 33333gn333 Z0Z0Z0Z0Z0Z0Z0Z0BAAAAAAAAH"TTTTT nj.BTTTn&   aaaaaaaaaar