U 6i{@sbddlmZddlmZddlmZmZddlZddl Ted ddZ Gd d d ej j j jZdS) )contextmanager)Path)urlparse urlunsplitN)* c cs>ddl}|}||kr"||z dVW5||XdS)u HACK: Временно устанавливает минимальный лимит рекурсии, если текущий ниже. Args: min_limit (int, optional): минимальное значение лимита рекурсии. Defaults to 3000. rN)sysgetrecursionlimitsetrecursionlimit)Z min_limitrZ current_limitr 4./modules/confluence/models/cmf_plugin_confluence.pyensure_recursion_limit s  r csZeZdZejjjjjdZdZ dZ ejjjjj ddddgZ dd Z d dddd fd d Z ddfdd ZeddZddZedddZd=edddZedddZedddZedd d!Zedd"d#Zedd$d%Zd&d'Zd(d)Zfd*d+Zfd,d-Zed.d/Z ed0d1Z!d>d3d4Z"d?d5d6Z#d7d8Z$d9d:Z%d;d<Z&Z'S)@CmfPluginConfluence) confluenceNTget_all_spacesget_space_pagesget_total_spacesget_page_by_idc Ks@|jr dStjf|j|j|j|||d|}|||_dS)N)nametypetokenext_url ext_login ext_token)pluginmodels CmfPlugincode class_nameidsave)selfrrrkwargsrr r r _init_secret(sz CmfPluginConfluence._init_secretr)depthrrrcs*|jr||||tj|d|i|S)Nr$)Zis_newr#superr )r!r$rrrargsr" __class__r r r 1szCmfPluginConfluence.saveF)forcecs>tjjdd|jgddddgd}|tj|d|i|S)Nr==rrrfilterfieldsr))rrgetrdeleter%)r!r)r&r"rr'r r r/6s  zCmfPluginConfluence.deletec Csn|jshddlm}|ddddddd g||jjj|jjj|jj |jj |jj j|jj jd |_|jS) Nr) ConfluenceApirzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr verify_sslcloud) _CmfPluginConfluence__confluenceZmodules.confluence.apir0 load_fieldsrrvaluerZ ext_passwordZdecryptrr4r5)r!r0r r r r<s(     zCmfPluginConfluence.confluencecOsg}zr|j`}dd||dD}dd|j|dddD}|rh|dd d d d |iid }||W5QRXWnTtk r} z2t| tjj |dddgd} | d} | rt | |d} t| } | dD]@}| |d|d}| rt |}|t|W5QRXqg}| dgD]D}| |d|d}| r:t |}|t|W5QRXq:|r|dd d d d |iid }||W5QRXnW5d} ~ XYnX|S)NcSsg|]}|qSr r .0objr r r Zsz7CmfPluginConfluence.get_space_pages..z children.pagecSsg|]}|qSr r r9r r r r<\srZarchived)statusZ_archived_pagesarchiveu!Архивные страницыpageresults)rrtitlechildrenrplugin.*plugin.plugin.*rr-projects info.jsonZ root_pages documentsarchived_pages)rZget_root_pages_from_spaceZget_all_pages_from_spaceappend Exceptiongdebugr CmfImportr.get_download_pathjoinpathexistsopenjsonload)r!key cmf_import_idr&r"resrr>rIe cmf_importdump_dirfprojectZ root_page_idZdoc_filef2Zarchived_page_idr r r rVsN         z#CmfPluginConfluence.get_space_pages)rVc Osd}z.|j}|jdddd}W5QRX|d}Wnrtk r}zTt|tjj|dddgd }| d } | rt d d | D}nW5d }~XYnX|S)uI Получает общее количество пространств rz type=spaceT)cqllimitZinclude_archived_spacesZ totalSizerrCrDrErFcss|]}|rdVqdS)N)is_dir)r:pr r r sz7CmfPluginConfluence.get_total_spaces..N) rr^rKrLrMrrNr.rOrPrQsumiterdir) r!rVr&r"totalrZresponserXrYrZr r r rs  z$CmfPluginConfluence.get_total_spacesc Os||dgg}z|j}|j|dD]}|d|d<|d}|ddkrT|d7}n|dt|d d 7}d |jjd |d d } tjj d dd| dgddgd} | r|d7}||d<| |q&W5QRXWnt k rv} z~t | tjj|dddgd} | d} | rdt| D]2}t| |d}| t|W5QRXq.nW5d} ~ XYnX|S)Nzplugin.source_hash)slicer original_namerZpersonalu( (Личное пространство)z (rU)::rext_idZLIKE%T--)r,Zinclude_deletedr-u [импортирован]rrCrDrErFrG)r7rrstrupperr source_hashr CmfProjectsgetrJrKrLrMrNr.rOrPrQoslistdirrRrSrT)r!rVrgr&r"rWrspaceZ space_nameZproject_ext_idr\rXrYrZrUr[r r r rs<       z"CmfPluginConfluence.get_all_spacesc Osz0|j }|j|dddW5QRWSQRXWntk r}zt|tjj|dddgd}| d}| rt |D]R} | | d |} | rt | d $} t| W5QRWYSQRXqntd W5d}~XYnXdS) NFT)ZdetailedZ with_childrenrrCrDrErFrHrGu,Документ не попал в дамп)rrrKrLrMrrNr.rOrPrQrsrtrRrSrT) r!Zpage_idrVr&r"rrXrYrZrUdoc_dirr[r r r rs( ,z"CmfPluginConfluence.get_page_by_id)returncCsddlm}||j|S)u Инициализация настроек :param models.CmfImport cmf_import: Объект импорта. rConfluenceAPIImport)modules.confluence.api_importryrcalc_import_settingsr!rYryr r r r{s z(CmfPluginConfluence.calc_import_settingscCsddlm}||j|S)u Предварительный просмотр данных :param models.CmfImport cmf_import: Объект импорта. rrx)rzryrpreviewr|r r r r}s zCmfPluginConfluence.previewc Cs>ddlm}d|_|j}|||W5QRSQRXdS)ux Процесс импорта :param models.CmfImport cmf_import: Объект импорта. rrxu)Импорт данных из ConfluenceN)rzryrrprocess_importr!rYryrr r r r~s z"CmfPluginConfluence.process_importcCsgS)Nr )r!r r r calc_models_settingssz(CmfPluginConfluence.calc_models_settingsc Cs8ddlm}|j}|||W5QRSQRXdSNrrx)rzryr download_datarr r r rs z!CmfPluginConfluence.download_datac Cs8ddlm}|j}|||W5QRSQRXdSr)rzryrdownload_filesrr r r rs z"CmfPluginConfluence.download_filescs|dg|jr|jddr|jdddd}|jddrbtj|jdd|St|jdd}t|j|j |ddfSt |S)Nimport_raw_jsonZ_linksZwebuir`baser!) r7rr.rspathjoinrrschemenetlocr% calc_ext_href)r!r;linkZself_urlr'r r rs z!CmfPluginConfluence.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)Nr)rq CmfDocumentr)r7rrr%calc_dump_path)r!r;r'r r rs  z"CmfPluginConfluence.calc_dump_pathc Csddl}ddlm}ddlm}d}tttt j j |ddgd}||j j |} | t jj |ddd d gd} | } | jjd krt jj d d | jgdd dggdgd} | jj} | | _g} | jjdd}| j}t jj d| d}|jd|j}t| jD]P}| jj | j!d|||| |dd}| "||#| j$jd|qd}| d}|st%dd}| &| d||D]t}|d| j'krq|ddkrq|d 7}|d|d!|d"t(| d)d#|d|dkd$}|*|q| D]}|*d%q| j$jd&| D]}|+~q6| j$,rt-| j$j.d'W5QRW5QRW5QRdS|j|}| j$jd(||/d)d}|0s|| 7}q| j$jd*|||7}W5QRXW5QRXW5QRX|S)+Nr cmf_contextrxrrrE logic_typerZdescr_documentz#scheme_wf.default_document_workflowproject.agile:defaulttree_parent_idr*rДокументыr+maxsizer>)Zsys_typeZ tree_parentuDГрузим документы в несколько потоков_process_document_fork) obj_queue done_queuer\archive_foldertargetrr".Параллельный обработчик homepage)rrrr=trashedr`rArrH)rrArrvZ is_homepageDONEu0Ждем обработки документовИмпорт прерван*------------------------ скорость ' документов в секундуuIЗакончили обработку документов, ошибок )1datetimecmf.apprrzrycmfutil disable_acldisable_notifyr rrNr.rr_load_selected_objsrqrrrrrr8 root_parentqueueQueueZ CmfFolderloggerinfonowrangethreading_max_forks threadingThreadrrJstartrYdict_get_documents_selected_objsrrPputr is_cancelcommit_with_eventwarning total_secondsempty)rV project_idoffsetr_dtrryerrorsrY api_importr\rru obj_processrrrsiproccntrdocdoc_datadiff has_errorsr r r process_document_forks  "         " &z)CmfPluginConfluence.process_document_forkc Csddl}ddlm}ddlm}d}tttxt j j |ddgd}||j j |} | t jj |ddgd} | } | jjd krt jj d d | jgd d d ggdgd} | jj} | | _g} | jjdd}| j}|jd|j}t| jD]L}| jj| j d|||dd}| !||"| j#jd|qd}| $| d||D]h}|ddkr|qf|d| j%krqf|ddkrqf|d7}|d|d|dd}|&|qf| D]}|&dq| j#jd | D]}|'~q| j#(rLt)| j#j*d!W5QRW5QRW5QRdS|j|}||+}| j#jd"|d#d$d}|,s|| 7}q| j#jd%|||7}W5QRXW5QRXW5QRX|S)&NrrrxrrrErrrrr*rrr+rru_Обрабатываем версии документов в несколько потоковZ_process_doc_versions_fork_)rrrrrrr?rr=rr`rA)rrArru=Ждем обработки версий документовrrz.3fruWЗакончили обработку версий документов. Ошибок: )-rrrrzryrrrr rrNr.rrrrqrrrrrr8rrrrrrrrrrZ_process_doc_versions_forkrJrrYrrrrrrrrr)rVrrr_rrryrrYrr\rrurrrrrrrrrrZspeedrr r r process_doc_versions_forkrs  "      "   &z-CmfPluginConfluence.process_doc_versions_forkrc sdtd}dtdd}t}t|jjd}||}|rt|d<} | D]0} t | | t df|d7}qVW5QRXnD| r| D].} | sq| d} | sqt| d} t| W5QRXdd krq| t df|d7}|d kr| d } t| dJ} t| }|D]4}|d  t |d f|dd7<qHW5QRX| d}t|d6} | D]*} t | }fdd|qW5QRXq||d}|d kr||d<|d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов в виде кортежей (id, name/key). Для документов дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rcountobjsrzr+rr`rGrr?rHzattachments.jsonrrArz comments.jsoncsHdt|dfdd7<|dD] }|q6dS)Nrrrr`rB)addrn)ZcommentZ child_commentZ comment_statsdump_stats_commentfieldZobj_datar r rs zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_comment attachmentscomments)setrrr8r.rPis_filerRrSloadsrrnrarerQrT)r!r\entityrZattachment_statsZ dumped_countZ dumped_objsZ project_dirZ objs_pathr[rowZobj_dirZ obj_data_fileZ attach_filerZattZcomment_data_fileZ comment_datastatsr rr _get_dump_stats_by_entitysb              z-CmfPluginConfluence._get_dump_stats_by_entitycCs,dd|gdddgg}|r"||t|}|j|dd}t}d} td || D]} |j|d d d d dgd| | | gd} | D]} | jr| jddnd} | j }| j rt | j d} | j |}|dkr| | jj | j fq||dkr| | jj | fq||r| | |fq|| | q|qP||d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ r\=rYz!=NT)r,include_archiveddrrmrkrz parent.namer)r,r-rrgrjr`r CmfAttachment CmfCommentr)rJrZget_model_by_namerrrZslistrksplitrrrnr.rparent)r!r\r filter_byrZfilter_ZmodelZprocessed_countZprocessed_objssteprrr;Zobj_idZ obj_fieldrr r r _get_process_stats_by_entity"sB     z0CmfPluginConfluence._get_process_stats_by_entitycCs,||}||}|sdndt|d}|S)u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества необработанных объектов в виде кортежей Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты uОКuНЕКОРРЕКТНО)r= unprocessed) intersectionlist)r!Z dump_objsZ process_objsrrresultr r r _check_consistencyYs  z&CmfPluginConfluence._check_consistencyc Cs|jd|j|ddd}|jd|d|jd|dd|jd |d d|jd |j|d dd}|jd |dd|d|dd}|jd|j|ddd}|jd|dd|dd|dd}|jd|j|ddddgd}|jd|dd|d d|dd}|jd||d|d} |jd| d || |jd!||dd|d} |jd"| d || |jd#||d d|d} |jd$| d || |||gS)%u$ Возвращает статистику по документам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики uzСбор информации о сдампенных документах, вложениях и комментарияхrHrA)ru)Сдамплено документов: ru%Сдамплено вложений: ru-Сдамплено комментариев: ruPСбор информации об обработанных документахru+Обработано документов: r)rZdumpedZ processeduNСбор информации об обработанных вложенияхrru'Обработано вложений: uВложенияuTСбор информации об обработанных комментарияхrZ log_levelrr)ru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными документамиruДокументы: r=uПроверка консистентности между сдампленными и обработанными вложениямиuВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )rrMrrrupdate) r!r\Z dump_statsZ process_statspage_stats_dataZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ page_resultZattachment_resultZcomment_resultr r r _get_project_page_statsjs           z+CmfPluginConfluence._get_project_page_statscCs&g}||}|D]}||q|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rrJ)r!r\rrZ stats_datar r r project_statss   z!CmfPluginConfluence.project_stats)N)r)NN)(__name__ __module__ __qualname__modulesrr-cmf_plugin_confluencerZ ui_meta_skipr6Z api_allowZ api_methodsr#r r/propertyrrnrrrrr{r}boolr~rrrrr staticmethodrrrrrrr __classcell__r r r'r rsF   -$   l ^ Q 7Zr)r) contextlibrpathlibr urllib.parserrZ/modules.confluence.fields.cmf_plugin_confluencerZ cmf.includer rr-rrr r r r s