U Phy@sTddlmZddlmZmZddlmZddlTddlZGdddej j j j Z dS))cached_property)urlparse urlunsplit)Path)*NcsZeZdZejjjjjdZdZ dZ ejjjjj ddddgZ dd Z d dddd fd d Z ddfdd ZeddZddZedddZd=edddZedddZedddZedd d!Zedd"d#Zedd$d%Zd&d'Zd(d)Zfd*d+Zfd,d-Zed.d/Z ed0d1Z!d>d3d4Z"d?d5d6Z#d7d8Z$d9d:Z%d;d<Z&Z'S)@CmfPluginConfluence) confluenceNTget_all_spacesget_space_pagesget_total_spacesget_page_by_idc Ks@|jr dStjf|j|j|j|||d|}|||_dS)N)nametypetokenext_url ext_login ext_token)pluginmodels CmfPlugincode class_nameidsave)selfrrrkwargsrr4./modules/confluence/models/cmf_plugin_confluence.py _init_secretsz CmfPluginConfluence._init_secretr)depthrrrcs*|jr||||tj|d|i|S)Nr)Zis_newrsuperr)rrrrrargsr __class__rrrszCmfPluginConfluence.saveF)forcecs>tjjdd|jgddddgd}|tj|d|i|S)Nr==rrrfilterfieldsr$)rrgetrdeleter )rr$r!rrr"rrr*!s  zCmfPluginConfluence.deletec Csn|jshddlm}|ddddddd g||jjj|jjj|jj |jj |jj j|jj jd |_|jS) Nr) ConfluenceApirzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr verify_sslcloud) _CmfPluginConfluence__confluenceZmodules.confluence.apir+ load_fieldsrrvaluerZ ext_passwordZdecryptrr/r0)rr+rrrr's(     zCmfPluginConfluence.confluencecOsg}zr|j`}dd||dD}dd|j|dddD}|rh|dd d d d |iid }||W5QRXWnTtk r} z2t| tjj |dddgd} | d} | rt | |d} t| } | dD]@}| |d|d}| rt |}|t|W5QRXqg}| dgD]D}| |d|d}| r:t |}|t|W5QRXq:|r|dd d d d |iid }||W5QRXnW5d} ~ XYnX|S)NcSsg|]}|qSrr.0objrrr Esz7CmfPluginConfluence.get_space_pages..z children.pagecSsg|]}|qSrrr4rrrr7GsrZarchived)statusZ_archived_pagesarchiveu!Архивные страницыpageresults)rrtitlechildrenrplugin.*plugin.plugin.*rr(projects info.jsonZ root_pages documentsarchived_pages)rZget_root_pages_from_spaceZget_all_pages_from_spaceappend Exceptiongdebugr CmfImportr)get_download_pathjoinpathexistsopenjsonload)rkey cmf_import_idr!rresrr9rDe cmf_importdump_dirfprojectZ root_page_idZdoc_filef2Zarchived_page_idrrrr AsN         z#CmfPluginConfluence.get_space_pages)rQc Osd}z.|j}|jdddd}W5QRX|d}Wnrtk r}zTt|tjj|dddgd }| d } | rt d d | D}nW5d }~XYnX|S)uI Получает общее количество пространств rz type=spaceT)cqllimitZinclude_archived_spacesZ totalSizerr>r?r@rAcss|]}|rdVqdS)N)is_dir)r5prrr {sz7CmfPluginConfluence.get_total_spaces..N) rrYrFrGrHrrIr)rJrKrLsumiterdir) rrQr!rtotalrZresponserSrTrUrrrr ns  z$CmfPluginConfluence.get_total_spacesc Os||dgg}z|j}|j|dD]}|d|d<|d}|ddkrT|d7}n|dt|d d 7}d |jjd |d d } tjj d dd| dgddgd} | r|d7}||d<| |q&W5QRXWnt k rv} z~t | tjj|dddgd} | d} | rdt| D]2}t| |d}| t|W5QRXq.nW5d} ~ XYnX|S)Nzplugin.source_hash)slicer original_namerZpersonalu( (Личное пространство)z (rP)::rext_idZLIKE%T--)r'Zinclude_deletedr(u [импортирован]rr>r?r@rArB)r2rr strupperr source_hashr CmfProjectsgetrErFrGrHrIr)rJrKrLoslistdirrMrNrO)rrQrbr!rrRrspaceZ space_nameZproject_ext_idrWrSrTrUrPrVrrrr s<       z"CmfPluginConfluence.get_all_spacesc Osz0|j }|j|dddW5QRWSQRXWntk r}zt|tjj|dddgd}| d}| rt |D]R} | | d |} | rt | d $} t| W5QRWYSQRXqntd W5d}~XYnXdS) NFT)ZdetailedZ with_childrenrr>r?r@rArCrBu,Документ не попал в дамп)rr rFrGrHrrIr)rJrKrLrnrorMrNrO) rZpage_idrQr!rrrSrTrUrPdoc_dirrVrrrr s( ,z"CmfPluginConfluence.get_page_by_id)returncCsddlm}||j|S)u Инициализация настроек :param models.CmfImport cmf_import: Объект импорта. rConfluenceAPIImport)modules.confluence.api_importrtrcalc_import_settingsrrTrtrrrrvs z(CmfPluginConfluence.calc_import_settingscCsddlm}||j|S)u Предварительный просмотр данных :param models.CmfImport cmf_import: Объект импорта. rrs)rurtrpreviewrwrrrrxs zCmfPluginConfluence.previewc Cs>ddlm}d|_|j}|||W5QRSQRXdS)ux Процесс импорта :param models.CmfImport cmf_import: Объект импорта. rrsu)Импорт данных из ConfluenceN)rurtr rprocess_importrrTrtrrrrrys z"CmfPluginConfluence.process_importcCsgS)Nr)rrrrcalc_models_settingssz(CmfPluginConfluence.calc_models_settingsc Cs8ddlm}|j}|||W5QRSQRXdSNrrs)rurtr download_datarzrrrr}s z!CmfPluginConfluence.download_datac Cs8ddlm}|j}|||W5QRSQRXdSr|)rurtrdownload_filesrzrrrr~s z"CmfPluginConfluence.download_filescs|dg|jr|jddr|jdddd}|jddrbtj|jdd|St|jdd}t|j|j |ddfSt |S)Nimport_raw_jsonZ_linksZwebuir[baser) r2rr)rnpathjoinrrschemenetlocr calc_ext_href)rr6linkZself_urlr"rrrs z!CmfPluginConfluence.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)Nr)rl CmfDocumentr)r2rrr calc_dump_path)rr6r"rrrs  z"CmfPluginConfluence.calc_dump_pathc Csddl}ddlm}ddlm}d}tttj j |ddgd}||j j |} | tjj |ddd d gd} | } | jjd krtjj d d | jgdd dggdgd} | jj} | | _g} | jjdd}| j}tjj d| d}|jd|j}t| jD]P}| jj| j d|||| |dd}| !||"| j#jd|q d}| d}|s|t$dd}| %| d||D]t}|d| j&krq|ddkrq|d 7}|d|d!|d"t'| d(d#|d|dkd$}|)|q| D]}|)d%q| j#jd&| D]}|*~q,| j#+rvt,| j#j-d'W5QRW5QRdS|j|}| j#jd(||.d)d}|/s|| 7}q| j#jd*|||7}W5QRXW5QRX|S)+Nr cmf_contextrsrrr@ logic_typerZdescr_documentz#scheme_wf.default_document_workflowproject.agile:defaulttree_parent_idr%r Документыr&maxsizer9)Zsys_typeZ tree_parentuDГрузим документы в несколько потоков_process_document_fork) obj_queue done_queuerWarchive_foldertargetr r.Параллельный обработчик homepage)rrrr8trashedr[r<rrC)rr<rrqZ is_homepageDONEu0Ждем обработки документовИмпорт прерван*------------------------ скорость ' документов в секундуuIЗакончили обработку документов, ошибок )0datetimecmf.apprrurtcmfutil disable_acldisable_notifyrrIr)rr_load_selected_objsrlrrrrrr3 root_parentqueueQueueZ CmfFolderloggerinfonowrangethreading_max_forks threadingThreadrrEstartrTdict_get_documents_selected_objsrrKputr is_cancelcommit_with_eventwarning total_secondsempty)rQ project_idoffsetrZdtrrterrorsrT api_importrWrrp obj_processrrrsiproccntrdocdoc_datadiff has_errorsrrrprocess_document_forks            z)CmfPluginConfluence.process_document_forkc Csddl}ddlm}ddlm}d}ttltj j |ddgd}||j j |} | tjj |ddgd} | } | jjd krtjj d d | jgd d d ggdgd} | jj} | | _g} | jjdd}| j}|jd|j}t| jD]J}| jj| jd|||dd}| ||!| j"jd|qd}| #| d||D]h}|ddkrpqZ|d| j$krqZ|ddkrqZ|d7}|d|d|dd}|%|qZ| D]}|%dq| j"jd | D]}|&~q| j"'r6t(| j"j)d!W5QRW5QRdS|j|}||*}| j"jd"|d#d$d}|+s|| 7}ql| j"jd%|||7}W5QRXW5QRX|S)&Nrrrsrrr@rrrrr%r rr&rru_Обрабатываем версии документов в несколько потоковZ_process_doc_versions_fork_)rrrrrrr:rr8rr[r<)rr<rru=Ждем обработки версий документовrrz.3fruWЗакончили обработку версий документов. Ошибок: ),rrrrurtrrrrrIr)rrrrlrrrrrr3rrrrrrrrrrZ_process_doc_versions_forkrErrTrrrrrrrrr)rQrrrZrrrtrrTrrWrrprrrrrrrrrrZspeedrrrrprocess_doc_versions_fork]s           z-CmfPluginConfluence.process_doc_versions_forkr c sdtd}dtdd}t}t|jjd}||}|rt|d<} | D]0} t | | t df|d7}qVW5QRXn6| r| D] } | sq| d} | sqt| d2} t| | t df|d7}W5QRX|dkr| d } t| dJ} t| }|D]4}|d  t |d f|d d7<q:W5QRX| d }t|d6} | D]*} t | }fdd|qW5QRXq||d}|dkr||d<|d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов в виде кортежей (id, name/key). Для документов дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rcountobjsrzr+rr[rBrCzattachments.jsonrr<rz comments.jsoncsHdt|dfdd7<|dD] }|q6dS)Nrrrr[r=)addri)ZcommentZ child_commentZ comment_statsdump_stats_commentfieldZobj_datarrrs zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_comment attachmentscomments)setrrr3r)rKis_filerMrNloadsrrir\r`rLrO)rrWentityrZattachment_statsZ dumped_countZ dumped_objsZ project_dirZ objs_pathrVrowZobj_dirZ obj_data_fileZ attach_filerZattZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitys^              z-CmfPluginConfluence._get_dump_stats_by_entitycCs(dd|gdddgg}|r"||t|}|j|d}t}d} td|| D]} |j|d d d d d g| | | gd} | D]} | jr| jddnd} | j }| j rt | j d} | j |}|dkr| | jj | j fqx|dkr| | jj | fqx|r | | |fqx| | qxqN||d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ rW=rTz!=N)r'drrhrfr z parent.namer)r'r(rbrer[r CmfAttachment CmfCommentr)rErZget_model_by_namerrrZslistrfsplitr rrir)rparent)rrWr filter_byrZfilter_ZmodelZprocessed_countZprocessed_objssteprrr6Zobj_idZ obj_fieldrrrr_get_process_stats_by_entity s@      z0CmfPluginConfluence._get_process_stats_by_entitycCs,||}||}|sdndt|d}|S)u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества необработанных объектов в виде кортежей Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты uОКuНЕКОРРЕКТНО)r8 unprocessed) intersectionlist)rZ dump_objsZ process_objsrrresultrrr_check_consistencyAs  z&CmfPluginConfluence._check_consistencyc Cs|jd|j|ddd}|jd|d|jd|dd|jd |d d|jd |j|d dd}|jd |dd|d|dd}|jd|j|ddd}|jd|dd|dd|dd}|jd|j|ddddgd}|jd|dd|d d|dd}|jd||d|d} |jd| d || |jd!||dd|d} |jd"| d || |jd#||d d|d} |jd$| d || |||gS)%u$ Возвращает статистику по документам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики uzСбор информации о сдампенных документах, вложениях и комментарияхrCr<)ru)Сдамплено документов: ru%Сдамплено вложений: ru-Сдамплено комментариев: ruPСбор информации об обработанных документахru+Обработано документов: r)rZdumpedZ processeduNСбор информации об обработанных вложенияхrr u'Обработано вложений: uВложенияuTСбор информации об обработанных комментарияхrZ log_levelrr)ru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными документамиruДокументы: r8uПроверка консистентности между сдампленными и обработанными вложениямиuВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )rrHrrrupdate) rrWZ dump_statsZ process_statspage_stats_dataZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ page_resultZattachment_resultZcomment_resultrrr_get_project_page_statsRs           z+CmfPluginConfluence._get_project_page_statscCs&g}||}|D]}||q|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rrE)rrWrrZ stats_datarrr project_statss   z!CmfPluginConfluence.project_stats)N)r )NN)(__name__ __module__ __qualname__modulesrr(cmf_plugin_confluencerZ ui_meta_skipr1Z api_allowZ api_methodsrrr*propertyr rir r r rrvrxboolryr{r}r~rr staticmethodrrrrrrr __classcell__rrr"rrsF   -$   l ^ O 6Zr) r urllib.parserrpathlibrZ cmf.includeZ/modules.confluence.fields.cmf_plugin_confluencerrr(rrrrrrs