U ^ho@sTddlmZddlmZmZddlmZddlTddlZGdddej j j j Z dS))cached_property)urlparse urlunsplit)Path)*NcsZeZdZejjjjjdZdZ dZ ejjjjj ddddgZ dd Z d dddd fd d Z ddfdd ZeddZddZedddZd=edddZedddZedddZedd d!Zedd"d#Zedd$d%Zd&d'Zd(d)Zfd*d+Zfd,d-Zed.d/Z ed0d1Z!d>d3d4Z"d?d5d6Z#d7d8Z$d9d:Z%d;d<Z&Z'S)@CmfPluginConfluence) confluenceNTget_all_spacesget_space_pagesget_total_spacesget_page_by_idc Ks@|jr dStjf|j|j|j|||d|}|||_dS)N)nametypetokenext_url ext_login ext_token)pluginmodels CmfPlugincode class_nameidsave)selfrrrkwargsrr4./modules/confluence/models/cmf_plugin_confluence.py _init_secretsz CmfPluginConfluence._init_secretr)depthrrrcs*|jr||||tj|d|i|S)Nr)Zis_newrsuperr)rrrrrargsr __class__rrrszCmfPluginConfluence.saveF)forcecs>tjjdd|jgddddgd}|tj|d|i|S)Nr==rrrfilterfieldsr$)rrgetrdeleter )rr$r!rrr"rrr*!s  zCmfPluginConfluence.deletec Csn|jshddlm}|ddddddd g||jjj|jjj|jj |jj |jj j|jj jd |_|jS) Nr) ConfluenceApirzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr verify_sslcloud) _CmfPluginConfluence__confluenceZmodules.confluence.apir+ load_fieldsrrvaluerZ ext_passwordZdecryptrr/r0)rr+rrrr's(     zCmfPluginConfluence.confluencecOsg}zr|j`}dd||dD}dd|j|dddD}|rh|dd d d d |iid }||W5QRXWnTtk r} z2t| tjj |dddgd} | d} | rt | |d} t| } | dD]@}| |d|d}| rt |}|t|W5QRXqg}| dgD]D}| |d|d}| r:t |}|t|W5QRXq:|r|dd d d d |iid }||W5QRXnW5d} ~ XYnX|S)NcSsg|]}|qSrr.0objrrr Esz7CmfPluginConfluence.get_space_pages.. children.pagecSsg|]}|qSrrr4rrrr7GsrZarchived)statusZ_archived_pagesarchiveu!Архивные страницыZpageresults)rrtitlechildrenrplugin.*plugin.plugin.*rr(projects info.jsonZ root_pages documentsarchived_pages)rZget_root_pages_from_spaceZget_all_pages_from_spaceappend Exceptiongdebugr CmfImportr)get_download_pathjoinpathexistsopenjsonload)rkey cmf_import_idr!rresrr:rDe cmf_importdump_dirfprojectZ root_page_idZdoc_filef2Zarchived_page_idrrrr AsN         z#CmfPluginConfluence.get_space_pages)rQc Osd}z.|j}|jdddd}W5QRX|d}Wnrtk r}zTt|tjj|dddgd }| d } | rt d d | D}nW5d }~XYnX|S)uI Получает общее количество пространств rz type=spaceT)cqllimitZinclude_archived_spacesZ totalSizerr>r?r@rAcss|]}|rdVqdS)N)is_dir)r5prrr {sz7CmfPluginConfluence.get_total_spaces..N) rrYrFrGrHrrIr)rJrKrLsumiterdir) rrQr!rtotalrZresponserSrTrUrrrr ns  z$CmfPluginConfluence.get_total_spacesc Os||dgg}z|j}|j|dD]}|d|d<|d}|ddkrT|d7}n|dt|d d 7}d |jjd |d d } tjj d dd| dgddgd} | r|d7}||d<| |q&W5QRXWnt k rv} z~t | tjj|dddgd} | d} | rdt| D]2}t| |d}| t|W5QRXq.nW5d} ~ XYnX|S)Nzplugin.source_hash)slicer original_namerZpersonalu( (Личное пространство)z (rP)::rext_idZLIKE%T--)r'Zinclude_deletedr(u [импортирован]rr>r?r@rArB)r2rr strupperr source_hashr CmfProjectsgetrErFrGrHrIr)rJrKrLoslistdirrMrNrO)rrQrbr!rrRrspaceZ space_nameZproject_ext_idrWrSrTrUrPrVrrrr s<       z"CmfPluginConfluence.get_all_spacesc Osz.|j}|j|ddW5QRWSQRXWntk r}zt|tjj|dddgd}| d}| rt |D]R} | | d|} | rt | d $} t| W5QRWYSQRXqntd W5d}~XYnXdS) Nr8)expandrr>r?r@rArCrBu,Документ не попал в дамп)rr rFrGrHrrIr)rJrKrLrnrorMrNrO) rZpage_idrQr!rrrSrTrUrPdoc_dirrVrrrr s& ,z"CmfPluginConfluence.get_page_by_id)returncCsddlm}||j|S)u Инициализация настроек :param models.CmfImport cmf_import: Объект импорта. rConfluenceAPIImport)modules.confluence.api_importrurcalc_import_settingsrrTrurrrrws z(CmfPluginConfluence.calc_import_settingscCsddlm}||j|S)u Предварительный просмотр данных :param models.CmfImport cmf_import: Объект импорта. rrt)rvrurpreviewrxrrrrys zCmfPluginConfluence.previewc Cs>ddlm}d|_|j}|||W5QRSQRXdS)ux Процесс импорта :param models.CmfImport cmf_import: Объект импорта. rrtu)Импорт данных из ConfluenceN)rvrur rprocess_importrrTrurrrrrzs z"CmfPluginConfluence.process_importcCsgS)Nr)rrrrcalc_models_settingssz(CmfPluginConfluence.calc_models_settingsc Cs8ddlm}|j}|||W5QRSQRXdSNrrt)rvrur download_datar{rrrr~s z!CmfPluginConfluence.download_datac Cs8ddlm}|j}|||W5QRSQRXdSr})rvrurdownload_filesr{rrrrs z"CmfPluginConfluence.download_filescs|dg|jr|jddr|jdddd}|jddrbtj|jdd|St|jdd}t|j|j |ddfSt |S)Nimport_raw_jsonZ_linksZwebuir[baser) r2rr)rnpathjoinrrschemenetlocr calc_ext_href)rr6linkZself_urlr"rrrs z!CmfPluginConfluence.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)Nr)rl CmfDocumentr)r2rrr calc_dump_path)rr6r"rrrs  z"CmfPluginConfluence.calc_dump_pathc Csddl}ddlm}ddlm}d}tttj j |ddgd}||j j |} | tjj |ddd gd} | } | jjd krtjj d d | jgd d dggdgd} | jj} | | _g} | jjdd}| j}tjj d| d}|jd|j}t| jD]P}| jj| j d|||| |dd}| !||"| j#jd|q d}| d}|szt$dd}| %| d||D]n}|d| j&krq|ddkrq|d7}|d|d t'| d(d!|d|dkd"}|)|q| D]}|)d#q| j#jd$| D]}|*~q$| j#+rnt,| j#j-d%W5QRW5QRdS|j|}| j#jd&||.d'd}|/s|| 7}q| j#jd(|||7}W5QRXW5QRX|S))Nr cmf_contextrtrrr@ logic_typerZdescr_documentproject.agile:defaulttree_parent_idr%r Документыr&maxsizer:)Zsys_typeZ tree_parentuDГрузим документы в несколько потоков_process_document_fork) obj_queue done_queuerWarchive_foldertargetr r.Параллельный обработчик homepage)rrrr9trashedr[r<rC)rr<rrZ is_homepageDONEu0Ждем обработки документовИмпорт прерван*------------------------ скорость ' документов в секундуuIЗакончили обработку документов, ошибок )0datetimecmf.apprrvrucmfutil disable_acldisable_notifyrrIr)rr_load_selected_objsrlrrrrrr3 root_parentqueueQueueZ CmfFolderloggerinfonowrangethreading_max_forks threadingThreadrrEstartrTdict_get_documents_selected_objsrrKputr is_cancelcommit_with_eventwarning total_secondsempty)rQ project_idoffsetrZdtrruerrorsrT api_importrWrrp obj_processrrrsiproccntrdocdoc_datadiff has_errorsrrrprocess_document_forks           z)CmfPluginConfluence.process_document_forkc Csddl}ddlm}ddlm}d}tptZtj j |ddgd}||j j |} | tjj |ddgd} | } | jjd krtjj d d | jgd d d ggdgd} | jj} | | _g} | jjdd}| j}|jd|j}t| jD]J}| jj| jd|||dd}| ||!| j"jd|qd}| #| d||D]V}|d| j$krrqZ|ddkrqZ|d7}|d|d|dd}|%|qZ| D]}|%dq| j"jd| D]}|&~q| j"'r$t(| j"j)dW5QRW5QRdS|j|}||*}| j"jd |d!d"d}|+st|| 7}qZ| j"jd#|||7}W5QRXW5QRX|S)$Nrrrtrrr@rrrrr%r rr&rru_Обрабатываем версии документов в несколько потоковZ_process_doc_versions_fork_)rrrrrrr9rr[r<)rr<rru=Ждем обработки версий документовrrz.3fruWЗакончили обработку версий документов. Ошибок: ),rrrrvrurrrrrIr)rrrrlrrrrrr3rrrrrrrrrrZ_process_doc_versions_forkrErrTrrrrrrrrr)rQrrrZrrrurrTrrWrrprrrrrrrrrrZspeedrrrrprocess_doc_versions_fork[s           z-CmfPluginConfluence.process_doc_versions_forkr c sdtd}dtdd}t}t|jjd}||}|rt|d<} | D]0} t | | t df|d7}qVW5QRXn6| r| D] } | sq| d} | sqt| d2} t| | t df|d7}W5QRX|dkr| d } t| dJ} t| }|D]4}|d  t |d f|d d7<q:W5QRX| d }t|d6} | D]*} t | }fdd|qW5QRXq||d}|dkr||d<|d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов в виде кортежей (id, name/key). Для документов дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rcountobjsrzr+rr[rBrCzattachments.jsonrr<rz comments.jsoncsHdt|dfdd7<|dD] }|q6dS)Nrrrr[r=)addri)ZcommentZ child_commentZ comment_statsdump_stats_commentfieldZobj_datarrrs zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_comment attachmentscomments)setrrr3r)rKis_filerMrNloadsrrir\r`rLrO)rrWentityrZattachment_statsZ dumped_countZ dumped_objsZ project_dirZ objs_pathrVrowZobj_dirZ obj_data_fileZ attach_filerZattZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitys^              z-CmfPluginConfluence._get_dump_stats_by_entitycCsdd|gdddgg}|r"||t|}|j|d}t}|j|ddd d d gd } | D]} | jrt| jd dnd} | j} | j rt | j d} | j |} |dkr| | j j| jfqZ|dkr| | j j| fqZ| r| | | fqZ| | qZ||d} | S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ rW=rTz!=N)r'rhrfr z parent.namerr&rer[r CmfAttachment CmfCommentr)rErZget_model_by_namerrZslistrfsplitr rrir)rparent)rrWr filter_byrZfilter_ZmodelZprocessed_countZprocessed_objsrr6Zobj_idZ obj_fieldrrrr_get_process_stats_by_entitys:      z0CmfPluginConfluence._get_process_stats_by_entitycCs,||}||}|sdndt|d}|S)u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества необработанных объектов в виде кортежей Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты uОКuНЕКОРРЕКТНО)r9 unprocessed) intersectionlist)rZ dump_objsZ process_objsrrresultrrr_check_consistency8s  z&CmfPluginConfluence._check_consistencyc Cs|j|ddd}|j|ddd}d|d|dd}||d|d}|||j|d d d}d |d d|dd}||d d|d}|||j|d dddgd} d|dd| dd} ||dd| d} | | ||| gS)u$ Возвращает статистику по документам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики rCr<)rrrr)rZdumpedZ processedrrr uВложенияrrZ log_levelrr)ruКомментарииr)rrrupdate) rrWZ dump_statsZ process_statspage_stats_dataZ page_resultZattach_process_statsZattachment_stats_dataZattachment_resultZcomment_process_statsZcomment_stats_dataZcomment_resultrrr_get_project_page_statsIs`        z+CmfPluginConfluence._get_project_page_statscCs&g}||}|D]}||q|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rrE)rrWrrZ stats_datarrr project_statss   z!CmfPluginConfluence.project_stats)N)r )NN)(__name__ __module__ __qualname__modulesrr(cmf_plugin_confluencerZ ui_meta_skipr1Z api_allowZ api_methodsrrr*propertyr rir r r rrwryboolrzr|r~rrr staticmethodrrrrrrr __classcell__rrr"rrsF   -$   j [ O 2@r) r urllib.parserrpathlibrZ cmf.includeZ/modules.confluence.fields.cmf_plugin_confluencerrr(rrrrrrs