U >jg@sHddlmZddlmZmZddlZddlTGdddejj j j Z dS))Path)urlparse urlunsplitN)*csLeZdZejjjjjdZdZ dZ ejjjjj ddddgZ dd Z d dddd fd d Z ddfdd ZeddZddZddZedddZd;edddZedddZedd d!Zedd"d#Zedd$d%Zedd&d'Zd(d)Zd*d+Zfd,d-Zfd.d/Zdd5d6Z"d7d8Z#d9d:Z$Z%S)?CmfPluginConfluence) confluenceNTget_all_spacesget_space_pagesget_total_spacesget_page_by_idc Ks@|jr dStjf|j|j|j|||d|}|||_dS)N)nametypetokenext_url ext_login ext_token)pluginmodels CmfPlugincode class_nameidsave)selfrrrkwargsrr4./modules/confluence/models/cmf_plugin_confluence.py _init_secretsz CmfPluginConfluence._init_secretr)depthrrrcs*|jr||||tj|d|i|S)Nr)Zis_newrsuperr)rrrrrargsr __class__rrrszCmfPluginConfluence.saveF)forcecs>tjjdd|jgddddgd}|tj|d|i|S)Nrz==rrr)filterfieldsr#)rrgetrdeleter)rr#r rrr!rrr'!s  zCmfPluginConfluence.deletec Csn|jshddlm}|ddddddd g||jjj|jjj|jj |jj |jj j|jj jd |_|jS) Nr) ConfluenceApirzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr verify_sslcloud) _CmfPluginConfluence__confluenceZmodules.confluence.apir( load_fieldsrrvaluerZ ext_passwordZdecryptrr,r-)rr(rrrr's(     zCmfPluginConfluence.confluencec Csr|jb}|jj|jdd|}|}W5QRX|d}|jd|krdt d|dW5QRXdS)N)timeoutr)/uУказанный адрес отличается от основного URL-адреса Confluence.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z ) rZ_sessionZcookiesclearZ without_retryZget_current_userZget_system_infor)rstripZ cmf_alert)rrZ current_userZ system_infoZbase_urlrrrcheck_connectionAs  z$CmfPluginConfluence.check_connectioncOsfg}z|j}dd|j|dddD}t}g}|j|ddD]H} t| dgr`| ddn| } | d |kr@|| d || q@|r|d d d d d|iid} || W5QRXWntk r`} z|t | t j j|dddgd} | d}|rNt||d$}t|}|dD]D}||d|d}|r6t|}|t|W5QRXq6t}g}|dgD]}||d|d}|rt|}t|} W5QRXt| dgr| dd} | d |kr|| d || q|rB|d d d d d|iid} || W5QRXnW5d} ~ XYnX|S)NcSsg|]}|qSrr).0pagerrr Tsz7CmfPluginConfluence.get_space_pages..FTZdetailedZinclude_childrenZ ancestors)expandrrZ_archived_pagesarchiveu!Архивные страницыr8results)rr titlechildrenrplugin.*plugin.plugin.*rr%projects info.jsonZ root_pages documentsarchived_pages)rZget_root_pages_from_spacesetZ get_all_pages_from_space_archivelenr&addappend Exceptiongdebugr CmfImportget_download_pathjoinpathexistsopenjsonload)rkey cmf_import_idr rresrZ content_idsr<r8ZcontentrFe cmf_importdump_dirfprojectZ root_page_idZdoc_filef2Zarchived_page_idrrrr Psr               z#CmfPluginConfluence.get_space_pages)rVc Osd}z.|j}|jdddd}W5QRX|d}Wnrtk r}zTt|tjj|dddgd }| d } | rt d d | D}nW5d }~XYnX|S)uI Получает общее количество пространств rz type=spaceT)cqllimitZinclude_archived_spacesZ totalSizerr@rArBrCcss|]}|rdVqdS)r1N)is_dir)r7prrr sz7CmfPluginConfluence.get_total_spaces..N) rr^rKrLrMrrNr&rOrPrQsumiterdir) rrVr rtotalrZresponserXrYrZrrrr s  z$CmfPluginConfluence.get_total_spacesc Os||dgg}z|j}|j|dD]}|d|d<|d}|ddkrT|d7}n|dt|d d 7}d |jjd |d d } tjj d dd| dgddgd} | r|d7}||d<| |q&W5QRXWnt k rv} z~t | tjj|dddgd} | d} | rdt| D]2}t| |d}| t|W5QRXq.nW5d} ~ XYnX|S)Nzplugin.source_hash)slicer original_namer Zpersonalu( (Личное пространство)z (rU)::rext_idLIKE%T--)r$Zinclude_deletedr%u [импортирован]rr@rArBrCrD)r/rrstrupperr source_hashr CmfProjectsgetrJrKrLrMrNr&rOrPrQoslistdirrRrSrT)rrVrfr rrWrspaceZ space_nameZproject_ext_idr\rXrYrZrUr[rrrrs<       z"CmfPluginConfluence.get_all_spacesc Osz0|j }|j|dddW5QRWSQRXWntk r}zt|tjj|dddgd}| d}| rt |D]R} | | d |} | rt | d $} t| W5QRWYSQRXqntd W5d}~XYnXdS) NFTr:rr@rArBrCrErDu,Документ не попал в дамп)rr rKrLrMrrNr&rOrPrQrsrtrRrSrT) rZpage_idrVr rrrXrYrZrUZdoc_dirr[rrrr s( ,z"CmfPluginConfluence.get_page_by_id)returncCsddlm}||j|S)u Инициализация настроек :param models.CmfImport cmf_import: Объект импорта. rConfluenceAPIImport)modules.confluence.api_importrxrcalc_import_settingsrrYrxrrrrzs z(CmfPluginConfluence.calc_import_settingscCsddlm}||j|S)u Предварительный просмотр данных :param models.CmfImport cmf_import: Объект импорта. rrw)ryrxrpreviewr{rrrr|s zCmfPluginConfluence.previewc Cs>ddlm}d|_|j}|||W5QRSQRXdS)ux Процесс импорта :param models.CmfImport cmf_import: Объект импорта. rrwu)Импорт данных из ConfluenceN)ryrxr rprocess_importrrYrxrrrrr}s z"CmfPluginConfluence.process_importcCsgS)Nr)rrrrcalc_models_settingssz(CmfPluginConfluence.calc_models_settingsc Cs8ddlm}|j}|||W5QRSQRXdSNrrw)ryrxr download_datar~rrrrs z!CmfPluginConfluence.download_datac Cs8ddlm}|j}|||W5QRSQRXdSr)ryrxrdownload_filesr~rrrrs z"CmfPluginConfluence.download_filescs|dg|jr|jjdidr|jdddd}|jddrftj|jdd|St|jdd}t|j |j |ddfSt |S)Nimport_raw_json_linksZwebuir1baser) r/rr0r&rspathjoinrrschemenetlocr calc_ext_href)robjlinkZself_urlr!rrrs z!CmfPluginConfluence.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)Nr)rq CmfDocumentr)r/rrrcalc_dump_path)rrr!rrr s  z"CmfPluginConfluence.calc_dump_pathr c s ddlm}dtgd}dtdd}t}t|jjd}||} | rt | d<} | D]0} t | | t df|d7}qdW5QRXn>| r| D](} | sq| j|jrq| d } | sqt | d} t | W5QRXd d krq| t df|d7}|d krg}| d }|r|t |d} t | }W5QRXi}|D]l}|d}|dd}d|kr|dd}n td|}|r|dnd}t |d||d|<q| d}|rb|D]R}|s q|j|kr||j}|d |f|dd7<q|r|dd|ffdd| d}|rt |d$} | D]} t | }|qW5QRXq||d}|d kr||d<|d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов в виде кортежей (id, name/key). Для документов дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rrw)countobjs undownloadedrrrzr+rr1rDr r8rEzattachments.jsonrZdownloadversionnumberz[?&]version=(\d+)r>. attachmentsrrrz, csHdt|dfdd7<|dD] }|q6dS)Nrrrr1r?)rIrn)ZcommentZ child_commentZ comment_statsdump_stats_commentfieldZobj_datarrrms zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_commentz comments.jsoncomments)ryrxrGrrr0r&rPis_filerRrSloadsrIrnr`rdr endswithZEXCLUDED_DIR_SUFFIXESrQrTresearchgrouppoprJrvalues)rr\entityrrxZattachment_statsZ dumped_countZ dumped_objsZ project_dirZ objs_pathr[rowZobj_dirZ obj_data_filerZ attach_fileZattachment_idsZattZatt_idZ download_linkrZattachments_diritemZ att_titleZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitys                        z-CmfPluginConfluence._get_dump_stats_by_entitycCs,dd|gdddgg}|r"||t|}|j|dd}t}d} td || D]} |j|d d d d dgd| | | gd} | D]} | jr| jddnd} | j }| j rt | j d} | j |}|dkr| | jj | j fq||dkr| | jj | fq||r| | |fq|| | q|qP||d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ r\=rY!=NT)r$include_archiveddrrmrjr z parent.namer)r$r%rrfrir1r CmfAttachment CmfCommentr)rJZcmfutilZget_model_by_namerrGrangeZslistrjsplitr rrnr&rIparent)rr\r filter_byrZfilter_ZmodelZprocessed_countZprocessed_objsstepstartrrZobj_idZ obj_fieldrrrr_get_process_stats_by_entitysB     z0CmfPluginConfluence._get_process_stats_by_entitycCs0||}||}|s|rdndt|d}|S)u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества необработанных объектов в виде кортежей Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты has_undownloaded (bool, optional): есть незагруженные вложения uНЕКОРРЕКТНОZOK)status unprocessed) intersectionlist)rZ dump_objsZ process_objshas_undownloadedrrresultrrr_check_consistencys z&CmfPluginConfluence._check_consistencyc CsL|jd|j|ddd}|jd|d|jd|dd|jd |d d|jd |j|d dd}|jd |dd|d|dd}dddg}|jd|j|ddddg|gdd}|jd|dd|dd|dd|dd}|jd|j|dd d!d"g|gd#}|jd$|dd%|d d|dd} |jd&||d'|d'} |jd(| d)|| |jd*|j|dd'|d't|ddd+} |jd,| d)|| |jd-||d d'|d'} |jd.| d)| | ||| gS)/u$ Возвращает статистику по документам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики uzСбор информации о сдампенных документах, вложениях и комментарияхrEr>)ru)Сдамплено документов: ru%Сдамплено вложений: ru-Сдамплено комментариев: ruPСбор информации об обработанных документахru+Обработано документов: uДокументы)rdumped processedZ parent_idrkz CmfDocument:%uNСбор информации об обработанных вложенияхrrrNr )rru'Обработано вложений: uВложенияr)rrrruTСбор информации об обработанных комментарияхrZ log_levelrr)ru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными документамиruДокументы: ruПроверка консистентности между сдампленными и обработанными вложениями)ruВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )loggerrMrrrupdatebool) rr\Z dump_statsZ process_statspage_stats_dataZ parent_filterZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ page_resultZattachment_resultZcomment_resultrrr_get_project_page_statss              z+CmfPluginConfluence._get_project_page_statscCs&g}||}|D]}||q|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rrJ)rr\rrZ stats_datarrr project_stats1s   z!CmfPluginConfluence.project_stats)N)r )NN)F)&__name__ __module__ __qualname__modulesrr%cmf_plugin_confluencerZ ui_meta_skipr.Z api_allowZ api_methodsrrr'propertyr6r rnr rr rrzr|rr}rrrrrrrrrr __classcell__rrr!rrs@   @$   p 7 fr) pathlibr urllib.parserrZ/modules.confluence.fields.cmf_plugin_confluencerZ cmf.includerr%rrrrrrs