U
~4i @ sH d dl mZ d dlmZmZ d dlZd dlT G dd dejj j
j Z dS ) )Path)urlparse
urlunsplitN)*c sd e Zd Zejjjjjd ZdZ dZ
ejjjjj ddddg Z dd Z d
dddd fd d
Z
dd fdd
Zedd Zdd Zdd ZedddZd?eddd Zedd d Zed d d!Zed d"d#Zed d$d%Zed d&d'Zd(d) Z d*d+ Z fd,d-Z fd.d/Z e d0d1 Z!e d2d3 Z"d@d5d6Z#dAd7d8Z$dBd9d:Z%d;d< Z&d=d> Z' Z(S )CCmfPluginConfluence)
confluenceNTget_all_spacesget_space_pagesget_total_spacesget_page_by_idc K s@ | j r
d S tjf | j| j| j|||d|}| || _ d S )N)nametypetokenext_url ext_login ext_token)pluginmodels CmfPlugincode
class_nameidsave)selfr r r kwargsr r 4./modules/confluence/models/cmf_plugin_confluence.py _init_secret s z CmfPluginConfluence._init_secretr )depthr r r c s* | j r| ||| t j|d|i|S )Nr )Zis_newr superr )r r r r r argsr __class__r r r s zCmfPluginConfluence.saveF)forcec s> t jjdd| jgddddgd}| t j|d|i|S )Nr ==r r r filterfieldsr# )r r getr deleter )r r# r r r r! r r r) ! s
zCmfPluginConfluence.deletec C sn | j shddlm} | ddddddd g || jjj| jjj| jj | jj
| jj j| jj jd
| _ | j S ) Nr )
ConfluenceApir zplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr
verify_sslcloud)
_CmfPluginConfluence__confluenceZmodules.confluence.apir* load_fieldsr r valuer Z ext_passwordZdecryptr r. r/ )r r* r r r r ' s(
z CmfPluginConfluence.confluencec
C sr | j b}|jj |jdd | }| }W 5 Q R X |d }|jd|krdt d| d W 5 Q R X d S )N )timeoutr+ /u Указанный адрес отличается от основного URL-адреса Confluence.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z )
r Z_sessionZcookiesclearZ
without_retryZget_current_userZget_system_infor+ rstripZ cmf_alert)r r Z current_userZ system_infoZbase_urlr r r check_connectionA s
z$CmfPluginConfluence.check_connectionc O s g }zr| j `}dd ||dD }dd |j|dddD }|rh| dd d
d d |iid
}|| W 5 Q R X W nT tk
r } z2t| tjj |dddgd}
|
d} | rt
| |d} t| }
|
d D ]@}| |d|d}| rt
|}|t| W 5 Q R X qg }|
dg D ]D}| |d|d}| r:t
|}|t| W 5 Q R X q:|r| dd d
d d |iid
}|| W 5 Q R X n W 5 d } ~ X Y nX |S )Nc S s g | ]}|qS r r .0objr r r
T s z7CmfPluginConfluence.get_space_pages..z
children.pagec S s g | ]}|qS r r r9 r r r r< V s r Zarchived)statusZ_archived_pagesarchiveu! Архивные страницыpageresults)r r
titlechildrenr plugin.*plugin.plugin.*r r' projects info.jsonZ
root_pages documentsarchived_pages)r Zget_root_pages_from_spaceZget_all_pages_from_spaceappend Exceptiongdebugr CmfImportr( get_download_pathjoinpathexistsopenjsonload)r key
cmf_import_idr r resr r> rI e
cmf_importdump_dirfprojectZ root_page_idZdoc_filef2Zarchived_page_idr r r r P sN
z#CmfPluginConfluence.get_space_pages)rV c
O s d}z.| j }|jdddd}W 5 Q R X |d }W nr tk
r } zTt| tjj|dddgd }| d
} |
rt d d | D }n W 5 d
}~X Y nX |S )uI Получает общее количество пространств r z
type=spaceT)cqllimitZinclude_archived_spacesZ totalSizer rC rD rE rF c s s | ]}| rd V qdS )r3 N)is_dir)r: pr r r s z7CmfPluginConfluence.get_total_spaces..N)
r r^ rK rL rM r rN r( rO rP rQ sumiterdir)
r rV r r totalr ZresponserX rY rZ r r r r
} s
z$CmfPluginConfluence.get_total_spacesc
O s| | dg g }z| j}|j|dD ]}|d |d< |d }|d dkrT|d7 }n |dt|d d
7 }d | jj d |d d } tjj d
dd| dgddgd}
|
r|d7 }||d< |
| q&W 5 Q R X W n t k
rv } z~t
| tjj|dddgd} | d}
|
rdt|
D ]2}t|
|d}|
t| W 5 Q R X q.n W 5 d } ~ X Y nX |S )Nzplugin.source_hash)slicer
original_namer
Zpersonalu( (Личное пространство)z (rU )::r ext_idLIKE%T--)r& Zinclude_deletedr' u [импортирован]r rC rD rE rF rG )r1 r r strupperr source_hashr
CmfProjectsgetrJ rK rL rM rN r( rO rP rQ oslistdirrR rS rT )r rV rf r r rW r spaceZ
space_nameZproject_ext_idr\ rX rY rZ rU r[ r r r r s<
z"CmfPluginConfluence.get_all_spacesc O s z0| j }|j|dddW 5 Q R W S Q R X W n tk
r } zt| tjj|dddgd}| d}|
rt |D ]R} | | d |}
|
rt
|
d
$} t| W 5 Q R W Y S Q R X qn td W 5 d }~X Y nX d S ) NFT)ZdetailedZ
with_childrenr rC rD rE rF rH rG u, Документ не попал в дамп)r r rK rL rM r rN r( rO rP rQ rs rt rR rS rT ) r Zpage_idrV r r r rX rY rZ rU doc_dirr[ r r r r s (
,z"CmfPluginConfluence.get_page_by_id)returnc C s ddl m} || j| S )u
Инициализация настроек
:param models.CmfImport cmf_import: Объект импорта.
r ConfluenceAPIImport) modules.confluence.api_importry r calc_import_settingsr rY ry r r r r{ s z(CmfPluginConfluence.calc_import_settingsc C s ddl m} || j| S )u
Предварительный просмотр данных
:param models.CmfImport cmf_import: Объект импорта.
r rx )rz ry r previewr| r r r r} s zCmfPluginConfluence.previewc
C s> ddl m} d|_| j }||| W 5 Q R S Q R X dS )ux
Процесс импорта
:param models.CmfImport cmf_import: Объект импорта.
r rx u) Импорт данных из ConfluenceN)rz ry r r process_importr rY ry r r r r r~ s z"CmfPluginConfluence.process_importc C s g S )Nr )r r r r calc_models_settings s z(CmfPluginConfluence.calc_models_settingsc
C s8 ddl m} | j }||| W 5 Q R S Q R X d S Nr rx )rz ry r
download_datar r r r r s z!CmfPluginConfluence.download_datac
C s8 ddl m} | j }||| W 5 Q R S Q R X d S r )rz ry r download_filesr r r r r s z"CmfPluginConfluence.download_filesc s | dg |jr|jd dr|jd ddd }|jd drbtj|jd d |S t|jd d }t|j|j |ddfS t
|S )Nimport_raw_json_linksZwebuir3 baser ) r1 r r( rs pathjoinr r schemenetlocr
calc_ext_href)r r; linkZself_urlr! r r r s z!CmfPluginConfluence.calc_ext_hrefc s2 | dg |jdkr&|jr&|jd S t |S )Nr )rq CmfDocumentr )r1 r r r calc_dump_path)r r; r! r r r s
z"CmfPluginConfluence.calc_dump_pathc C s dd l }ddlm} ddlm} d}t t t t j
j | ddgd}||j j
|} | t jj |ddd d
gd}
|
} |
jjd krt jj d d
|
jgdd
dggdgd} | jj} | | _g }
| jjdd}| j }t jj d|
d}|jd |j }t | j D ]P}| j j | j!d| |||
|dd}|
"| |# | j$jd| qd}| d}|st%d d}| &| d ||D ]t}|d | j'krq|d d krĐq|d 7 }|d |d! |d" t(| d )d#|d |d kd$}|*| q|
D ]}|*d% q| j$jd& |
D ]}|+ ~q8| j$, rt- | j$j.d' W 5 Q R W 5 Q R W 5 Q R d S |j | }| j$jd(||/ d) d}|0 s|| 7 }q| j$jd*| ||7 }W 5 Q R X W 5 Q R X W 5 Q R X |S )+Nr cmf_contextrx r r rE
logic_typer Zdescr_documentz#scheme_wf.default_document_workflowproject.agile:defaulttree_parent_idr$ r Документыr% maxsizer> )Zsys_typeZ tree_parentuD Грузим документы в несколько потоков_process_document_fork) obj_queue
done_queuer\ archive_foldertargetr r . Параллельный обработчик homepage)r r r r= trashedr3 rA r
rH )r rA r
rv Z is_homepageDONEu0 Ждем обработки документов Импорт прерван* ------------------------ скорость ' документов в секундуuI Закончили обработку документов, ошибок )1datetimecmf.appr rz ry cmfutil disable_acldisable_notifyensure_recursion_limitr rN r( r r _load_selected_objsrq r r r r r r2 root_parentqueueQueueZ CmfFolderloggerinfonowrangethreading_max_forks threadingThreadr rJ startrY dict_get_documents_selected_objsr rP putr is_cancelcommit_with_eventwarning
total_secondsempty)rV
project_idoffsetr_ dtr ry errorsrY
api_importr\ r ru obj_processr r r siproccntr docdoc_datadiff
has_errorsr r r process_document_fork s
"
&z)CmfPluginConfluence.process_document_forkc C s dd l }ddlm} ddlm} d}t t t x t j
j | ddgd}||j j
|} | t jj |ddgd}
|
} |
jjd krt jj d
d |
jgd d d
ggdgd} | jj} | | _g }
| jjdd}| j }|jd |j }t | j D ]L}| j j | j d| ||dd}|
!| |" | j#jd| qd}| $| d ||D ]h}|d dkr~qh|d | j%krqh|d dkrqh|d 7 }|d |d |d d }|&| qh|
D ]}|&d q| j#jd |
D ]}|' ~q| j#( rNt) | j#j*d! W 5 Q R W 5 Q R W 5 Q R d S |j | }||+ }| j#jd"|d#d$ d}|, s|| 7 }q| j#jd%| ||7 }W 5 Q R X W 5 Q R X W 5 Q R X |S )&Nr r rx r r rE r r r r r$ r r r% r r u_ Обрабатываем версии документов в несколько потоковZ_process_doc_versions_fork_)r r r r r r
r? r r= r r3 rA )r rA r r u= Ждем обработки версий документовr r z.3fr uW Закончили обработку версий документов. Ошибок: )-r r r rz ry r r r r r rN r( r r r rq r r r r r r2 r r r r r r r r r r Z_process_doc_versions_forkrJ r rY r r r r r r r r r )rV r r r_ r r ry r rY r r\ r ru r r r r r r r r r r Zspeedr r r r process_doc_versions_forkn s
"
&z-CmfPluginConfluence.process_doc_versions_forkr c
s
ddl m} dt g d}dt d d}t }t|jjd}||} | rt | d<}
|
D ]0} t
| | t
d f |d7 }qdW 5 Q R X n>| r| D ](} | sq| j|jrq| d }
|
sqt |
d}
t
|
W 5 Q R X d
d krq| t
d f |d7 }|d krg }| d
}| r|t |d}
t
|
}W 5 Q R X i }|D ]l}|d }|d d }d|kr|d d }n td|}|r|dnd}t
|d || d| < q| d}| rb| D ]R}| s q|j|kr||j}|d |f |d d7 < q|r|d d| f fdd| d }| rt |d$}
|
D ]} t
| }| qW 5 Q R X q||d}|d kr||d< |d < |S ) u
Возвращает информацию о дампе сущности,
общее количество объектов и множество объектов в виде кортежей (id, name/key).
Для документов дополнительно добавляется информация об их вложениях
и комментариях с множеством кортежей вида (key, id/name)
Args:
project (object): объект CmfProject
entity (str): название сущности (название каталога или файла)
field (str, optional): дополнительное поле сущности
для добавления в кортеж объекта вместе c id.
Defaults to "name".
Returns:
dict: _description_
r rx )countobjs undownloadedr r r zr+r r3 rG r
r? rH zattachments.jsonr Zdownloadversionnumberz[?&]version=(\d+)rA . attachmentsr r r z, c sH d t| d f d d7 < | d D ] }| q6d S )Nr r r r3 rB )addrn )ZcommentZ
child_commentZ
comment_statsdump_stats_commentfieldZobj_datar r r * s zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_commentz
comments.jsoncomments) rz ry setr r r2 r( rP is_filerR rS loadsr rn r` rd r endswithZexcluded_doc_dir_endingsrQ rT researchgrouppoprJ r values)r r\ entityr ry Zattachment_statsZ dumped_countZ dumped_objsZ project_dirZ objs_pathr[ rowZobj_dirZ
obj_data_filer Z attach_fileZattachment_idsZattZatt_idZ
download_linkr Zattachments_diritemZ att_titleZcomment_data_fileZ comment_datastatsr r r _get_dump_stats_by_entity s
z-CmfPluginConfluence._get_dump_stats_by_entityc C s, dd|gdddgg}|r"| | t|}|j|dd}t }d} td || D ]}
|j|d
d d d
dgd|
|
| gd} | D ]} | jr| jdd nd}
| j }| j
rt | j
d }
| j
|}|dkr|
| jj | j f q||dkr|
| jj |
f q||r|
|
|f q||
|
q|qP||d}|S )u
Возвращает информацию об обработанных объектах сущности
Args:
project (object): объект CmfProject
entity (str): название cmf модели
filter_by (list, optional): дополнительный фильтр. Defaults to None.
field (str, optional): дополнительное поле сущности
для добавления в кортеж объекта вида (id, name/key).
Defaults to None.
Returns:
dict: _description_
r\ =rY !=NT)r& include_archivedd r rm rj r z parent.namer )r& r' r rf ri r3 r
CmfAttachment
CmfCommentr )rJ r Zget_model_by_namer r r Zslistrj splitr r rn r( r parent)r r\ r filter_byr Zfilter_ZmodelZprocessed_countZprocessed_objsstepr r r; Zobj_idZ obj_fieldr r r r _get_process_stats_by_entity? sB
z0CmfPluginConfluence._get_process_stats_by_entityc C s0 | |}|| }|s|r dndt|d}|S )u
Возвращает результат проверки сдампленных и обработанных объектов
в виде статуса и множества необработанных объектов в виде кортежей
Args:
dump_objs (set): сдампленные объекты
process_objs (set): обработанные объекты
has_undownloaded (bool, optional): есть незагруженные вложения
u НЕКОРРЕКТНОZOK)r= unprocessed) intersectionlist)r Z dump_objsZ process_objshas_undownloadedr r resultr r r _check_consistencyv s
z&CmfPluginConfluence._check_consistencyc
C sL | j d | j|ddd}| j d|d | j d|d d | j d |d
d | j d | j|d dd}| j d
|d d|d |d d}dddg}| j d | j|ddddg|gdd}| j d|d d|d d |d d |d d }| j d | j|d d d!d"g|gd#}| j d$|d d%|d
d |d d} | j d& | |d' |d' }
| j d(|
d) ||
| j d* | j|d d' |d' t|d d d+} | j d,| d) || | j d- | |d
d' |d' } | j d.| d) | | ||| gS )/u$
Возвращает статистику по документам проекта, их вложениям и комментариям
Args:
project (object): объект CmfProject
Returns:
dict: данные статистики
uz Сбор информации о сдампенных документах, вложениях и комментарияхrH rA )r u) Сдамплено документов: r u% Сдамплено вложений: r u- Сдамплено комментариев: r uP Сбор информации об обработанных документахr u+ Обработано документов: r )r dumped processedZ parent_idrk z
CmfDocument:%uN Сбор информации об обработанных вложенияхr r r Nr )r r u' Обработано вложений: u Вложенияr )r r r r uT Сбор информации об обработанных комментарияхr Z log_levelr r )r u/ Обработано комментариев: u Комментарииu Проверка консистентности между сдампленными и обработанными документамиr u Документы: r= u Проверка консистентности между сдампленными и обработанными вложениями)r u Вложения: u Проверка консистентности между сдампленными и обработанными комментариямиu Комментарии: )r rM r r r updatebool)
r r\ Z
dump_statsZ
process_statspage_stats_dataZ
parent_filterZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ page_resultZattachment_resultZcomment_resultr r r _get_project_page_stats s
z+CmfPluginConfluence._get_project_page_statsc C s& g }| |}|D ]}|| q|S )u
Возвращает отчет сдампленных и обработанных объектов
Args:
project (object): объект CmfProject
)r rJ )r r\ r r Z
stats_datar r r
project_stats s
z!CmfPluginConfluence.project_stats)N)r )NN)F))__name__
__module__ __qualname__modulesr r' cmf_plugin_confluencer Z ui_meta_skipr0 Z api_allowZ api_methodsr r r) propertyr8 r rn r
r r r r{ r} r r~ r r r r r staticmethodr r r r r r r
__classcell__r r r! r r sH
-$
n
`
p
7
fr ) pathlibr urllib.parser r Z/modules.confluence.fields.cmf_plugin_confluencer Z cmf.includer r' r r r r r r s