j d dl mZ d dlmZmZ d dlZd dl G d dej j j j Z y) )Path)urlparse
urlunsplitN)*c e Zd Zej j
j j j dz ZdZ dZ
ej j
j j j g dz Z d Z ddddd fd
Z
d d
fd
Zed Zd
Zd ZdefdZd#defdZdefdZdefdZdefdZdefdZdefdZd Z d Z fdZ fdZ e d Z!e d Z"d$d Z#d%d Z$d&d Z%d! Z&d" Z' xZ(S )'CmfPluginConfluence)
confluenceNT)get_all_spacesget_space_pagesget_total_spacesget_page_by_idc
| j ry t j d| j | j | j
|||d|}|j
|| _ y )N)nametypetokenext_url ext_login ext_token )pluginmodels CmfPlugincode
class_nameidsave)selfr r r kwargsr s 4./modules/confluence/models/cmf_plugin_confluence.py _init_secretz CmfPluginConfluence._init_secret sY ;; 1!! gtyytdgg*1YR[g_eg
r )depthr r r c d | j r| j ||| t | |d|i|S )Nr" )is_newr superr )r r" r r r argsr __class__s r r zCmfPluginConfluence.save s5 ;; gy) <w|T99&99r! F)forcec t j j dd| j gg d }|j t | |d|i|S )Nr ==)r r r r filterfieldsr( )r r getr deleter% )r r( r& r r r' s r r/ zCmfPluginConfluence.delete! sQ !!%%gtTWW-E-[ & ]
w~t;5;F;;r! c | j sddlm} | j g d || j j
j | j j j | j j j | j j j | j j j | j j j | _ | j S )Nr )
ConfluenceApi)r zplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr
verify_sslcloud)
_CmfPluginConfluence__confluencemodules.confluence.apir1 load_fieldsr r valuer ext_passworddecryptr r5 r6 )r r1 s r r z CmfPluginConfluence.confluence' s <
!.KK''-- ..44 1199;kk++335 ;;1177kk''--
!D r! c | j 5 }|j j j |j d 5 |j }|j
}d d d d }|j j d |k7 rt d| d d d d y # 1 sw Y DxY w# 1 sw Y y xY w)N )timeoutr2 /u Указанный адрес отличается от основного URL-адреса Confluence.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z )
r _sessioncookiesclear
without_retryget_current_userget_system_infor2 rstrip cmf_alert)r r current_user system_infobase_urls r check_connectionz$CmfPluginConfluence.check_connectionA s
__
' ' - - /))!)4
; ) : : < ( 8 8 :
; #5)H~~$$S)X555=JiI
;
; s# 7B4!B(%:B4(B1 -B44B=c g } | j 5 }|j |d D cg c] }| }}|j |dd D cg c] }| }}|r | ddddd |iid
} |j | d d d |S c c}w c c}w # 1 sw Y |S xY w# t $ r}
t
j
|
t j j |g d } | j j d
} | j r\t | j |d 5 }
t j |
}|d D ]k }| j |d|d }|j s(t | 5 }|j t j | d d d a# 1 sw Y jxY w g }|j dg D ]k }| j |d|d }|j s(t | 5 }|j t j | d d d a# 1 sw Y jxY w |r | ddddd |iid
} |j | d d d n
# 1 sw Y nxY w Y d }
~
|S d }
~
ww xY w)Nz
children.pager archived)status_archived_pagesarchiveu! Архивные страницыpageresults)r r titlechildrenr zplugin.*zplugin.plugin.*r r- projects info.json
root_pages documentsarchived_pages)r get_root_pages_from_spaceget_all_pages_from_spaceappend Exceptiongdebugr CmfImportr. get_download_pathjoinpathexistsopenjsonload)r key
cmf_import_idr& r resr objrQ r\ e
cmf_importdump_dirfproject root_page_iddoc_filef2archived_page_ids r r z#CmfPluginConfluence.get_space_pagesP sp (
/J&0&J&J3P_&`assaa*4*M*McST]g*M*hi33ii!$_ 5 )!D%+i-A$B &N JJ~.
/P
O bi
/P
9
GGAJ ))-- Gk-lJ!335>>zJH (++C=> 3! "iilG(/ (= : #+#4#4S+|U`#a#??,!%h :2 #
499R= 9 : : ::
!G,3KK8H",M >(#+#4#4S+GWYd#e#??,!%h >2 'tyy} = > > >>
%(E "9$-%H)/)W1E(F *
>2)3 3 3,
9 s B B A<B B#B2B <
BB B B
I- BI( AI# I.%F I F%
!AI% I0%H I H'
#)I I(I I((I-rk c d} | j 5 }|j ddd }ddd d }|S # 1 sw Y xY w# t $ r}t j | t
j j |g d }|j j d } | j r!t d
| j D }n Y d}~|S d}~ww xY w) uI Получает общее количество пространств r z
type=spaceT)cqllimitinclude_archived_spacesN totalSizerV rW rX c 3 B K | ] }|j sd yw)r> N)is_dir).0ps r z7CmfPluginConfluence.get_total_spaces.. s H!QXXZAHs )
r rx r` ra rb r rc r. rd re rf sumiterdir)
r rk r& r totalr responsern ro rp s
r r z$CmfPluginConfluence.get_total_spaces} s
cJ%>>l!]a>b
c [)E
c
c
GGAJ ))-- Gk-lJ!335>>zJH Hx'7'7'9HH s* A 4
A =A C B CC c | j dg g } | j 5 }|j | D ] }|d |d< |d }|d dk( r|dz
}n#|dt |d j d
z
}d | j
j d |d d } t j j d
dd| dgddg }
|
r|dz
}||d< |j | d d d |S # 1 sw Y |S xY w# t $ r} t j | t j j |g d } | j! j# d }
|
j% rot& j) |
D ]V }t+ |
j# |d 5 }|j t, j/ | d d d L# 1 sw Y UxY w n Y d } ~ |S d } ~ ww xY w)Nzplugin.source_hash)slicer
original_namer personalu( (Личное пространство)z (rj )::r ext_idLIKE%T--)r, include_deletedr- u [импортирован]rV rW rX rY )r9 r r
strupperr source_hashr
CmfProjectsgetr_ r` ra rb rc r. rd re rf oslistdirrg rh ri )r rk r r& r rl r space
space_nameproject_ext_idrr rn ro rp rj rq s r r
z"CmfPluginConfluence.get_all_spaces s ./0
&J ' 6 6U 6 C &E-26]E/*!&v J V}
2"&PP
#3uU|+<+B+B+D*EQ&GG
')$++*A*A)B"U4[MQS%TN $ / / 4 4 (&An5EQ2G H(, $v 5 G
"&CC
$.E&MJJu%#&
&<
=
&<
GGAJ ))-- Gk-lJ!335>>zJH ::h/ 1C h / /[ AB 1a
499Q<01 1 11 1
sN C7 B=C* C7 *C4/C7 4C7 7 G" BG %G? G G
G G"c | j 5 }|j |dd cd d d S # 1 sw Y y xY w# t $ r}t j | t
j j |g d }|j j d }|j rt j | D ]q } |j | d| }
|
j s't |
j d 5 } t j | cd d d c cY d }~S # 1 sw Y pxY w t d d }~ww xY w)
NFT)detailed
with_childrenrV rW rX r[ rY u, Документ не попал в дамп)r r
r` ra rb r rc r. rd re rf r r rg rh ri ) r page_idrk r& r r rn ro rp rj doc_dirrq s r r
z"CmfPluginConfluence.get_page_by_id s L
^J!005X\0]
^
^
^
L
GGAJ ))-- Gk-lJ!335>>zJH ::h/ 0C & / /[' JG ~~' !'"2"2;"? @ 0A#'99Q<0 0 0 00 JK K
LsN 8 , 8 58 8
EB"D>%D>?D% D> E%D. *D>>Ereturnc P ddl m} || j | j S )u
Инициализация настроек
:param models.CmfImport cmf_import: Объект импорта.
r ConfluenceAPIImport) modules.confluence.api_importr r calc_import_settingsr ro r s r r z(CmfPluginConfluence.calc_import_settings s"
F"4??J?TTVVr! c P ddl m} || j | j S )u
Предварительный просмотр данных
:param models.CmfImport cmf_import: Объект импорта.
r r )r r r previewr s r r zCmfPluginConfluence.preview s"
F"4??J?GGIIr! c ddl m} d|_ | j 5 } ||| j cddd S # 1 sw Y yxY w)ux
Процесс импорта
:param models.CmfImport cmf_import: Объект импорта.
r r u) Импорт данных из ConfluenceN)r r r r process_importr ro r r s r r z"CmfPluginConfluence.process_import sD
FE
__ P
&z:>MMO P P Ps ;Ac g S Nr )r s r calc_models_settingsz(CmfPluginConfluence.calc_models_settings s r! c ddl m} | j 5 } ||| j cd d d S # 1 sw Y y xY wNr r )r r r
download_datar s r r z!CmfPluginConfluence.download_data s: E
__ O
&z:>LLN O O O 4=c ddl m} | j 5 } ||| j cd d d S # 1 sw Y y xY wr )r r r download_filesr s r r z"CmfPluginConfluence.download_files s: E
__ P
&z:>MMO P P Pr c |j dg |j r|j d j d r|j d j d dd }|j d j d r0t j j |j d d | S t
|j d d }t |j |j |ddf S t | - | S )Nimport_raw_json_linkswebuir> baser ) r9 r r. r pathjoinr r schemenetlocr%
calc_ext_href)r rm linkself_urlr' s r r z!CmfPluginConfluence.calc_ext_href s *+, 3#6#6x#@#D#DW#M&&x044W=abAD""8,008ww||C$7$7$A&$I4PP#C$7$7$A&$IJ!8??HOOT2r"RSSw$S))r! c |j dg |j dv r|j r|j d S t | | S )Nr )r CmfDocumentr )r9 r r r% calc_dump_path)r rm r' s r r z"CmfPluginConfluence.calc_dump_path sI *+, >> : :s?R?R&&v. .w%c**r! c
H
dd l }dd l}ddlm} ddlm} d} d| d}
t j 5 t j 5 t j 5 t j j | ddg } | j j |
d || j j | } | j# t j$ j |g d
}
|
}|
j& j( d k( r3t j* j d d
|
j, gg dgdg }|j. j0 }|| _ g }| j4 j7 d }| j4 j7 }t j8 j d|
}| j: }| j j |
d| d |j j= }t? | j: D ]~ }| j@ jC | jD d| |||
|d }|jG | |jI | jJ j j |
d| d d}|j d }|s tM d }| jO |d || D ]h }|d | jP vr|d d!k( r |d"z
}|d |d# |d$ tS |d jU d% |d |d k( d&}|jW | j |D ] }|jW d' | jJ j j |
d( |D ]> }|jY | jJ j j |
d| d) ~@ | jJ j[ rIt] | jJ j j_ d* d d d d d d d d d y |j j= |z
} | jJ j j |
d+|| ja z d, d} |jc s$| |j z
} |jc s$| jJ j j |
d-| | | z
} |je d" d d d d d d d d d | S # 1 sw Y xY w# 1 sw Y xY w# 1 sw Y | S xY w).Nr cmf_contextr []r r rW : запущен)
logic_typer descr_documentz#scheme_wf.default_document_workflowproject.agile:defaulttree_parent_idr* r r* Документыr r+ maxsizerQ )sys_type tree_parentu8 : начал обработку документов с потоками..._process_document_fork) obj_queue
done_queuerr archive_foldertargetr r
: поток запущенhomepage)r r r rO trashedr> rT r r[ )r rT r r is_homepageDONEu= : ожидание обработки документов... завершен Импорт прерван : скорость ' документов в секундуuJ : завершил обработку документов. Ошибок: )3datetimetimecmf.appr r r cmfutil disable_acldisable_notifyensure_recursion_limitr rc r. loggerinfor r _load_selected_objsr r r r r r r: root_parentqueueQueue CmfFolderthreading_max_forksnowrange threadingThreadr r_ startro dict_get_documents_selected_objsr re putr is_cancelcommit_with_eventwarning
total_secondsemptysleep) rk
project_idoffsetry worker_iddtr r r errors
worker_msgro
api_importrr r r obj_processr r r num_threadssiproccntr docdoc_datadiff
has_errorss r process_document_forkz)CmfPluginConfluence.process_document_fork s$ 'E 1%
" q
#
#
%q
+
+
-q ))-- X-WJ " "j\1A#B C,Z->->-I-I:VJ * * , ''++ , G "K!!&&*AA $ 0 0 4 4 -tWZZ @Bfg -. 5
//55E%0J " K"((..s.;I#))//1J # - - 1 19RY 1 ZN %88K " " , VWbVccwx
!A:99:
e!++22%<<1!5%.&0#**8 3 ""4(
%%,,11ZL
dVSb2cd
e C yy,H 4=!00v N
(t9J$=$== x=I- q d) \ K #E&M 2 ; ;K H#&t9#>
h'
(" $
&
f%
& ! ! ( ( - - , [\
$
%%,,11!l-v5FG
$$..0!#%%,,445RSCq q q q F ;;??$q(D ! ! ( ( - - , 1#8J8J8L2L1MMtu
J &&(jnn ..
!&&(
! ! ( ( - - , hishtu
j F JJqMcq q q f
gq q q q q f
sV TT N"S?=T TBS?%A S?%T -T?T T T TT!c | dd l }dd l}ddlm} ddlm} d} d| d}
t j 5 t j 5 t j 5 t j j | ddg } | j j |
d || j j | } | j# t j$ j |d
d g }
|
}|
j& j( d k( r3t j* j d
d|
j, gg dgd g }|j. j0 }|| _ g }| j4 j7 d }| j4 j7 }| j8 }| j j |
d| d |j j; }t= | D ]| }| j> jA | jB d| ||d }|jE | |jG | jH j j |
d| d ~ d}| jK |d || D ]K }|d d k7 r |d | jL vr |d d k( r'|d z
}|d |d! |d d"}|jO | M |D ] }|jO d# | jH j j |
d$ |D ]> }|jQ | jH j j |
d| d% ~@ | jH jS rItU | jH j jW d& d d d d d d d d d y |j j; |z
}||jY z }| jH j j |
d'|d(d) d} |j[ s$| |j z
} |j[ s$| jH j j |
d*| | | z
} |j] d d d d d d d d d d | S # 1 sw Y xY w# 1 sw Y xY w# 1 sw Y | S xY w)+Nr r r r r r r rW r r r r r r* r r+ r r uE : начал обработку версий документов с r _process_doc_versions_fork_)r r r r r r r rR r rO r r> rT )r rT r r uJ : ожидание обработки версий документов...r r r z.3fr uW : завершил обработку версий документов. Ошибок: )/r r r r r r r r r r r rc r. r r r r r r r r r r r r: r r r r r r r r _process_doc_versions_forkr_ r ro r r r r r r r r r r ) rk r r ry r r r r r r r ro r
rr r r r r r r r
r r r r r r speedr s r process_doc_versions_forkz-CmfPluginConfluence.process_doc_versions_fork~ s 'E 1%
" c
#
#
%c
+
+
-c ))-- X-WJ " "j\1A#B C,Z->->-I-I:VJ * * , ''++z } t j | |j t d f |dz
}@ d d d n| j r| j D ] } | j s| j j# |j$ r;| j d
}
|
j' s]t |
d 5 }
t j) |
d d d d d k7 r|j t d f |dz
}|d
k( sg }| j d }|j' r*t |d 5 }
t j) |
}d d d i }|D ]] }|d }|d d }d|v r |d d }n+t* j- d| }|r|j/ d nd}t |d || d| < _ | j d }|j' rv|j D ]c }|j s|j |v s#|j1 |j }|d j |f |dxx dz
cc< e |r6|d j3 dj5 |j7 f fd | j d }|j' sht |d 5 }
|
D ] } t j | } | ! d d d ||d}|d
k( r
||d< |d < |S # 1 sw Y xY w# 1 sw Y JxY w# 1 sw Y xY w# 1 sw Y xY w) u
Возвращает информацию о дампе сущности,
общее количество объектов и множество объектов в виде кортежей (id, name/key).
Для документов дополнительно добавляется информация об их вложениях
и комментариях с множеством кортежей вида (key, id/name)
Args:
project (object): объект CmfProject
entity (str): название сущности (название каталога или файла)
field (str, optional): дополнительное поле сущности
для добавления в кортеж объекта вместе c id.
Defaults to "name".
Returns:
dict: _description_
r r )countobjs undownloadedr r r zr+r r> NrY r rR r[ zattachments.jsonr downloadversionnumberz[?&]version=(\d+)rT . attachmentsr r r z, c d j t | d f dxx dz
cc< | d D ]
} | y )Nr r r r> rU )addr )comment
child_comment
comment_statsdump_stats_commentfieldobj_datas r r* zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_commentJ sU %f-118E?CPT
DV2WX%g.!3.-4Z-@ >M .} =>r! z
comments.jsoncomments) r r setr r r: r. re is_filerg rh loadsr& r r} r r endswithexcluded_doc_dir_endingsrf ri researchgrouppopr_ r values) r rr entityr+ r attachment_stats dumped_count dumped_objs project_dir objs_pathrq rowobj_dir
obj_data_filer$ attach_fileattachment_idsattatt_id
download_linkr! attachments_diritem att_titlecomment_data_file comment_datastatsr) r* r, s ` @@@r _get_dump_stats_by_entityz-CmfPluginConfluence._get_dump_stats_by_entity s " F E
E
e 72288<G&(ii0Dm&TG:AgmmA&6qG@CCL@Q&7)'<=R '.&6&6}&EO&--/$3$;$;$= ?D#'<<> ( #yyN :,:,>,>tyy,I 0 8 < 9
? &( 8?? $UOTYY~7L7L7N-OA >
)0(8(8 (I%(//1 !"3T : Aa'( A/3zz# 2< @ AA Ao:
Az "
[ #3E- -E* U
&
& , ,7 7HA As1
AN8&O)O1%O 8OO O O( c & dd|gg dg}|r|j | t j | }|j |d }t }d} t d|| D ]* }
|j
|g dd|
|
| z g } | D ] } | j r | j j d
d nd }
| j }| j r3t | j d
}
| j j | }|dk( r2|j | j j | j f |dk( r(|j | j j |
f |r|j |
|f |j |
- ||d}|S )u
Возвращает информацию об обработанных объектах сущности
Args:
project (object): объект CmfProject
entity (str): название cmf модели
filter_by (list, optional): дополнительный фильтр. Defaults to None.
field (str, optional): дополнительное поле сущности
для добавления в кортеж объекта вида (id, name/key).
Defaults to None.
Returns:
dict: _description_
rr =)ro !=NT)r, include_archivedd r )r r r z parent.namer )r, r- rP r r r> Nr
CmfAttachment
CmfCommentr )r_ r get_model_by_namer r. r slistr splitr r r r. r& parent)r rr r8 filter_byr+ filter_modelprocessed_countprocessed_objsstepr r rm obj_id obj_fieldrK s r _get_process_stats_by_entityz0CmfPluginConfluence._get_process_stats_by_entity_ s W % &
NN9 %))&1 ++Wt+L 1ot4 /E;; Q!% edl+ D
/69jj))$/2d HH && !4!4T!: ;F # 3 3 7 7 >I_,"&&
'BC|+"&&
'@A "&& ':;"&&v.
/ /. %"
r! c Z |j | }||z
}|s|rdndt | d}|S )u
Возвращает результат проверки сдампленных и обработанных объектов
в виде статуса и множества необработанных объектов в виде кортежей
Args:
dump_objs (set): сдампленные объекты
process_objs (set): обработанные объекты
has_undownloaded (bool, optional): есть незагруженные вложения
u НЕКОРРЕКТНОOK)rO unprocessed) intersectionlist)r dump_objs process_objshas_undownloadedrd rc results r _check_consistencyz&CmfPluginConfluence._check_consistency s@ !--l; ,. 2=AQ.W[ ,
r! c $ | j j d | j |dd }| j j d|d | j j d|d d | j j d |d
d | j j d | j |d d }| j j d
|d d|d |d d}g d}| j j d | j |dg d|gd }| j j d|d d|d d |d d |d d}| j j d | j |dg d |g }| j j d |d d |d
d |d d} | j j d | j |d! |d! }
| j j d"|
d# |j |
| j j d$ | j |d d! |d! t
|d d % } | j j d&| d# |j | | j j d' | j |d
d! |d! } | j j d(| d# | j | ||| gS ))u$
Возвращает статистику по документам проекта, их вложениям и комментариям
Args:
project (object): объект CmfProject
Returns:
dict: данные статистики
uz Сбор информации о сдампенных документах, вложениях и комментарияхr[ rT )r+ u) Сдамплено документов: r u% Сдамплено вложений: r$ u- Сдамплено комментариев: r- uP Сбор информации об обработанных документахr u+ Обработано документов: r )r8 dumped processed) parent_idr z
CmfDocument:%uN Сбор информации об обработанных вложенияхrR )r rO Nr )rX r+ u' Обработано вложений: u Вложенияr )r8 rl r rm uT Сбор информации об обработанных комментарияхrS ) log_levelrN r )rX u/ Обработано комментариев: u Комментарииu Проверка консистентности между сдампленными и обработанными документамиr u Документы: rO u Проверка консистентности между сдампленными и обработанными вложениями)rh u Вложения: u Проверка консистентности между сдампленными и обработанными комментариямиu Комментарии: )r rb rL r` rj updatebool)
r rr
dump_stats
process_statspage_stats_data
parent_filterattach_process_statsattachment_stats_datacomment_process_statscomment_stats_data page_resultattachment_resultcomment_results
r _get_project_page_statsz+CmfPluginConfluence._get_project_page_stats s
W X33 4
EjQXFYEZ[\ A*]B[\cBdAefg I*U_J`ahJiIjkl lm 99 :
G
V]H^G_`a* )&w/
?
jk # @ @ / A
CDXY`DaCbcd( /8 &} 5n E-g6 !
pq $ A A % !B !
KLabiLjKklm. ,W5.w7
W
-- v & !
0X1F0GHI {+
U
! 3 3 } %f - ( !*]";N"K L 4
./@/J.KLM $$%67
[
00 z "6 * !& )
4^H5M4NOP!!.1 !68JKKr! c \ g }| j | }|D ] }|j | |S )u
Возвращает отчет сдампленных и обработанных объектов
Args:
project (object): объект CmfProject
)r} r_ )r rr rK rt
stats_datas r
project_statsz!CmfPluginConfluence.project_stats s= 66w?) %J LL $ % r! r )r )NN)F))__name__
__module__ __qualname__modulesr r- cmf_plugin_confluencer ui_meta_skipr7 api_allow api_methodsr r r/ propertyrL r r r r
r
re r r rq r r r r r r staticmethodr r rL r` rj r} r
__classcell__)r' s @r r r sb %%,,BBVVccfuuLLI$$++AAUUaa e
K !"444 :
#( < ! !2
+Zc $"C "HLS L&W$ WJT JPD Pd O
P
*+ | || n n`n`5n$dLLr! r ) pathlibr urllib.parser r /modules.confluence.fields.cmf_plugin_confluencer cmf.includer r- r r r r! r r s7 - 6 T ',,33II]] T r!