i v d dl mZ d dlmZmZ d dlZd dlT G d dej j j
j Z dS ) )Path)urlparse
urlunsplitN)*c e Zd Zej j j j j dz ZdZ dZ
ej j j j j g dz Z d Z ddddd fd
Z
d d
fd
Zed Zd
Zd ZdefdZd$defdZdefdZdefdZdefdZdefdZdefdZd Z d Z fdZ fdZ e d Z!e d Z"d%d Z#d&d Z$d'd!Z%d" Z&d# Z' xZ(S )(CmfPluginConfluence)
confluenceNT)get_all_spacesget_space_pagesget_total_spacesget_page_by_idc
| j rd S t j d| j | j | j |||d|}| || _ d S )N)nametypetokenext_url ext_login ext_token )pluginmodels CmfPlugincode
class_nameidsave)selfr r r kwargsr s 4./modules/confluence/models/cmf_plugin_confluence.py _init_secretz CmfPluginConfluence._init_secret si ; F1! gtytdg*1YR[g g_eg g
r )depthr r r c v | j r| ||| t j |d|i|S )Nr" )is_newr superr )r r" r r r argsr __class__s r r zCmfPluginConfluence.save sE ; = gy) < < <uww|T99&999r! F)forcec t j dd| j gg d }| t j |d|i|S )Nr ==)r r r r filterfieldsr( )r r getr deleter% )r r( r& r r r' s r r/ zCmfPluginConfluence.delete! sc !%%gtTW-E-[-[-[ & ] ]
uww~t;5;F;;;r! c l | j sddlm} | g d || j j j | j j j | j j | j j
| j j j | j j j | _ | j S )Nr )
ConfluenceApi)r zplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr
verify_sslcloud)
_CmfPluginConfluence__confluencemodules.confluence.apir1 load_fieldsr r valuer ext_passworddecryptr r5 r6 )r r1 s r r z CmfPluginConfluence.confluence' s < < < < < <
!.
K'- .4 199;;k+3355 ;17k'-
! ! !D r! c | j 5 }|j j | d 5 | }| }d d d n # 1 swxY w Y |d }|j d |k rt d| d d d d d S # 1 swxY w Y d S )N )timeoutr2 /u Указанный адрес отличается от основного URL-адреса Confluence.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z )
r _sessioncookiesclear
without_retryget_current_userget_system_infor2 rstrip cmf_alert)r r current_user system_infobase_urls r check_connectionz$CmfPluginConfluence.check_connectionA se
_
' - - / / /))!)44
;
; ) : : < < ( 8 8 : :
;
;
;
;
;
;
;
;
;
;
;
;
;
;
; #5)H~$$S))X55I5=I I I s4 5C)A2& C2A6 6C9A6 :z7CmfPluginConfluence.get_space_pages..T s aaassaaar! z
children.pagec g | ]}|S r r rO s r rR z7CmfPluginConfluence.get_space_pages..V s iii33iiir! r archived)status_archived_pagesarchiveu! Архивные страницыpageresults)r r titlechildrenr zplugin.*zplugin.plugin.*r r- projects info.json
root_pages documentsarchived_pages)r get_root_pages_from_spaceget_all_pages_from_spaceappend Exceptiongdebugr CmfImportr. get_download_pathjoinpathexistsopenjsonload)r key
cmf_import_idr& r resr rW rb e
cmf_importdump_dirfproject root_page_iddoc_filef2archived_page_ids r r z#CmfPluginConfluence.get_space_pagesP s (
/Jaaj&J&J3P_&`&`aaaii**M*McST]g*M*h*hiii /!$ 5 5 5 )!D%+i-A$B & &N JJ~...
/
/
/
/
/
/
/
/
/
/
/
/
/
/
/
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
(++C==>> 3! "iillG(/ (= : : #+#4#4S+|U`#a#a#??,, :!%h :2 #
499R== 9 9 9 : : : : : : : : : : : : : : : G,3KK8H",M,M > >(#+#4#4S+GWYd#e#e#??,, >!%h >2 'tyy}} = = = > > > > > > > > > > > > > > > 3%("9"9"9$-%H)/)W1E(F * *
>222)3 3 3 3 3 3 3 3 3 3 3 3 3 3 3, 7 8
s B A(A?3 B ?BB BB J<B J73A J%.G
J%
G
J%G
AJ%..I( J%(I,
,J%/I,
0)J% J7%J) )J7,J) -J77J<rq c d} | j 5 }| ddd }ddd n # 1 swxY w Y |d }n# t $ r}t | t
j |g d }| d } |
r,t d
| D }n Y d}~nd}~ww xY w|S ) uI Получает общее количество пространств r z
type=spaceT)cqllimitinclude_archived_spacesN totalSizer\ r] r^ c 3 B K | ]}| d V dS )r> N)is_dir)rP ps r z7CmfPluginConfluence.get_total_spaces.. s/ HH!QXXZZHAHHHHHHr! )
r r} rf rg rh r ri r. rj rk rl sumiterdir)
r rq r& r totalr responsers rt ru s
r r z$CmfPluginConfluence.get_total_spaces} s\
cJ%>>l!]a>bb
c
c
c
c
c
c
c
c
c
c
c
c
c
c
c [)EE
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
HHx'7'7'9'9HHHHH
s3 A 0 A 4A 4 A
C=B%C88C=c J | dg g } | j 5 }| | D ]}|d |d< |d }|d dk r|dz
}n.|dt |d d
z
}d | j j d |d d } t j d
dd| dgddg }
|
r|dz
}||d< |
| d d d n # 1 swxY w Y n# t $ r } t
| t j |g d } | d }
|
rt& |
D ]j}t+ |
|d 5 }|
t, | d d d n # 1 swxY w Y kn Y d } ~ nd } ~ ww xY w|S )Nzplugin.source_hash)slicer
original_namer personalu( (Личное пространство)z (rp )::r ext_idLIKE%T--)r, include_deletedr- u [импортирован]r\ r] r^ r_ )r9 r r
strupperr source_hashr
CmfProjectsgetre rf rg rh ri r. rj rk rl oslistdirrm rn ro )r rq r r& r rr r space
space_nameproject_ext_idrw rs rt ru rp rv s r r
z"CmfPluginConfluence.get_all_spaces s ./000
&J ' 6 6U 6 C C & &E-26]E/*!&v J V}
22"&PP
#&G3uU|+<+<+B+B+D+D&G&G&GG
%T$+*A%T%TU4[%T%T%TN $ / 4 4 (&2Gn2G2G2G H(, $v 5 G
D"&CC
$.E&MJJu%%%%#&
&
&
&
&
&
&
&
&
&
&
&
&
&
&
&&
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
::h// 1 1C h / /[ A ABB 1a
499Q<<0001 1 1 1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 1 1
s` D CC?3 D ?DD DD H B7H.H< HH HH HH c | j 5 }| |dd cd d d S # 1 swxY w Y d S # t $ r1}t | t
j |g d }| d }|
rt | D ]} | | d| }
|
r[t |
d 5 } t | cd d d c cY d }~S # 1 swxY w Y n t d d }~ww xY w)
NFT)detailed
with_childrenr\ r] r^ ra r_ u, Документ не попал в дамп)r r
rf rg rh r ri r. rj rk rl r r rm rn ro ) r page_idrq r& r r rs rt ru rp doc_dirrv s r r
z"CmfPluginConfluence.get_page_by_id s# L
^J!005X\0]]
^
^
^
^
^
^
^
^
^
^
^
^
^
^
^
^
^
^
L
L
L
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
::h// 0 0C & / /[' J JG ~~'' 0 !'"2"2;"?"? @ @ 0A#'99Q<<0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 JKK K
LsX ; . ; 2; 2; E7C!E2'EE2E7E E2 E E22E7returnc T ddl m} || j | S )u
Инициализация настроек
:param models.CmfImport cmf_import: Объект импорта.
r ConfluenceAPIImport) modules.confluence.api_importr r calc_import_settingsr rt r s r r z(CmfPluginConfluence.calc_import_settings s8
FEEEEE""4?J??TTVVVr! c T ddl m} || j | S )u
Предварительный просмотр данных
:param models.CmfImport cmf_import: Объект импорта.
r r )r r r previewr s r r zCmfPluginConfluence.preview s8
FEEEEE""4?J??GGIIIr! c ddl m} d|_ | j 5 } ||| cddd S # 1 swxY w Y dS )ux
Процесс импорта
:param models.CmfImport cmf_import: Объект импорта.
r r u) Импорт данных из ConfluenceN)r r r r process_importr rt r r s r r z"CmfPluginConfluence.process_import s
FEEEEEE
_ P
&&z:>>MMOO P P P P P P P P P P P P P P P P P Ps A AAc g S Nr )r s r calc_models_settingsz(CmfPluginConfluence.calc_models_settings s r! c ddl m} | j 5 } ||| cd d d S # 1 swxY w Y d S Nr r )r r r
download_datar s r r z!CmfPluginConfluence.download_data s EEEEEE
_ O
&&z:>>LLNN O O O O O O O O O O O O O O O O O O
9= =c ddl m} | j 5 } ||| cd d d S # 1 swxY w Y d S r )r r r download_filesr s r r z"CmfPluginConfluence.download_files s EEEEEE
_ P
&&z:>>MMOO P P P P P P P P P P P P P P P P P Pr c . | dg |j r|j d d r|j d d dd }|j d d r1t j |j d d | S t
|j d d }t |j |j |ddf S t | S )Nimport_raw_json_linkswebuir> baser ) r9 r r. r pathjoinr r schemenetlocr%
calc_ext_href)r rQ linkself_urlr' s r r z!CmfPluginConfluence.calc_ext_href s *+,,, T3#6x#@#D#DW#M#M T&x044W==abbAD"8,0088
Tw||C$7$A&$I4PPP#C$7$A&$IJJ!8?HOT2r"RSSSww$$S)))r! c | dg |j dv r|j r
|j d S t | S )Nr )r CmfDocumentr )r9 r r r% calc_dump_path)r rQ r' s r r z"CmfPluginConfluence.calc_dump_path sU *+,,, > : : :s?R :&v. .ww%%c***r! c
dd l }ddlm} ddlm} d}t
5 t
5 t
5 t j
| ddg } ||j j
| } | t j |g d }
|
} |
j j dk r.t j d d
|
j gg d gd g
} | j j } | | _ g }
| j d }| j }t j d|
}|j d |j }t; | j D ]w}| j | j! d| |||
|d }|
" | |# | j$ j d| xd}| d }|stK d }| & | d || D ]}|d | j' vr|d d k r |d z
}|d |d |d tQ | d ) d |d |d k d!}|* | |
D ]}|* d" | j$ j d# |
D ]}|+ ~| j$ , rQt[ | j$ j . d$ d d d d d d d d d d S |j |z
}| j$ j d%||/ z d& d}|0 s+|| z
}|0 +| j$ j d'| ||z
}d d d n # 1 swxY w Y d d d n # 1 swxY w Y d d d n # 1 swxY w Y |S )(Nr cmf_contextr r r r] )
logic_typer descr_documentz#scheme_wf.default_document_workflowproject.agile:defaulttree_parent_idr* r r* Документыr r+ maxsizerW )sys_type tree_parentuD Грузим документы в несколько потоков_process_document_fork) obj_queue
done_queuerw archive_foldertargetr r . Параллельный обработчик homepage)r r r rU trashedr> rZ r ra )r rZ r r is_homepageDONEu0 Ждем обработки документов Импорт прерван* ------------------------ скорость ' документов в секундуuI Закончили обработку документов, ошибок )1datetimecmf.appr r r cmfutil disable_acldisable_notifyensure_recursion_limitr ri r. r r _load_selected_objsr r r r r r r: root_parentqueueQueue CmfFolderloggerinfonowrangethreading_max_forks threadingThreadr re startrt dict_get_documents_selected_objsr rk putr is_cancelcommit_with_eventwarning
total_secondsempty)rq
project_idoffsetr~ dtr r errorsrt
api_importrw r r obj_processr r r siproccntr docdoc_datadiff
has_errorss r process_document_forkz)CmfPluginConfluence.process_document_fork s ''''''EEEEEE
"
" b ! b !
#
#
%
%b ! b !
+
+
-
-b ! b ! )-- X-WWJ,,Z->-I:VVJ * * , , , '++ , G "K!&*AAA $ 0 4 4 -tWZ @BfBfBfg -. 5
/5E%0J " K"(..s.;;I#)//11J # - 1 19RY 1 Z ZN
" "#i j j j !!A:9::
k
k!+22%<5!55%.&0#**8 3 ""4(((
%,112icg2i2ijjjjC yy,,H
) 4===!00v NN
(
(t9J$=== x=I-- q d) \ K #E&M 2 2 ; ;K H H#&t9#>
h''''#
&
&
f%%%% ! ( - -.` a a a#
D$..00
!###%,445RSSSmb ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b !p ;??$$q(D ! ( - - AS4CUCUCWCW=W A A A
J &&((
/jnn . ..
!&&((
/
! ( - - /G {E /G /G
H
H
H j FEb ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b ! b !H
sm R=R& MR$ R&/ R=B rZ )r rZ r r u= Ждем обработки версий документовr r z.3fr uW Закончили обработку версий документов. Ошибок: )-r r r r r r r r r r ri r. r r r r r r r r r r: r r r r r r r r r r _process_doc_versions_forkre r rt r r r r r r r r r )rq r r r~ r r r r rt r rw r r r r r r r r r r
r r speedr
s r process_doc_versions_forkz-CmfPluginConfluence.process_doc_versions_forkn s/ ''''''EEEEEE
"
" T ! T !
#
#
%
%T ! T !
+
+
-
-T ! T ! )-- X-WWJ,,Z->-I:VVJ * * , , , '++z Nr_ r rX ra zattachments.jsonr downloadversionnumberz[?&]version=(\d+)rZ . attachmentsr r r z, c d t | d f dxx dz
cc< | d D ]
} | d S )Nr r r r> r[ )addr )comment
child_comment
comment_statsdump_stats_commentfieldobj_datas r r# zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_comment* s %f-118E?CPT
DVDV2WXXX%g...!3...-4Z-@ > >M . .} = = = => >r! z
comments.jsoncomments) r r setr r r: r. rk is_filerm rn loadsr r r r r endswithexcluded_doc_dir_endingsrl ro researchgrouppopre r values) r rw entityr$ r attachment_stats dumped_count dumped_objs project_dir objs_pathrv rowobj_dir
obj_data_filer attach_fileattachment_idsattatt_id
download_linkr attachments_diritem att_titlecomment_data_file comment_datastatsr" r# r% s ` @@@r _get_dump_stats_by_entityz-CmfPluginConfluence._get_dump_stats_by_entity s- " FEEEEE EE
EE
ee 728<GG&(ii0Dm&T&TG:A&HgmmA&6&6&6qG@CCL@Q@Q&'<'<7'<'<==&-&6&6}&E&EO&--// ?$3$;$;$=$= ? ?D#'<<>> ) ( #yN : :,:,>,>ty,I,I 0 8 < 9 9 9% ( 8?? $UOTYY~7L7L7N7N-O-OA > > > > > > > >
)0(8(8 (I(I%(//11 A !"3T : : Aa'( A A/3zz# 2 2< @ @ @ @ AA A A A A A A A A A A A A A A "
[ #3E- -E* sI #ADD D -GG G #J
J J +RR R c & dd|gg dg}|r| | t | }| |d }t }d} t d|| D ]}
| |g dd|
|
| z g } | D ]} | j r | j d
d nd }
| j }| j
r4t | j
d
}
| j
| }|dk r'|
| j j | j f |dk r"|
| j j |
f |r|
|
|f |
|
||d}|S )u
Возвращает информацию об обработанных объектах сущности
Args:
project (object): объект CmfProject
entity (str): название cmf модели
filter_by (list, optional): дополнительный фильтр. Defaults to None.
field (str, optional): дополнительное поле сущности
для добавления в кортеж объекта вида (id, name/key).
Defaults to None.
Returns:
dict: _description_
rw =)rt !=NT)r, include_archivedd r )r r r z parent.namer )r, r- rI r r r> Nr
CmfAttachment
CmfCommentr )re r get_model_by_namer r' r slistr splitr r r r. r parent)r rw r1 filter_byr$ filter_modelprocessed_countprocessed_objsstepr r rQ obj_id obj_fieldrD s r _get_process_stats_by_entityz0CmfPluginConfluence._get_process_stats_by_entity? s W % & & &
& NN9 % % %))&11 ++Wt+LL 1ot44 / /E;; QQQ!% edl+ D
/
/69jJ))$//22d H & ? !4T!: ; ;F # 3 7 7 > >I_,,"&&
'BCCCC|++"&&
'@AAAA /"&& ':;;;;"&&v....
/ %"
r! c j | | }||z
}|s|rdndt | d}|S )u
Возвращает результат проверки сдампленных и обработанных объектов
в виде статуса и множества необработанных объектов в виде кортежей
Args:
dump_objs (set): сдампленные объекты
process_objs (set): обработанные объекты
has_undownloaded (bool, optional): есть незагруженные вложения
u НЕКОРРЕКТНОOK)rU unprocessed) intersectionlist)r dump_objs process_objshas_undownloadedr] r\ results r _check_consistencyz&CmfPluginConfluence._check_consistencyv sT !--l;; ,. 2=[AQ[..W[ ,,
r! c | j d | |dd }| j d|d | j d|d d | j d |d
d | j d | |d d }| j d
|d d|d |d d}g d}| j d | |dg d|gd }| j d|d d|d d |d d |d d}| j d | |dg d |g }| j d |d d |d
d |d d} | j d | |d! |d! }
| j d"|
d# | |
| j d$ | |d d! |d! t
|d d % } | j d&| d# | | | j d' | |d
d! |d! } | j d(| d# | | ||| gS ))u$
Возвращает статистику по документам проекта, их вложениям и комментариям
Args:
project (object): объект CmfProject
Returns:
dict: данные статистики
uz Сбор информации о сдампенных документах, вложениях и комментарияхra rZ )r$ u) Сдамплено документов: r u% Сдамплено вложений: r u- Сдамплено комментариев: r& uP Сбор информации об обработанных документахr u+ Обработано документов: r )r1 dumped processed) parent_idr z
CmfDocument:%uN Сбор информации об обработанных вложенияхrK )r rH Nr )rQ r$ u' Обработано вложений: u Вложенияr )r1 re r rf uT Сбор информации об обработанных комментарияхrL ) log_levelrG r )rQ u/ Обработано комментариев: u Комментарииu Проверка консистентности между сдампленными и обработанными документамиr u Документы: rU u Проверка консистентности между сдампленными и обработанными вложениями)ra u Вложения: u Проверка консистентности между сдампленными и обработанными комментариямиu Комментарии: )r rh rE rY rc updatebool)
r rw
dump_stats
process_statspage_stats_data
parent_filterattach_process_statsattachment_stats_datacomment_process_statscomment_stats_data page_resultattachment_resultcomment_results
r _get_project_page_statsz+CmfPluginConfluence._get_project_page_stats sP
W X X X33 4
[jQXFY[[\\\ f*]B[\cBdffggg k*U_J`ahJikklll lmmm 99 :
`
V]H^``aaa* )&w/
?>>
jkkk # @ @ /// A
cDXY`Daccddd( /8 &} 5n E-g6 !
!
pqqq $ A A %%% !B !
!
lLabiLjllmmm. ,W5.w7
W
-- v & !
HX1FHHIII {+++
U
! 3 3 } %f - ( !*]";N"K L L 4
L/@/JLLMMM $$%6777
[
00 z "6 * !& )
O^H5MOOPPP!!.111 !68JKKr! c h g }| | }|D ]}| | |S )u
Возвращает отчет сдампленных и обработанных объектов
Args:
project (object): объект CmfProject
)rv re )r rw rD rm
stats_datas r
project_statsz!CmfPluginConfluence.project_stats sG 66w??) % %J LL $ $ $ $ r! r )r )NN)F))__name__
__module__ __qualname__modulesr r- cmf_plugin_confluencer ui_meta_skipr7 api_allow api_methodsr r r/ propertyrL r r r r
r
r^ r r rj r r r r r r staticmethodr r rE rY rc rv ry
__classcell__)r' s @r r r s %,BVcfuuLLI$+AUa e
e
e
K !"444 : : : : : : :
#( < < < < < < < ! ! X!2
+ + +Zc $" "C " " " "HLS L L L L&W$ W W W WJT J J J JPD P P P Pd O O O
P P P
*
*
*
*
*+ + + + + l l \l\ ^ ^ \^@n n n n`5 5 5 5n $dL dL dLL r! r ) pathlibr urllib.parser r /modules.confluence.fields.cmf_plugin_confluencer} cmf.includer r- r~ r r r! r r s - - - - - - - - 6 6 6 6 t t t t t ',3I] t t t t t r!