Qz>jg v d dl mZ d dlmZmZ d dlZd dlT G d dej j j
j Z dS ) )Path)urlparse
urlunsplitN)*c e Zd Zej j j j j dz ZdZ dZ
ej j j j j g dz Z d Z ddddd fd
Z
d d
fd
Zed Zd
Zd ZdefdZd"defdZdefdZdefdZdefdZdefdZdefdZd Z d Z fdZ fdZ d#d Z d$d Z!d%d Z"d Z#d! Z$ xZ%S )&CmfPluginConfluence)
confluenceNT)get_all_spacesget_space_pagesget_total_spacesget_page_by_idc
| j rd S t j d| j | j | j |||d|}| || _ d S )N)nametypetokenext_url ext_login ext_token )pluginmodels CmfPlugincode
class_nameidsave)selfr r r kwargsr s 4./modules/confluence/models/cmf_plugin_confluence.py _init_secretz CmfPluginConfluence._init_secret si ; F1! gtytdg*1YR[g g_eg g
r )depthr r r c v | j r| ||| t j |d|i|S )Nr" )is_newr superr )r r" r r r argsr __class__s r r zCmfPluginConfluence.save sE ; = gy) < < <uww|T99&999r! F)forcec t j dd| j gg d }| t j |d|i|S )Nr z==)r r r r )filterfieldsr( )r r getr deleter% )r r( r& r r r' s r r- zCmfPluginConfluence.delete! sc !%%gtTW-E-[-[-[ & ] ]
uww~t;5;F;;;r! c l | j sddlm} | g d || j j j | j j j | j j | j j
| j j j | j j j | _ | j S )Nr )
ConfluenceApi)r zplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.verify_sslz plugin.cloudzplugin.ext_password)urlusernamepasswordr
verify_sslcloud)
_CmfPluginConfluence__confluencemodules.confluence.apir/ load_fieldsr r valuer ext_passworddecryptr r3 r4 )r r/ s r r z CmfPluginConfluence.confluence' s < < < < < <
!.
K'- .4 199;;k+3355 ;17k'-
! ! !D r! c | j 5 }|j j | d 5 | }| }d d d n # 1 swxY w Y |d }|j d |k rt d| d d d d d S # 1 swxY w Y d S )N )timeoutr0 /u Указанный адрес отличается от основного URL-адреса Confluence.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z )
r _sessioncookiesclear
without_retryget_current_userget_system_infor0 rstrip cmf_alert)r r current_user system_infobase_urls r check_connectionz$CmfPluginConfluence.check_connectionA se
_
' - - / / /))!)44
;
; ) : : < < ( 8 8 : :
;
;
;
;
;
;
;
;
;
;
;
;
;
;
; #5)H~$$S))X55I5=I I I s4 5C)A2& C2A6 6C9A6 :z7CmfPluginConfluence.get_space_pages..T s% !D r! FTdetailedinclude_children ancestors)expandr r _archived_pagesarchiveu! Архивные страницыrN results)r r titlechildrenr zplugin.*zplugin.plugin.*r r+ projects info.json
root_pages documentsarchived_pages)r get_root_pages_from_spaceset get_all_pages_from_space_archivelenr, addappend Exceptiongdebugr CmfImportget_download_pathjoinpathexistsopenjsonload)r key
cmf_import_idr& r resr content_idsrV rN contentr` e
cmf_importdump_dirfproject root_page_iddoc_filef2archived_page_ids r r z#CmfPluginConfluence.get_space_pagesP s ;
/J %/%I%I!&)- &J & & "ee & G GT_ G ` ` 0 0D69$((;PR:S:S6T6T ^d; / 2 2Z^G t}K77#
666 w/// /!$ 5 5 5 )!D%+i-A$B & &N JJ~...1
/
/
/
/
/
/
/
/
/
/
/
/
/
/
/2 ! ! !
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
(++C==>> 3! "iillG(/ (= : : #+#4#4S+|U`#a#a#??,, :!%h :2 #
499R== 9 9 9 : : : : : : : : : : : : : : :"%%%K G,3KK8H",M,M 8 8(#+#4#4S+GWYd#e#e#??,, 8!%h 82*.))B-- 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 "7;;{B#?#? @ @ B*1+*>q*A &t}K ? ? +
> > > 'w 7 7 7 3%("9"9"9$-%H)/)W1E(F * *
>22253 3 3 3 3 3 3 3 3 3 3 3 3 3 38 C! D
s D C C6* D 6C::D =C:>D NB N*A N
.I 8 NI
N I
A'N3K NK
N!K
"BN6 NN N N
NNrr c d} | j 5 }| ddd }ddd n # 1 swxY w Y |d }n# t $ r}t | t
j |g d }| d } |
r,t d
| D }n Y d}~nd}~ww xY w|S ) uI Получает общее количество пространств r z
type=spaceT)cqllimitinclude_archived_spacesN totalSizerZ r[ r\ c 3 B K | ]}| d V dS )r< N)is_dir)rM ps r z7CmfPluginConfluence.get_total_spaces.. s/ HH!QXXZZHAHHHHHHr! )
r r rg rh ri r rj r, rk rl rm sumiterdir)
r rr r& r totalr responserv rw rx s
r r z$CmfPluginConfluence.get_total_spaces s\
cJ%>>l!]a>bb
c
c
c
c
c
c
c
c
c
c
c
c
c
c
c [)EE
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
HHx'7'7'9'9HHHHH
s3 A 0 A 4A 4 A
C=B%C88C=c J | dg g } | j 5 }| | D ]}|d |d< |d }|d dk r|dz
}n.|dt |d d
z
}d | j j d |d d } t j d
dd| dgddg }
|
r|dz
}||d< |
| d d d n # 1 swxY w Y n# t $ r } t
| t j |g d } | d }
|
rt& |
D ]j}t+ |
|d 5 }|
t, | d d d n # 1 swxY w Y kn Y d } ~ nd } ~ ww xY w|S )Nzplugin.source_hash)slicer
original_namer personalu( (Личное пространство)z (rq )::r ext_idLIKE%T--)r* include_deletedr+ u [импортирован]rZ r[ r\ r] )r7 r r
strupperr source_hashr
CmfProjectsgetrf rg rh ri rj r, rk rl rm oslistdirrn ro rp )r rr r r& r rs r space
space_nameproject_ext_idrz rv rw rx rq ry s r r
z"CmfPluginConfluence.get_all_spaces s ./000
&J ' 6 6U 6 C C & &E-26]E/*!&v J V}
22"&PP
#&G3uU|+<+<+B+B+D+D&G&G&GG
%T$+*A%T%TU4[%T%T%TN $ / 4 4 (&2Gn2G2G2G H(, $v 5 G
D"&CC
$.E&MJJu%%%%#&
&
&
&
&
&
&
&
&
&
&
&
&
&
&
&&
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
::h// 1 1C h / /[ A ABB 1a
499Q<<0001 1 1 1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 1 1
s` D CC?3 D ?DD DD H B7H.H< HH HH HH c | j 5 }| |dd cd d d S # 1 swxY w Y d S # t $ r1}t | t
j |g d }| d }|
rt | D ]} | | d| }
|
r[t |
d 5 } t | cd d d c cY d }~S # 1 swxY w Y n t d d }~ww xY w)
NFTrP rZ r[ r\ r_ r] u, Документ не попал в дамп)r r
rg rh ri r rj r, rk rl rm r r rn ro rp ) r page_idrr r& r r rv rw rx rq doc_dirry s r r
z"CmfPluginConfluence.get_page_by_id s# L
aJ!005[_0``
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a
L
L
L
GGAJJJ )-- GkGkGk-llJ!3355>>zJJH
::h// 0 0C & / /[' J JG ~~'' 0 !'"2"2;"?"? @ @ 0A#'99Q<<0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 JKK K
LsX ; . ; 2; 2; E7C!E2'EE2E7E E2 E E22E7returnc T ddl m} || j | S )u
Инициализация настроек
:param models.CmfImport cmf_import: Объект импорта.
r ConfluenceAPIImport) modules.confluence.api_importr r calc_import_settingsr rw r s r r z(CmfPluginConfluence.calc_import_settings s8
FEEEEE""4?J??TTVVVr! c T ddl m} || j | S )u
Предварительный просмотр данных
:param models.CmfImport cmf_import: Объект импорта.
r r )r r r previewr s r r zCmfPluginConfluence.preview s8
FEEEEE""4?J??GGIIIr! c ddl m} d|_ | j 5 } ||| cddd S # 1 swxY w Y dS )ux
Процесс импорта
:param models.CmfImport cmf_import: Объект импорта.
r r u) Импорт данных из ConfluenceN)r r r r process_importr rw r r s r r z"CmfPluginConfluence.process_import s
FEEEEEE
_ P
&&z:>>MMOO P P P P P P P P P P P P P P P P P Ps A AAc g S Nr )r s r calc_models_settingsz(CmfPluginConfluence.calc_models_settings s r! c ddl m} | j 5 } ||| cd d d S # 1 swxY w Y d S Nr r )r r r
download_datar s r r z!CmfPluginConfluence.download_data s EEEEEE
_ O
&&z:>>LLNN O O O O O O O O O O O O O O O O O O
9= =c ddl m} | j 5 } ||| cd d d S # 1 swxY w Y d S r )r r r download_filesr s r r z"CmfPluginConfluence.download_files s EEEEEE
_ P
&&z:>>MMOO P P P P P P P P P P P P P P P P P Pr c : | dg |j r|j j di d r|j d d dd }|j d d r1t j |j d d | S t |j d d }t |j |j
|ddf S t | S )Nimport_raw_json_linkswebuir< baser )
r7 r r8 r, r pathjoinr r schemenetlocr%
calc_ext_href)r objlinkself_urlr' s r r z!CmfPluginConfluence.calc_ext_href s *+,,, T3#6#<#@#@2#N#N#R#RSZ#[#[ T&x09!""=D"8,0088
Tw||C$7$A&$I4PPP#C$7$A&$IJJ!8?HOT2r"RSSSww$$S)))r! c | dg |j dv r|j r
|j d S t | S )Nr )r CmfDocumentr )r7 r r r% calc_dump_path)r r r' s r r z"CmfPluginConfluence.calc_dump_path sU *+,,, > : : :s?R :&v. .ww%%c***r! r c P ddl m} dt g d}dt dd}t }t |j j d }| | } | rt | d 5 }
|
D ]Q} t | | t d f |dz
}R d d d n # 1 swxY w Y n| rj| D ]T} | s| j |j r8| d
}
|
sbt |
d 5 }
t |
d d d n # 1 swxY w Y d d k r| t d f |dz
}|d
k rgg }| d }| rBt |d 5 }
t |
}d d d n # 1 swxY w Y i }|D ]|}|d }|d d }d|v r|d d }n4t* d| }|r| d nd}t |d || d| < }| d }| r| D ]m}| s|j |v rM| |j }|d |f |dxx dz
cc< n|rH|d d | f fd | d }| rSt |d 5 }
|
D ]'} t | } | ( d d d n # 1 swxY w Y V||d}|d
k r
||d< |d < |S ) u
Возвращает информацию о дампе сущности,
общее количество объектов и множество объектов в виде кортежей (id, name/key).
Для документов дополнительно добавляется информация об их вложениях
и комментариях с множеством кортежей вида (key, id/name)
Args:
project (object): объект CmfProject
entity (str): название сущности (название каталога или файла)
field (str, optional): дополнительное поле сущности
для добавления в кортеж объекта вместе c id.
Defaults to "name".
Returns:
dict: _description_
r r )countobjs undownloadedr r r zr+r r< Nr] r rN r_ zattachments.jsonr downloadversionnumberz[?&]version=(\d+)rX . attachmentsr r r z, c d t | d f dxx dz
cc< | d D ]
} | d S )Nr r r r< rY )re r )comment
child_comment
comment_statsdump_stats_commentfieldobj_datas r r zICmfPluginConfluence._get_dump_stats_by_entity..dump_stats_commentm s %f-118E?CPT
DVDV2WXXX%g...!3...-4Z-@ > >M . .} = = = => >r! z
comments.jsoncomments) r r rb r r r8 r, rl is_filern ro loadsre r r r r endswithEXCLUDED_DIR_SUFFIXESrm rp researchgrouppoprf r values) r rz entityr r attachment_stats dumped_count dumped_objs project_dir objs_pathry rowobj_dir
obj_data_filer attach_fileattachment_idsattatt_id
download_linkr attachments_diritem att_titlecomment_data_file comment_datastatsr r r s ` @@@r _get_dump_stats_by_entityz-CmfPluginConfluence._get_dump_stats_by_entity s- " FEEEEE EE
EE
ee 728<GG&(ii0Dm&T&TG:A&HgmmA&6&6&6qG@CCL@Q@Q&'<'<7'<'<==&-&6&6}&E&EO&--// ?$3$;$;$=$= ? ?D#'<<>> ) ( #yN : :,:,>,>ty,I,I 0 8 < 9 9 9% ( 8?? $UOTYY~7L7L7N7N-O-OA > > > > > > > >
)0(8(8 (I(I%(//11 A !"3T : : Aa'( A A/3zz# 2 2< @ @ @ @ AA A A A A A A A A A A A A A A "
[ #3E- -E* sI #ADD D -GG G #J
J J +RR R c & dd|gg dg}|r| | t | }| |d }t }d} t d|| D ]}
| |g dd|
|
| z g } | D ]} | j r | j d
d nd }
| j }| j
r4t | j
d
}
| j
| }|dk r'|
| j j | j f |dk r"|
| j j |
f |r|
|
|f |
|
||d}|S )u
Возвращает информацию об обработанных объектах сущности
Args:
project (object): объект CmfProject
entity (str): название cmf модели
filter_by (list, optional): дополнительный фильтр. Defaults to None.
field (str, optional): дополнительное поле сущности
для добавления в кортеж объекта вида (id, name/key).
Defaults to None.
Returns:
dict: _description_
rz =)rw !=NT)r* include_archivedd r )r r r z parent.namer )r* r+ r r r r< Nr
CmfAttachment
CmfCommentr )rf cmfutilget_model_by_namer rb rangeslistr splitr r r r, re parent)r rz r filter_byr filter_modelprocessed_countprocessed_objsstepstartr r obj_id obj_fieldr s r _get_process_stats_by_entityz0CmfPluginConfluence._get_process_stats_by_entity s W % & & &
& NN9 % % %))&11 ++Wt+LL 1ot44 / /E;; QQQ!% edl+ D
/
/69jJ))$//22d H & ? !4T!: ; ;F # 3 7 7 > >I_,,"&&
'BCCCC|++"&&
'@AAAA /"&& ':;;;;"&&v....
/ %"
r! c j | | }||z
}|s|rdndt | d}|S )u
Возвращает результат проверки сдампленных и обработанных объектов
в виде статуса и множества необработанных объектов в виде кортежей
Args:
dump_objs (set): сдампленные объекты
process_objs (set): обработанные объекты
has_undownloaded (bool, optional): есть незагруженные вложения
u НЕКОРРЕКТНОOK)status unprocessed) intersectionlist)r dump_objs process_objshas_undownloadedr r results r _check_consistencyz&CmfPluginConfluence._check_consistency sT !--l;; ,. 2=[AQ[..W[ ,,
r! c | j d | |dd }| j d|d | j d|d d | j d |d
d | j d | |d d }| j d
|d d|d |d d}g d}| j d | |dg d|gd }| j d|d d|d d |d d |d d}| j d | |dg d |g }| j d |d d |d
d |d d} | j d | |d! |d! }
| j d"|
d# | |
| j d$ | |d d! |d! t
|d d % } | j d&| d# | | | j d' | |d
d! |d! } | j d(| d# | | ||| gS ))u$
Возвращает статистику по документам проекта, их вложениям и комментариям
Args:
project (object): объект CmfProject
Returns:
dict: данные статистики
uz Сбор информации о сдампенных документах, вложениях и комментарияхr_ rX )r u) Сдамплено документов: r u% Сдамплено вложений: r u- Сдамплено комментариев: r uP Сбор информации об обработанных документахr u+ Обработано документов: u Документы)r dumped processed) parent_idr z
CmfDocument:%uN Сбор информации об обработанных вложенияхr )r r Nr )r r u' Обработано вложений: u Вложенияr )r r r r uT Сбор информации об обработанных комментарияхr ) log_levelr r )r u/ Обработано комментариев: u Комментарииu Проверка консистентности между сдампленными и обработанными документамиr u Документы: r u Проверка консистентности между сдампленными и обработанными вложениями)r u Вложения: u Проверка консистентности между сдампленными и обработанными комментариямиu Комментарии: )loggerri r r r updatebool)
r rz
dump_stats
process_statspage_stats_data
parent_filterattach_process_statsattachment_stats_datacomment_process_statscomment_stats_data page_resultattachment_resultcomment_results
r _get_project_page_statsz+CmfPluginConfluence._get_project_page_stats sP
W X X X33 4
[jQXFY[[\\\ f*]B[\cBdffggg k*U_J`ahJikklll lmmm 99 :
`
V]H^``aaa* )&w/
?>>
jkkk # @ @ /// A
cDXY`Daccddd( /8 &} 5n E-g6 !
!
pqqq $ A A %%% !B !
!
lLabiLjllmmm. ,W5.w7
W
-- v & !
HX1FHHIII {+++
U
! 3 3 } %f - ( !*]";N"K L L 4
L/@/JLLMMM $$%6777
[
00 z "6 * !& )
O^H5MOOPPP!!.111 !68JKKr! c h g }| | }|D ]}| | |S )u
Возвращает отчет сдампленных и обработанных объектов
Args:
project (object): объект CmfProject
)r/ rf )r rz r r&
stats_datas r
project_statsz!CmfPluginConfluence.project_stats1 sG 66w??) % %J LL $ $ $ $ r! r )r )NN)F)&__name__
__module__ __qualname__modulesr r+ cmf_plugin_confluencer ui_meta_skipr5 api_allow api_methodsr r r- propertyrJ r r r r
r
r r r r# r r r r r r r r r r/ r2
__classcell__)r' s @r r r s %,BVcfuuLLI$+AUa e e e K !"444 : : : : : : :
#( < < < < < < < ! ! X!2
> > >@c $" "C " " " "HLS L L L L&W$ W W W WJT J J J JPD P P P Pd O O O
P P P
*
*
*
*
*+ + + + + n n n n`5 5 5 5n $dL dL dLL r! r ) pathlibr urllib.parser r /modules.confluence.fields.cmf_plugin_confluencer6 cmf.includer r+ r7 r r r! r rA s - - - - - - - - 6 6 6 6 w w w w w',3I] w w w w wr!