?j~ddlmZddlmZmZddlTddlZddlm Z Gddej j j j Z dS))Path)urlparse urlunsplit)*N)JiraApicfeZdZejjjjjdzZdZ ejjjjj ddgzZ e dZdZ dZ dZd Zed Zd efd Zd ZdZdZdZedZfdZfdZddZd dZ d!dZdZdZdZ dZ!dZ"dZ#xZ$S)" CmfPluginJira)jiraNtestget_all_projectsch|js|gdt|jjj|jjj|jj|jj |jj j|jj j|_|jS)N)pluginzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.ext_passwordz plugin.cloudzplugin.verify_ssl)urlusernametokenpassword verify_sslcloud) _CmfPluginJira__jira load_fieldsrrext_urlvalue ext_login ext_tokendecrypt ext_passwordrr)selfs (./modules/jira/models/cmf_plugin_jira.pyr zCmfPluginJira.jiras{ `   XXX Y Y Y!dk&9&?$+J_Je"k3;;== H`HhHhHjHj#';#9#?t{GXG^```DK{cddlm}ddlm}|j5}|||cdddS#1swxYwYdS)Nr JiraAPIImport JiraCSVImport)modules.jira.api_importr"modules.jira.csv_importr$r tmplt_import_settingsr cmf_importr"r$r s rr'z#CmfPluginJira.tmplt_import_settingss999999999999 Y K$ =z22HHJJ K K K K K K K K K K K K K K K K K Ks?AAcddlm}ddlm}|jdkr=|j5}|||cdddS#1swxYwY||S)Nrr!r#api)r%r"r&r$typer previewr(s rr-zCmfPluginJira.preview#s999999999999 ?e # # Ad$}T:66>>@@ A A A A A A A A A A A A A A A A}Z((00222sA  AAcddlm}ddlm}d|_|j5}|||cdddS#1swxYwYdS)Nrr!r#u#Импорт данных из Jira)r%r"r&r$namer process_importr(s rr0zCmfPluginJira.process_import+s999999999999?  Y D$ =z22AACC D D D D D D D D D D D D D D D D D DsAA  A c ddlm}||j|}t||rt ||}|di|dS|jd|ddS)Nrr!zMethod 'z' does not exist)r%r"r hasattrgetattrloggererror)rr)process_methodkwargsr" jira_importmethods rprocess_entityzCmfPluginJira.process_entity2s999999#mDIz:: ; / / Q[.99F F  V        # #$O~$O$O$O P P P P Prc g}|S)uRСобственный магазин при выборе импорта из Jirar2)ress rcalc_models_settingsz"CmfPluginJira.calc_models_settings<s   r cmf_import_idcddlm}|dgg} g}t}tjddd|jjdgdgd }|D]7}t d |j } | | 8|j 5} | D]} | d } | d } | d }|d| dz }| | | d d}| dr | d|d<d|jjd| d}||vr|dz }||d <|| dddn #1swxYwYn#t"$rw}t$|tj|ddg}d||j |D}|sYd}~nd}~wwxYw|S)Nrr!zplugin.source_hashext_idLIKE%::::%T)filterfieldsinclude_deletedz::[^:]+::[^:]+::idkeyr/z ())rHrI original_name isPrivate::u [импортирован]rzplugin.plugin.*rHrFcg|]}|Sr2r2.0objs r z2CmfPluginJira.get_all_projects..{sWWW33WWWr)r%r"rsetmodels CmfProjectslistr source_hashrefindallrAupdater get_projectsgetappend Exceptiongdebug CmfImport _get_projects)rr?argsr8r"r=imported_project_ext_idsimported_projectsimported_projectext_idsr project project_id project_key project_name project_dataproject_ext_ider)s rr zCmfPluginJira.get_all_projectsLs999999 ./000+ C'*uu $ & 1 7 7 &*L 0G*L*L*LM z $!8!!  %6 9 9 **%8:J:QRR(//8888 -d#0022--G!(J")%.K#*6?L $7$7$7$77L )*)0$$L {{;//I4;K4H [1%S$+*A%S%SZ%S%S%SN%)AAA$(EE +7L(JJ|,,,,-- - - - - - - - - - - - - - - -0    GGAJJJ)--M^G_-``JWW-- :"F"F"T"T"V"VWWWC         s>BE%BE  E EEEE G#A-GGch|j5}|d5|}|d}dddn #1swxYwY|d}|jd|krt d|dddddS#1swxYwYdS) N)timeoutT)do_health_checkbaseUrl/uУказанный адрес отличается от основного URL-адреса Jira.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z )r without_retry get_myselfget_server_inforrstrip cmf_alert)rr myself server_infobase_urls rcheck_connectionzCmfPluginJira.check_connections_ Y $##A#.. I I**"2242HH  I I I I I I I I I I I I I I I#9-Hxs##x//I5=III                  s4B'+A B'A B'A .s<<<<<$<<(9(9(;(;<<<== > > > > > > > > > > > > > > > > > >s+AAAcddlm}|j5}|||cdddS#1swxYwYdSNrr!)r%r"r download_datarr)r"r s rrzCmfPluginJira.download_datas999999 Y C$ =z22@@BB C C C C C C C C C C C C C C C C C C 9==cddlm}|j5}|||cdddS#1swxYwYdSr)r%r"r download_filesrs rrzCmfPluginJira.download_filess999999 Y D$ =z22AACC D D D D D D D D D D D D D D D D D Drc ddlm}ddlm}ddl}d}t 5t 5tj |ddg}||j j |} |j j j d|} tj dd d | d gd d g} | std| | jj} | dr| d| df| _| j| _| | jd| jtjjdD| _g} | j}| j}t7| j|}|jd||j}tA|D]v}| j!"| j#d|||| d}| $||%| j&jd|wd}| '|||tPj)D]=}| j&*rn!|dz }|+|d>| D]}|+d| j&jd| D]}|,|j|z }| j&jd||-z dd}|.s+|| z }|.+| j&jd |||z }dddn #1swxYwYdddn #1swxYwY|S)!Nrr!) cmf_contextrzplugin.plugin.source_hashrNrMrArBrCrDcust_field_conf_schemeimport_raw_json)rErFu)Не найден проект с ext_id normalized_keyrIc i|] }|d| S)titler2)rQfields r z4CmfPluginJira.process_issue_fork..s.***g***rrFu@Грузим задачи в несколько потоков: _process_issue_thread) issue_queueissue_queue_errorsri)targetr/r8u.Параллельный обработчик )only_processingrq issue_pathDONEu&Ждем обработки задачu*------------------------ скорость u задач в секундуu?Закончили обработку задач, ошибок )/r%r"cmf.apprdatetimecmfutil disable_acldisable_notifyrUrbr]rr rXrVCmfErrorrrkey_pairr_cache_prioritiessettingsCmfTask verbose_namejira_map_fieldsqueueQueueminthreading_max_forksr5infonowrange threadingThreadrr^startr)get_project_tasksconfigIMPORT_ONLY_NEW_OR_UPDATED is_cancelputjoin total_secondsempty)r?rjrlimitr"rrerrorsr) api_importrnrirm issue_processrr thread_countsiproccntissuediff has_errorss rprocess_issue_forkz CmfPluginJira.process_issue_forks>999999''''''  " "G !G !G$:$:$<$<G !G !)--LgGh-iiJ&z'8'=zJJJ * 1 8 DTT TTN'++ &*C*C*C*CD,%,G ][>[[\\\"28L 011 \'3E':LIYO>c&|dg|jrS|jdkrHt|jd}|jd}t |j|jd|ddfSt|S)NrrrrIzbrowse/) rr class_namerrschemenetlocsuper calc_ext_href)rrRself_urlrI __class__s rrzCmfPluginJira.calc_ext_hrefs *+,,,   [3>Y#>#> 3F ;<Y & &3+> &&|4 4ww%%c***rr/c ddl}dtgd}dtd}d}t}t|jjd} | |} | rt| d5} | D]Q} t | } | t| d| |f|dz }R dddn #1swxYwYn| r| D]}| s|d }|sBt|d5} t| } | t| d| |f|dz }dddn #1swxYwY|d kr| d d }d |D}|d}|r|D]}|s|jrk|j|jkr[|j|vrR|d | ||jf|dxxdz cc<||j|r6|d| |d|f|d}t|d5} | D]b} t | }|d | |t|df|dxxdz cc<c dddn #1swxYwY||d}|d kr ||d<||d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов с кортежами вида (id, name/key). Для задач дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (task_key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rN)countobjs undownloadedrr project_dirzr+rHrqz info.jsontasksrF attachmentc8h|]}t|dS)rH)str)rQrs r z:CmfPluginJira._get_dump_stats_by_entity..4s%%Z%Z%Z c*T*:&;&;%Z%Z%Zr attachmentsrrrz, z comments.jsoncomments)zipfilerTrrrr]joinpathis_fileopenjsonloadsaddris_diriterdirexistsloadstemisdigitr/remover^r)rrientityrrattachment_stats comment_stats dumped_count dumped_objsr objs_pathfrowobj_dataobj_dir obj_data_filerattachment_idsattachments_diritemcomment_data_file comment_datastatss r_get_dump_stats_by_entityz'CmfPluginJira._get_dump_stats_by_entitys" EE   EE   ee 728<<]KKLL ((00     0 8i&& &!&&C#zz#HOOS$%8%8(5/$JKKK A%LL& & & & & & & & & & & & & & & &     ) 8$,,..' 8' 8~~'' ' 0 0 = = $++---..&!#yy||HOOS$%8%8(5/$JKKK A%L&&&&&&&&&&&&&&&W$$"*8"4\"BK%Z%Zk%Z%Z%ZN&-&6&6}&E&EO&--// A$3$;$;$=$= A AD#'<<>>) (!% 1 1 3 3A$(I$:$:$(I$?$? 0 8 < 9 9 9 . 5 5di @ @ @%(8??$UOTYY~-F-FA)0(8(8(I(I%/668!#$88C+/::c??L)&155xLY]L^H_H_6`aaa)'222a722228888888888888888"   W  #3E- -E*  s9AC??DDAG##G' *G' A&N88N< ?N< c dd|ggdg}|r||gd}|dvr|ddgt|}||d }t } d } t d || D]Q} |||d| | | zg } | D],} | jr3| j d d dnd}|rt| |dnd}| j r4t| j d}| j |}|dvr+| jj r| jj d}n | jj}|dkr|r| ||f|dkr| ||f|r| ||f| |.S|| d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ ri=)r)!=N)z--rAr/r) CmfAttachment CmfCommentz parent.codezparent.import_raw_jsonT)rEinclude_archiveddr)rErFrslicerMrqzversion:NrHrIrrr)r^extendrget_model_by_namerrTrrWrAsplitlstripr4rrr]parentcoder)rrir filter_byrfilter_rFmodelprocessed_countprocessed_objssteprrrRobj_id obj_field parent_coders r_get_process_stats_by_entityz*CmfPluginJira._get_process_stats_by_entityYsr W % & & &   & NN9 % % %    4 4 4 MM(    ))&11++Wt+LL1ot44 / /E;;!%edl+ D  / /IL]))$//299*EEEY]9>HGC555D &? !4T!:;;F # 3 7 7 > >I<<<z16&)j&@&G &)jo _,,,"&& V'<====|++"&& V'<====/"&& ':;;;;"&&v....% /*%"   rFc |rd|D d|D}t t|}t |z } fd|D}n||}||z }|s|rdndt|d} | S)u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества кортежей необработанных объектов Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты has_undownloaded (bool, optional): есть незагруженные вложения check_by_id (bool, optional): осуществлять проверку только по id. Defaults to False. c,i|]}|d|dSrrqr2rQrs rrz4CmfPluginJira._check_consistency..s"7771qt777rc,i|]}|d|dSrr2rs rrz4CmfPluginJira._check_consistency..s"===1AaD!A$===rc$h|] }||f Sr2r2)rQid_ dump_dicts rrz3CmfPluginJira._check_consistency..s"EEESC30EEEruНЕКОРРЕКТНОOK)status unprocessed)rTkeys intersectionlist) r dump_objs process_objshas_undownloaded check_by_id process_dictr diff_idsrresultrs @r_check_consistencyz CmfPluginJira._check_consistencys"  377Y777I== ===Ly~~//00==c,BSBSBUBU>V>VWWL9>>++,,|;HEEEEHEEEKK$11,??L#l2K2=[AQ[..W[ ,,   rcl|jd||d}|jd|d|jd||dgdd }|jd |dd |d|dd }|jd ||d|dd}|jd|d|||S)u Возвращает статистику по спринтам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uFСбор информации о сдампенных спринтахsprintsu%Сдамплено спринтов: ruLСбор информации об обработанных спринтахCmfList)logic_type.coderzlist.agile_sprint:defaultr/r ru'Обработано спринтов: uСпринтыrdumped processeduПроверка консистентности между сдампленными и обработанными спринтамиrT)r%uСпринты: rr5rarrr)r[rri dump_stats process_stats stats_datar(s r_get_project_sprint_statsz'CmfPluginJira._get_project_sprint_statssp bccc33GYGG  W*WBUWWXXX hiii99  KKK :  \MRYDZ\\]]]' )&w/   S   (( v  & !)   ?VH-=??@@@&!!!rch|jd||d}|jd|d|jd||dgdd }|jd |dd |d|dd }|jd ||d|d}|jd|d|||S)u Возвращает статистику по релизам (версиям) проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uTСбор информации о сдампенных релизах(версиях)z versions.jsonu1Сдамплено релизов(версий): ruZСбор информации об обработанных релизах(версиях)r,)r-rzlist.release:defaultr/r.u3Обработано релизов(версий): u Релизыr/uПроверка консистентности между сдампленными и обработанными релизами(версиями)ruРелизы(версии): rr2r3s r_get_project_version_statsz(CmfPluginJira._get_project_version_statssb pqqq33G_MM  cjY`Naccddd vwww99  FFF :  hP]^ePfhhiii% )&w/   c   ((F);]6=RSS K9IKKLLL&!!!rcb|jd||d}|jd|d|jd||dd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по компонентам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uLСбор информации о сдампенных компонентахzcomponents.jsonu+Сдамплено компонентов: ruRСбор информации об обработанных компонентах CmfComponentr/ru-Обработано компонентов: uКомпонентыr/uПроверка консистентности между сдампленными и обработанными компонентамиruКомпоненты: rr2r3s r_get_project_component_statsz*CmfPluginJira._get_project_component_statssY hiii33G=NOO  ] SZH[]]^^^ nooo99  :  b-X_J`bbccc- )&w/   Y   ((F);]6=RSS E6(3CEEFFF&!!!rcb|jd||d}|jd|d|jd||dd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по доскам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uBСбор информации о сдампенных доскахboardsuСдамплено досок: ruHСбор информации об обработанных доскахCmfKanbanBoardr/r<u!Обработано досок: u Доскиr/uПроверка консистентности между сдампленными и обработанными доскамиru Доски: rr2r3s r_get_project_board_statsz&CmfPluginJira._get_project_board_stats3sV ^___33GXFF  QJwTVVWWW# )&w/   O   ((F);]6=RSS ;)9;;<<<&!!!rc|jd||dd}|jd|d|jd|dd|jd |d d|jd ||d d}|jd |dd|d|dd}gd}|jd||dgd|g}|jd|dd|dd|dd|dd}|jd||dgd|g}|jd|dd|d d|dd} |jd||d|d} |jd | d!|| |jd"||dd|dt |dd#} |jd$| d!|| |jd%||d d|d} |jd&| d!| | ||| gS)'u Возвращает статистику по задачам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики utСбор информации о сдампенных задачах, вложениях и комментарияхrrIr<uСдамплено задач: ru%Сдамплено вложений: ru-Сдамплено комментариев: ruJСбор информации об обработанных задачахru!Обработано задач: u Задачиr/) parent_idrBz CmfTask:%uNСбор информации об обработанных вложенияхr)rrN)r u'Обработано вложений: uВложенияr)rr0rr1uTСбор информации об обработанных комментарияхr) log_levelrru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными задачамиruЗадачи: ruПроверка консистентности между сдампленными и обработанными вложениями)r$uВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )r5rarrr)r[r) rrir4r5task_stats_data parent_filterattach_process_statsattachment_stats_datacomment_process_statscomment_stats_data task_resultattachment_resultcomment_results r_get_project_task_statsz%CmfPluginJira._get_project_task_statsWs> Q R R R33GWE3RR  QJwTVVWWW$ )&w/  ;::  jkkk#@@  /// A   cDXY`Daccddd( /8&}5nE-g6 ! !  pqqq $ A A  %%%!B! !  lLabiLjllmmm. ,W5.w7    Q   -- v  & !   B;x+@BBCCC{+++  U   !33 } %f -  (!*]";N"KLL4   L/@/JLLMMM$$%6777  [   00 z "6 * !& )   O^H5MOOPPP!!.111!68JKKrcg}||}||||}||||}||||}||||}|D]}|||S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )r7r^r9r=rArN) rrirsprint_stats_dataversion_stats_datacomponent_stats_databoard_stats_datarEr6s r project_statszCmfPluginJira.project_statss!::7CC &'''!<rr r~r rrrrrrrr)r7r9r=rArNrT __classcell__)rs@rr r s?<&6DQT^^L F,%5COSK XKKK333DDDQQQ  \ 2S2222h   >>>CCC DDD MM\M^*****+++++ [[[[zFFFFX @'''R###J"""H"""H_L_L_LBrr )pathlibr urllib.parserr cmf.include#modules.jira.fields.cmf_plugin_jirarXmodules.jira.apirr rFrYr r2rrrds--------****$$$$$$H H H H H GL'7EH H H H H r