ibxddlmZddlmZmZddlTddlZddlm Z Gddej j j j Z dS))Path)urlparse urlunsplit)*N)JiraApicfeZdZejjjjjdzZdZ ejjjjj ddgzZ e dZdZ dZ dZd Zed Zd efd Zd ZdZdZdZedZfdZfdZddZd dZ d!dZdZdZdZ dZ!dZ"dZ#xZ$S)" CmfPluginJira)jiraNtestget_all_projectsch|js|gdt|jjj|jjj|jj|jj |jj j|jj j|_|jS)N)pluginzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.ext_passwordz plugin.cloudzplugin.verify_ssl)urlusernametokenpassword verify_sslcloud) _CmfPluginJira__jira load_fieldsrrext_urlvalue ext_login ext_tokendecrypt ext_passwordrr)selfs (./modules/jira/models/cmf_plugin_jira.pyr zCmfPluginJira.jiras{ `   XXX Y Y Y!dk&9&?$+J_Je"k3;;== H`HhHhHjHj#';#9#?t{GXG^```DK{cddlm}ddlm}|j5}|||cdddS#1swxYwYdS)Nr JiraAPIImport JiraCSVImport)modules.jira.api_importr"modules.jira.csv_importr$r tmplt_import_settingsr cmf_importr"r$r s rr'z#CmfPluginJira.tmplt_import_settingss999999999999 Y K$ =z22HHJJ K K K K K K K K K K K K K K K K K Ks?AAcddlm}ddlm}|jdkr=|j5}|||cdddS#1swxYwY||S)Nrr!r#api)r%r"r&r$typer previewr(s rr-zCmfPluginJira.preview#s999999999999 ?e # # Ad$}T:66>>@@ A A A A A A A A A A A A A A A A}Z((00222sA  AAcddlm}ddlm}d|_|j5}|||cdddS#1swxYwYdS)Nrr!r#u#Импорт данных из Jira)r%r"r&r$namer process_importr(s rr0zCmfPluginJira.process_import+s999999999999?  Y D$ =z22AACC D D D D D D D D D D D D D D D D D DsAA  A c ddlm}||j|}t||rt ||}|di|dS|jd|ddS)Nrr!zMethod 'z' does not exist)r%r"r hasattrgetattrloggererror)rr)process_methodkwargsr" jira_importmethods rprocess_entityzCmfPluginJira.process_entity2s999999#mDIz:: ; / / Q[.99F F  V        # #$O~$O$O$O P P P P Prc g}|S)uRСобственный магазин при выборе импорта из Jirar2)ress rcalc_models_settingsz"CmfPluginJira.calc_models_settings<s   r cmf_import_idc.ddlm}g} g}|j5}|D]O}|d|d|dd}|dr |d|d<||P dddn #1swxYwYn#t $rw} t| tj |dd g } d ||j|  D}|sYd} ~ nd} ~ wwxYw|S) Nrr!idkeyr/)rArBr/ isPrivaterzplugin.plugin.*rAfieldscg|]}|Sr2r2.0objs r z2CmfPluginJira.get_all_projects..asWWW33WWWr) r%r"r get_projectsgetappend Exceptiongdebugmodels CmfImport _get_projects) rr?argsr8r"r=r project project_dataer)s rr zCmfPluginJira.get_all_projectsLs999999 C -d#0022 - -G&dm&u~ '$$L {{;//I4;K4H [1JJ|,,,, - - - - - - - - - - - - - - - -    GGAJJJ)--M^G_-``JWW-- :"F"F"T"T"V"VWWWC         s< BA%B9 BB  B B  B DA-D  Dch|j5}|d5|}|d}dddn #1swxYwY|d}|jd|krt d|dddddS#1swxYwYdS) N)timeoutT)do_health_checkbaseUrl/uУказанный адрес отличается от основного URL-адреса Jira.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z )r without_retry get_myselfget_server_inforrstrip cmf_alert)rr myself server_infobase_urls rcheck_connectionzCmfPluginJira.check_connectionfs_ Y $##A#.. I I**"2242HH  I I I I I I I I I I I I I I I#9-Hxs##x//I5=III                  s4B'+A B'A B'A .xs<<<<<$<<(9(9(;(;<<<== > > > > > > > > > > > > > > > > > >s+AAAcddlm}|j5}|||cdddS#1swxYwYdSNrr!)r%r"r download_datarr)r"r s rrlzCmfPluginJira.download_datazs999999 Y C$ =z22@@BB C C C C C C C C C C C C C C C C C C 9==cddlm}|j5}|||cdddS#1swxYwYdSrk)r%r"r download_filesrms rrpzCmfPluginJira.download_filess999999 Y D$ =z22AACC D D D D D D D D D D D D D D D D D Drnc ddlm}ddlm}ddl}d}t 5t 5tj |ddg}||j j |} |j j j d|} tj dd d | d gd d g} | std| | j| _| | jd| jtjjdD| _g} | j} | j}t1| j|}|jd||j}t;|D]v}| j| j d|| || d}| !||"| j#jd|wd}| $|||tJj&D]=}| j#'rn!|dz }| (|d>| D]}| (d| j#jd| D]}|)|j|z }| j#jd||*z dd}|+s+|| z }|++| j#jd|||z }dddn #1swxYwYdddn #1swxYwY|S)Nrr!) cmf_contextrzplugin.plugin.source_hashrD::ext_idLIKEz%::z::%cust_field_conf_schemeimport_raw_json)filterrEu)Не найден проект с ext_id c i|] }|d| S)titler2)rHfields r z4CmfPluginJira.process_issue_fork..s.***g***rrEu@Грузим задачи в несколько потоков: _process_issue_thread) issue_queueissue_queue_errorsrU)targetr/r8u.Параллельный обработчик )only_processingrY issue_pathDONEu&Ждем обработки задачu*------------------------ скорость u задач в секундуu?Закончили обработку задач, ошибок ),r%r"cmf.apprrdatetimecmfutil disable_acldisable_notifyrQrRrLrr source_hash CmfProjectCmfErrorrv_cache_prioritiessettingsCmfTask verbose_namejira_map_fieldsqueueQueueminthreading_max_forksr5infonowrange threadingThreadr}rMstartr)get_project_tasksconfigIMPORT_ONLY_NEW_OR_UPDATED is_cancelputjoin total_secondsempty)r? project_idrlimitr"rrrerrorsr) api_importproject_ext_idrU issue_processr~r thread_countsiproccntissuediff has_errorss rprocess_issue_forkz CmfPluginJira.process_issue_forks999999''''''  " "D !D !G$:$:$<$<D !D !)--LgGh-iiJ&z'8'=zJJJ * 1 8 DTT TTN'++ &*C*C*C*CD,%,G ][>[[\\\070NJ -  ( ()G H H H**'01LMhW***J & M$*0022K!+!1!7!7!9!9 z=uEEL   " "#tfr#t#t u u u!%%''A<(( k k!+22%;444'2.@#*3$$T*** %,112icg2i2ijjjjC#55 & A 6 5 5 (2244Eql 34444% ( (''''  ! ( - -.W X X X%   $((**Q.D  ! ( - -/U[^aeasasauau[u/U/U/U V V VJ(..00 7044666 )..00 7  ! ( - -.|pz.|.| } } } j FID !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !D !J s6OMN-! O-N1 1O4N1 5OO Oc&|dg|jrS|jdkrHt|jd}|jd}t |j|jd|ddfSt|S)NrwrrrBzbrowse/) rrw class_namerrschemenetlocsuper calc_ext_href)rrIself_urlrB __class__s rrzCmfPluginJira.calc_ext_hrefs *+,,,   [3>Y#>#> 3F ;<Y & &3+> &&|4 4ww%%c***rr/c ddl}dtgd}dtd}d}t}t|jjd} | |} | rt| d5} | D]Q} t | } | t| d| |f|dz }R dddn #1swxYwYn| r| D]}| s|d }|sBt|d5} t| } | t| d| |f|dz }dddn #1swxYwY|d kr| d d }d |D}|d}|r|D]}|s|jrk|j|jkr[|j|vrR|d | ||jf|dxxdz cc<||j|r6|d| |d|f|d}t|d5} | D]b} t | }|d | |t|df|dxxdz cc<c dddn #1swxYwY||d}|d kr ||d<||d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов с кортежами вида (id, name/key). Для задач дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (task_key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rN)countobjs undownloadedrr project_dirzr+rArYz info.jsontasksrE attachmentc8h|]}t|dS)rA)str)rHrs r z:CmfPluginJira._get_dump_stats_by_entity..s%%Z%Z%Z c*T*:&;&;%Z%Z%Zr attachmentsrrrz, z comments.jsoncomments)zipfilesetrrwrrLjoinpathis_fileopenjsonloadsaddris_diriterdirexistsloadstemisdigitr/removerMr)rrUentityr{rattachment_stats comment_stats dumped_count dumped_objsr objs_pathfrowobj_dataobj_dir obj_data_filerattachment_idsattachments_diritemcomment_data_file comment_datastatss r_get_dump_stats_by_entityz'CmfPluginJira._get_dump_stats_by_entitys" EE   EE   ee 728<<]KKLL ((00     0 8i&& &!&&C#zz#HOOS$%8%8(5/$JKKK A%LL& & & & & & & & & & & & & & & &     ) 8$,,..' 8' 8~~'' ' 0 0 = = $++---..&!#yy||HOOS$%8%8(5/$JKKK A%L&&&&&&&&&&&&&&&W$$"*8"4\"BK%Z%Zk%Z%Z%ZN&-&6&6}&E&EO&--// A$3$;$;$=$= A AD#'<<>>) (!% 1 1 3 3A$(I$:$:$(I$?$? 0 8 < 9 9 9 . 5 5di @ @ @%(8??$UOTYY~-F-FA)0(8(8(I(I%/668!#$88C+/::c??L)&155xLY]L^H_H_6`aaa)'222a722228888888888888888"   W  #3E- -E*  s9AC??DDAG##G' *G' A&N88N< ?N< cfdd|ggdg}|r||t|}||d}t }d} t d|| D]7} ||gd| | | zgd } | D]} | jr3| jd d  d nd } |rt| |d nd }| j r4t| j d} | j |}|dkr$| r"|| jj| f|dkr"|| jj| f|r|| |f|| 9||d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ rU=)r)!=NT)rxinclude_archiveddr)z--rtr/z parent.coderw)rxrEslicerrsrYzversion:NrA CmfAttachment CmfCommentr)rMrget_model_by_namerrrslistrtsplitlstripr4rwrrLrparentcode)rrUr filter_byr{filter_modelprocessed_countprocessed_objssteprrrIobj_id obj_fieldrs r_get_process_stats_by_entityz*CmfPluginJira._get_process_stats_by_entity<s  W % & & &   & NN9 % % %))&11++Wt+LL1ot44 / /E;;QQQedl+!% D  / /IL]))$//299*EEEY]9>HGC555D &? !4T!:;;F # 3 7 7 > >I_,,,"&& '@AAAA|++"&& '@AAAA/"&& ':;;;;"&&v.... / %"   rFc |rd|D d|D}t t|}t |z } fd|D}n||}||z }|s|rdndt|d} | S)u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества кортежей необработанных объектов Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты has_undownloaded (bool, optional): есть незагруженные вложения check_by_id (bool, optional): осуществлять проверку только по id. Defaults to False. c,i|]}|d|dSrrYr2rHrs rr|z4CmfPluginJira._check_consistency..s"7771qt777rc,i|]}|d|dSrr2rs rr|z4CmfPluginJira._check_consistency..s"===1AaD!A$===rc$h|] }||f Sr2r2)rHid_ dump_dicts rrz3CmfPluginJira._check_consistency..s"EEESC30EEEruНЕКОРРЕКТНОOK)status unprocessed)rkeys intersectionlist) r dump_objs process_objshas_undownloaded check_by_id process_dictrdiff_idsr resultr s @r_check_consistencyz CmfPluginJira._check_consistencyss"  377Y777I== ===Ly~~//00==c,BSBSBUBU>V>VWWL9>>++,,|;HEEEEHEEEKK$11,??L#l2K2=[AQ[..W[ ,,   rcl|jd||d}|jd|d|jd||dgdd }|jd |dd |d|dd }|jd ||d|dd}|jd|d|||S)u Возвращает статистику по спринтам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uFСбор информации о сдампенных спринтахsprintsu%Сдамплено спринтов: ruLСбор информации об обработанных спринтахCmfList)logic_type.coderzlist.agile_sprint:defaultr/rr{u'Обработано спринтов: uСпринтыrdumped processeduПроверка консистентности между сдампленными и обработанными спринтамиrT)ruСпринты: r r5rPrrrupdaterrU dump_stats process_stats stats_datars r_get_project_sprint_statsz'CmfPluginJira._get_project_sprint_statssp bccc33GYGG  W*WBUWWXXX hiii99  KKK :  \MRYDZ\\]]]' )&w/   S   (( v  & !)   ?VH-=??@@@&!!!rch|jd||d}|jd|d|jd||dgdd }|jd |dd |d|dd }|jd ||d|d}|jd|d|||S)u Возвращает статистику по релизам (версиям) проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uTСбор информации о сдампенных релизах(версиях)z versions.jsonu1Сдамплено релизов(версий): ruZСбор информации об обработанных релизах(версиях)r)rrzlist.release:defaultr/ru3Обработано релизов(версий): u РелизыruПроверка консистентности между сдампленными и обработанными релизами(версиями)ruРелизы(версии): r r r"s r_get_project_version_statsz(CmfPluginJira._get_project_version_statssb pqqq33G_MM  cjY`Naccddd vwww99  FFF :  hP]^ePfhhiii% )&w/   c   ((F);]6=RSS K9IKKLLL&!!!rcb|jd||d}|jd|d|jd||dd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по компонентам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uLСбор информации о сдампенных компонентахzcomponents.jsonu+Сдамплено компонентов: ruRСбор информации об обработанных компонентах CmfComponentr/r{u-Обработано компонентов: uКомпонентыruПроверка консистентности между сдампленными и обработанными компонентамиruКомпоненты: r r r"s r_get_project_component_statsz*CmfPluginJira._get_project_component_statssY hiii33G=NOO  ] SZH[]]^^^ nooo99  :  b-X_J`bbccc- )&w/   Y   ((F);]6=RSS E6(3CEEFFF&!!!rcb|jd||d}|jd|d|jd||dd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по доскам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uBСбор информации о сдампенных доскахboardsuСдамплено досок: ruHСбор информации об обработанных доскахCmfKanbanBoardr/r+u!Обработано досок: u ДоскиruПроверка консистентности между сдампленными и обработанными доскамиru Доски: r r r"s r_get_project_board_statsz&CmfPluginJira._get_project_board_statssV ^___33GXFF  QJwTVVWWW# )&w/   O   ((F);]6=RSS ;)9;;<<<&!!!rc|jd||dd}|jd|d|jd|dd|jd |d d|jd ||d d}|jd |dd|d|dd}gd}|jd||dgd|g}|jd|dd|dd|dd|dd}|jd||dgd|g}|jd|dd|d d|dd} |jd||d|d} |jd | d!|| |jd"||dd|dt |dd#} |jd$| d!|| |jd%||d d|d} |jd&| d!| | ||| gS)'u Возвращает статистику по задачам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики utСбор информации о сдампенных задачах, вложениях и комментарияхrrBr+uСдамплено задач: ru%Сдамплено вложений: ru-Сдамплено комментариев: ruJСбор информации об обработанных задачахru!Обработано задач: u Задачиr) parent_idruz CmfTask:%uNСбор информации об обработанных вложенияхr)rwrN)ru'Обработано вложений: uВложенияr)rrrruTСбор информации об обработанных комментарияхr) log_levelrru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными задачамиruЗадачи: r uПроверка консистентности между сдампленными и обработанными вложениями)ruВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )r5rPrrrr!ri) rrUr#r$task_stats_data parent_filterattach_process_statsattachment_stats_datacomment_process_statscomment_stats_data task_resultattachment_resultcomment_results r_get_project_task_statsz%CmfPluginJira._get_project_task_stats)s> Q R R R33GWE3RR  QJwTVVWWW$ )&w/  ;::  jkkk#@@  /// A   cDXY`Daccddd( /8&}5nE-g6 ! !  pqqq $ A A  %%%!B! !  lLabiLjllmmm. ,W5.w7    Q   -- v  & !   B;x+@BBCCC{+++  U   !33 } %f -  (!*]";N"KLL4   L/@/JLLMMM$$%6777  [   00 z "6 * !& )   O^H5MOOPPP!!.111!68JKKrcg}||}||||}||||}||||}||||}|D]}|||S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )r&rMr(r,r0r=) rrUrsprint_stats_dataversion_stats_datacomponent_stats_databoard_stats_datar4r%s r project_statszCmfPluginJira.project_statss!::7CC &'''!<rr rfr rlrprrrrrrr&r(r,r0r=rC __classcell__)rs@rr r s:<&6DQT^^L F,%5CO  S  K XKKK333DDDQQQ  \ S4   >>>CCC DDD JJ\JX*****+++++ [[[[z5555v @'''R###J"""H"""H_L_L_LBrr )pathlibr urllib.parserr cmf.include#modules.jira.fields.cmf_plugin_jirarGmodules.jira.apirr rErHr r2rrrSs--------****$$$$$$Z Z Z Z Z GL'7EZ Z Z Z Z r