U e,@s ddlmZddlTddlZddlZddlZddlmZddlZddl m Z ddl Z ddl m Z mZmZmZmZmZmZddlmZddlmZdd lmZmZdd lmZdd lmZdd lmZdd l m!Z!eee"j#ee"j$ee"j%fZ&ej'GdddZ(ddZ)Gddde!Z*dS)) cmf_context)*N)Path)TemporaryDirectory)DictOptionalListCallableUnionTypeIterator) BeautifulSoup)cached_property) commit_all_dsinit_ds) BaseModel)CmfPluginImportMixin)JiraApi)JiraBaseImportc@s:eZdZUdZeed<eed<eed<ddZddZd S) EpicDatauD Данные используемые при создании epic namekey project_keycCs t|jSN)hashrselfr./modules/jira/api_import.py__hash__ szEpicData.__hash__cCs |j|jkSr)r)rotherrrr__eq__#szEpicData.__eq__N)__name__ __module__ __qualname____doc__str__annotations__rr!rrrrrs rcsfdd}|S)Ncsfdd}|S)NcszD|jd|jr$WdS|f||}|jj|WStk r|jj|jd7_|jjdtj ddYdSXdS)Nz================== ru Ошибка Texc_info) cmf_importlog is_canceldpcommit Exceptionrollback has_errorsloggingERROR)objargskwargsres)funcrrrwrapper)s   z3catch_exception..decorator..wrapperr)r9r:r)r9r decorator(sz"catch_exception..decoratorr)rr<rr;rcatch_exception's r=cseZdZUdZeed<eeefed<e ddfdd Z e eeefdd d Z d d Z d dZeeeeeedddZddZeeeefdddZeddZeddZddZedddZeeddd Zeedd!d"Zeeed#d$d%Zdd(d)Zed*d+d,Zed-d.d/Z ed0eed1d2d3Z!d4d5Z"ed6dee#d7d8d9Z$dd:d;Z%ed<d=d>Z&ed?d@dAZ'e(j)ddBdCZ*dDdEZ+dFdGZ,dHdIZ-edJdKdLZ.eedMdNdOZ/dPdQZ0dRdSZ1edTdUdVZ2edTdWdXZ3edYdZd[Z4ed\d]d^Z5d_d`Z6dadbZ7e8dcdddeZ9edfedgdhdiZ:edjedgdkdlZ;edmdndoZedudvdwZ?edxdydzZ@ed{ed|d}d~ZAedddZBedddZCedddZDedddZEedddZFddZGededddZHedddZIddZJddZKddZLddZMddZNddZOddZPddZQddZRddZSdddZTedgddZUedgddZVedgddZWedgddZXedgddZYddZZddZ[edee8edddZ\ddZ]ddÄZ^eedĜddƄZ_ddȄZ`ddʄZadd̄Zbdd΄ZcddЄZddd҄ZeddԄZfddքZgdd؄ZhddڄZiedۜdd݄Zjdd߄ZkedddZlddZmZnS) JiraAPIImportu;Класс загрузки объектов через APIr2_JiraAPIImport__jira_fieldsN)jirareturncstj||||_d|_|jjjr*d|_tjjdd|_ | |_ i|_ i|_ i|_g|_g|_d|_td}|jjj|_||jjj|d|_dS)Nr accountIdsoftdevcoderzatlassian.rest_client)super__init__r@user_keyconncloudmodels CmfActivitygetdefault_activity_get_jira_global_settingsjira_global_settingsZepicsissue_relationssubtasksboardsselected_projectsr2r3Z getLoggerr+loggerZhandlersZsetLevellevel_prepare_multiprocessingr?)rr@r6r7rU __class__rrrGAs$    zJiraAPIImport.__init__)rAc Cs||jr |jS|jd}|rFt|}t||_W5QRXn0|j |_t|d}t |j|W5QRX|jS)N fields.jsonw+) r?r+get_download_pathjoinpathexistsopenjsonloadr@Z get_fieldsdump)r file_pathfrrr jira_fieldsWs   zJiraAPIImport.jira_fieldsc Cslddl}||_|jd}|jdt}t|d}t |j|W5QRX| ||dS)NrrZz fields.json.r[) shutilr?r+r\r]osgetpidr_r`rbmove)rfieldsrfrc file_path_tmprdrrrupdate_jira_fieldsfs z JiraAPIImport.update_jira_fieldscCs(|jD]}|d|kr |Sq dS)Nr)revalues)rrfieldrrr_get_field_by_nameos z JiraAPIImport._get_field_by_name)model field_namerAcCs&|sdS|j|gd}|r"|dSdS)N)Z fields_namer)import_shop_fields)rprqr8rrr_get_field_nametszJiraAPIImport._get_field_namecCsddl}ddl}ddl}ddl}||_||_tj|_tj|_| d|_ |j j d|j ddddtj r~ttj |j |_ |j j dtj dd|j}|j j dt|d d ddtt|d |j |_ |j std dS) Nrr(z cpu_count=u%, надо не менее 2 ядерT anonymouszconfig.IMPORT_PROCESS=zavailable_memory=i@u-Гб, по 2 Гигабайта на ядроluРесурсов системы недостаточно для импорта, обратитесь в техподдержку для дополнительной информации.) threadingqueuemultiprocessingpsutilconfigZIMPORT_THREADSZthreading_max_forksZIMPORT_DOWNLOAD_THREADSdownload_threading_max_forks cpu_count max_processesr+r,ZIMPORT_PROCESSminZvirtual_memoryZ availableintr0)rrvrwrxryZavailable_memoryrrrrW|s   z&JiraAPIImport._prepare_multiprocessingc Cspg}ddddddddd d }d d d d}|jD]8\}}d|||d}|||d||dq2|S)uO Сопоставление настроек для модели models.CmfTaskrtextprioritystatusZ alarm_dateZdeadlinecmf_modified_atcmf_created_atstatus_closed_at) Zsummary descriptionrrZcustomfield_10015Zduedateupdatedcreatedresolutiondatez.namez .watchCountz.votes)rZwatchesZvoteszfields.N) model_field json_path ext_field)reitemsrMappend)rZissue_settingsZdefault_local_attrs_mappingZadditional_json_pathZcustom_field_keyZ custom_fieldrrrr_get_issue_import_settingss.  z(JiraAPIImport._get_issue_import_settingscCs dddddddddg}|S)Nr displayNamerremail emailAddress does_not_workactiver)Z user_settingsrrr_get_user_import_settingss z'JiraAPIImport._get_user_import_settingscCs dddddddddg}|S)Nrrr cmf_authorauthorr renderedBodyr)Zcomment_settingsrrr_get_comment_import_settingss z*JiraAPIImport._get_comment_import_settingscCsXdddddddd}||kr$||S|d }t|d kr>d S|j|d id d S) NИмяZEmailuАктивныйuСозданоu Автор ТекстuКлюч)rrrrrbodyr.r(rr)splitlenrerM)rZjsonpathmappingrrr _get_setting_title_from_jsonpaths   z.JiraAPIImport._get_setting_title_from_jsonpathTcCs|sdS|dD](}t|ts&dS||}|sdSq|rvt|trvdddg}|D]}||krX||SqXdS|rt|trg}|D]f}d|kr||ddqd|kr||ddqd|kr||dq|r|t|qd|S|S) Nrrrrr inwardIssue outwardIssue,)r isinstancedictrMlistrr&join)r5rto_strrqZ str_fieldsZ str_fieldresultZ related_objrrr _get_file_vals6    zJiraAPIImport._get_file_valcsVgttttftgttfttdfdd }jdgj d}d}| r D]$} |dD]}qqz|rhqqh dD]}qq|sd d jjd d D}|r|d }dd jd Dd }|std||jtj|std||jtjddddddg}||jtjdgdS)u- Инициализация настроек )objs settings_funcrprAcsz|D]p}|}|D]H}||d|d<||d|d<|d|d<|j|d<q|j|d|SdS)NrZfile_valrtitleicon)rrj)rrsrrr verbose_name)rrrpr5Z obj_settingssettingrrrr _get_settingss z:JiraAPIImport.tmplt_import_settings.._get_settingszplugin.plugin.*projectsNiduserscSsg|]}|qSrr.0r5rrr sz7JiraAPIImport.tmplt_import_settings..r(limitrcSsg|]}|qSrrrrrrrsuSНе найдено ни одной задачи, импорт невозможенuaНе найдено ни одного пользователя, импорт невозможенz2022-05-22T15:22:22.593+0300ru!Электронная почта)rrr)rrrselectedObjects)rvalue)r rr rr TypeModelr+ load_fieldsr\r]r^ _get_projectsget_project_tasks _simple_getr@ get_issues get_usersr0rrKCmfTaskr CmfPersonr CmfCommentr)rrZdump_dirtaskprojectusertasksZcomment_examplerrrtmplt_import_settingssJ  z#JiraAPIImport.tmplt_import_settingscCs||jjd}ddgggdg}|jjddD]}t|tjjdD]f\}}|ds\qJ| ||d }| |dd |}|d d  |dd |d dd  |qJq2|S)Nimport_settingsu Задачиzcalendar-today)rrtitlesrowsrrjrrrqrrcaptionr) Z_normalize_settingsr+ json_settingsr@r enumeraterKrrr_normalize_jira_valuer)rsettingsrissueZnumrrrrrpreview0szJiraAPIImport.preview)rrAcCs\i}|D]N}|dsq|j||ddd}||dd||d}|||dd<q|S)uC Преобразование настроек для модели rrF)rrqr)rrrM)rr5rZnormalized_objrrrrr_normalize_obj?szJiraAPIImport._normalize_objsprintkanbanc Csdd|jgg}|dr*|dddgn|dd|gtjj|d}|jjjjd|d}tj |jtj |d ||||d |d |d d d|gd\}} | r|d |_ |j dd|S)NZtree_parent_id== completeDatesys_typearchivefilter::rr startDateendDate)rparent tree_parent list_typeplan_start_date plan_end_dateext_idrZ filter_objTZ save_import) rrMrrK CmfFolderr+plugin source_hashrprocess_any_table_fieldsCmfListrsave) rrrZparent_sys_typer_filterrrZlist_objnewrrr _process_listKs*     zJiraAPIImport._process_listu8Обработка наблюдателей задачиcCs||D]j}|jjjr(||d}n||d}|sHtd|||jks ||jks ||jkrhq |j |q t dS)u;Добавляем наблюдателей в задачуrBruI_process_watchers: Не найден наблюдатель задачи N) _get_issue_watchersr@rIrJ _get_personCmfError responsibler cmf_owner spectatorsrcommit_with_event)r issue_objrwatcherpersonrrr_process_watchersds zJiraAPIImport._process_watchersu#Обработка вложенийc Csddlm}ddl}t|dd}d}|r||}|D]}zz| drlWWqJ|ddD]} | d |krxqqxt j |} t j j| |d d d d gd} | st j |j|d| d} | jrl| r|| d|j| _| d| _||d} | jdd| | | jdd| rX| j| dksXtd| jd| dd| jW5QRXWntk r|jjd|dtjddd| j|d7}Yn<|jjd|tjddd|jj|d7}YnXW5|jddXqJW5QRX||D]} zzt j | d} t j j| |d} | s\t j |j|d| d} | jr| jdd| t!"| d| j#t j$jj%&}|'| j(}|)| jWn<|jjd|tjddd|jj|d7}YnXW5|jddXq|S) Nr)RDisk issue_pathz /attachments/all_attachments.zip attachment processed/rjfilenameimport_originalurlZurl_preview_imgZ url_preview)rrrjT)r+rrrrrrsizeuТекущий размер z != u из метыu7Обранужена проблема вложения uI, размер файла не совпадает с метой из JIRArur*r(:Не удалось обработать вложение file_name)rrrc)*Z rdisk.rdiskrzipfilerr^ZipFileZnamelistr+inc_statendswithrK CmfDocument _get_filename CmfAttachmentrMrrrHrrr_rZupload_stream_filest_sizeAssertionErrorr.r/r,r3r4r1_get_issue_attachmentsZ upload_dirrfcopyZfull_path_fileZCmfRFileZ data_driverZget_rdZ get_rfileZ _file_name make_preview)rr jira_issuerrZall_attach_zip_patherrorsZmyzipZzip_attach_name attach_infoZ attach_namerZattach_fattachment_infoZrdiskZrfilerrr_process_attachmentsts             ,      z"JiraAPIImport._process_attachmentsuBОбработка упоминаний пользователей)rrAc Csxddlm}m}|sdSt|d}|jddidD]:}z|jdrX||jd}n||jd r||jd }|jd |jd <|jd |jd <n>||jd }||j}| |dd } || |j }|jd |jd<|j |jd <d|jd<|j j|jd <|jj|jd <Wq2tk rl} z4|jd7_|jjd|d| tjdddW5d} ~ XYq2Xq2t|S)u] Упоминания пользователей confluence-userlink r)urlparseparse_qsN html.parserclass user-hoverattrsdata-account-id data-usernamezdata-linked-resource-idzdata-linked-resource-id_origzdata-username_orighrefr href_origT cmf_convertedr(u)Ошибка обработки тега : r )Z urllib.parserr r find_allr%rMrquery_get_user_info_from_dumplowerrHr(rrloginr0r2r+r,r3r4r&) rrrr doc_souptagrZ parsed_urlr- user_infoerrr_process_mentionss2      6zJiraAPIImport._process_mentionscCstjj}||jjd|}|dk r2t|S|dD]T}||j |krX|S|dd |krt|S|dd |kr<|Sqz.JiraAPIImport._process_links..r*uУже обработали r(#uЭто якорь u&Обрабатываем ссылку r@r?r(/attachment(?:/content)?/(\d+)(?:/)?(.*)r(rjrcs|dkSNrrMitemZ attach_idrrrDrErr )rrjrZsrc_origTZvideoZcontrolsz100%widthZheightr)uЗаменили на z/people/r)r r,r%rMr+rUinforB startswithurllibparseunquoterresearchnextrrKrrrsgetr  mimetypes guess_typerrr(r&)rrrrrZ text_soupr2r r  url_match attachmentsattachZ attach_obj mime_type account_idrrrNr_process_linkssd                    zJiraAPIImport._process_linkscCs|jjd||jjjrB|ddkrB|jjd|d|||jt j j d}d|jj j j d||jd}|dd}t|d kr|d nd |d <t|d kr|d n|d |d <ddg}t j jdd|dg|d}|st j jddd|dg|d}|st j jdd|dg|d} t| d krt|jjd|ddt| tjdd|jd 7_g} | sdd|dg} t j j| |d} | st|d krd d|d g} nHt|d krdd d|d gd d|d ggd d|d gd d|d ggg} t j j| |d} t| d krx|jd 7_|jjd|ddt| tjdd|jjdt| tjddd| r| d }n|jd |dtjd!} |sF|r>d} d } |d} t j jdd| g|dr(|jd"| d#tj|dd$\}}|d%| d$|} | d 7} qt j || |jdd&}nd| fS|r|jrp|D]}t||||qX|jr||jkr|j||_n||_t j}t j}|j !||j !|d|_"|d'd(D]}|jjjrd|d)d}nd|dd}d|jj j j |}t jjddd|dgdgd}|sft jjdd|dgdgd}|st j||jd|d|d*}|jr|d|_#|js||_n||jkr|j||_|j$dd+|j !|q|j%r|j$dd+|| fS),Nu0Импортируем пользователя Z accountTypeZ atlassianuНеизвестный тип rjrr r(rrZ first_name last_namer rg_member_ofr0ILIKErrrjrLIKE%u+Пользователей с почтой z > Tr)rORu+Пользователей с именем uBПользователей с одинаковым именем > r uMНе нашли пользователя среди существующих FuQОбнаружена учетная запись с дублирующим email u, добавляем цифру@+)rr0r+rgroupsrgroupId)rr+rrimport_raw_jsonr)&r+rUrPr@rIrJwarningrrrKrrrrrHrrrMrr,r3r4r2INFOr/WARNINGrsetattrrCmfPersonGroup jira_group user_grouprcrZ user_localrr is_changed)rrZcreateupdateZ user_dictrrrjrZpersonsr is_creatednr0Z prefix_emaildomainrrsrtZ group_infogrouprrr_process_person$s  ((              zJiraAPIImport._process_personu-Обработка пользователейc Cs(|jjjdds(|jjdtjddSt}|dD]}z^|j rPWdS| |\}}|jj d7_ |j r|j s|j ds|r||j jWq8|jd7_|jjd|tjdd |jjd||jtjddd Yq8Xq8|r$|jjjd dr$ttjjt|gd dS) N load_usersTuAНе грузим пользователей из-за опцийrVrr(z .evateam.ruu@Не удалось загрузить пользователя r)r Z send_invites)r6)r+rrrMr,r3rpsetrr-r{imported_object_countrrraddr2r4rHZschedule_deferred_jobrKrZregister_personsr)rZnew_user_emailsrrrwrrr_process_userss( *zJiraAPIImport._process_usersu#Обработка статусовcCs|dD]}|jrdS|jjjr2|d}n |dd}|jjjjd|d}tj j |d}|sdd|dgd ddgg}tj j |d }|stj |d|jd }||_ t ||_|d|_|jd d |jj|jjd7_q dS)uc Грузим статусы из Jira и сопостовляем с нашими statusesNstatusCategoryrrrrrrr)rr+Trr()rr+r-r@rIrJrrrK CmfStatusCoderMrrget_status_type status_typerrr.r/r)rrrrZcmf_status_coderrrr_process_statusess*         zJiraAPIImport._process_statusescCs2i}i}d}d}||dD]n}g}|j|ddD]2}|dr6|d|dddkr6||dq6||t|g} | |qtjjdd} t | d d D]z\} \} } |j j j j d |dd d | }tjjdd|gd}|s0tj|| |j d}d|dd| d|_|jdd|j|ddD] }|d| kr@|||q@tjjdd|gdddggdgdD]@}tjjdd|jgdd|gdddggdsq|jddq| D]\}|s|ddkr|}|s|ddkr|}d |j j j j d |dd }|||<qq|j j j j d |d}d |d}tjj|d!}|stjjd"d}tj|||j d}||_||_||_|jddtjj|d#D]}|q| D]b\}}|j rq.tjjdd$d%|d%gd}||d&||j d'}tjf|}|jddq|S)(u) У простого проекта воркфлоу привязан к issue type 1 к 1 Поэтому надо получит все типы привязанные к проекту, на каждый тип создать WF и замапить через схему Nr project_idZusagesr issueTypesdefault.system:defaultrDr()start ::SIMPLE::r-r=rrtemplater+u9Simple бизнес-процесс для проекта r ()Trworkflowrrre!=forcehierarchyLevelrGu(Simple-схема для проекта rsoftdev:default scheme_wfrfrgr logic_typeZtarget_workflowcmf_model_namerr+)_get_issue_types_for_project_get_statuses_for_projectrsort setdefaulttuplerK CmfWorkflowrMrrr+rrrrr_create_status CmfStatusrrdelete CmfSchemeWfdefault_task_workflowdefault_subtask_workflowCmfSchemeWfRuler- CmfLogicType)rZjira_project_infoZissue_type_group_by_statuses issue_mapZdefault_task_wfZdefault_subtask_wf issue_typeZissue_type_status_ids jira_statusZissue_type_list wf_templateindexZ status_ids issue_typesworkflow_ext_idrrissue_type_ext_idZ scheme_ext_idZ scheme_nameschemerrulelogic_type_ext_idr rule_dictrrr#_create_schemewf_for_simple_projects  &       z1JiraAPIImport._create_schemewf_for_simple_projectcCs0|jjjjd|jd|d}|jjjjd|d}tjj|d}t|d}|srtj||d|jd}||_ |j ddtj jd d |gd }|stj jd d |gdd |ggd }|stj jdd |dgd d |ggd }|stj ||j|d}||_ |d|_ |d|_||_||_ |j |j d|S)Nrrrrr)rrr+Trrrrrr status_code)rr+rrZ only_data)r+rrrrKrrMrrrrrrrrris_new)rZjira_status_datar status_ext_idrrrrrrrrs6"   zJiraAPIImport._create_statuscCsddlm}i}d}d}tjjdd}|dd}|D]}||d} |jjjjd|d d | } tjjd d | gd } | stj| ||jd} |d| _ |dd| _ | j dd|s|dr| }|d} |j |d dD]} | d | krqd| dkrq|s| dr| }d |jjjjd | d d }| ||<| dD]"}|dd|d<| || qHqtjjdd| gd ddggdgdD]@}tjjdd|jgdd| gd d dggd sq|jdd!qq6|jjjjd |dd }tjj|d"}|dd#}|sDtjjd$d}tj|d||dd||j|d%}||_||_|j ddtjj|d&D]}|qj|D]P\}} tjjd d'd(|d(gd }|| d)||jd*}tjf|}|j ddq|S)+Nr) cmf_hashlibrrDjira_workflow_schemeZmappingsrrrrrrrrrrTrdefaultrr issuetypersubtaskrrrrrrrerrrrPr)rrrrmr+rrrfrgrr)Zcmf.utilrrKrrMZ short_str_encr+rrrrrrrrrrrrrrrrr)r project_inforrZdefault_wf_for_taskZdefault_wf_for_subtaskrZworkflows_dataZ workflow_dataZworkflow_name_hashrrrrrrrrZ wf_schemeZwf_scheme_inforrrrrrrr_process_wf_scheme:s                z JiraAPIImport._process_wf_schemec CsVd}tdd4|jrq>|}|dkr.q>|||7}qW5QRX||dS)NrFZinit_views_and_dsDONE)rr+r-rM_process_issueput)rZ issue_queueZissue_queue_errorsrrrrr_process_issue_threads  z#JiraAPIImport._process_issue_threaduОбработка теговc Cs,ddlm}t}|j|d||ddD]4}|jrBdS|ddr.||dd}q.|D]}| dd d d }||d d d }z\dddd|dgdd|gddd|dgg}t j j|d}|st j |d}|j d dWqht k r$} ztd|d| W5d} ~ XYqhXqhdS)Nr)translitrrrjlabelsra_rFrruT)Z language_codereversedrhaliasrd"z"%rrr;ru*Не удалось создать тег r+)Z transliteraterr~r_count_project_tasksr+r-rMunionreplacerKZCmfTagrr0r3rn) rrrtagsrZtag_nameZ name_aliasrZtag_objr4rrr _process_tagss,    zJiraAPIImport._process_tags)project_structrc Cstjjdd|dgddgd}|r|jj|dksF|jr|j|dkr|dd|dd|d<|jjd|j d |dn|js|d|_| d |d <tj j|jj j j d |d <tjj|d|d}|stj|j|d|dd d}|jr,|D]}t||||q|dr,d|_|j}| |rbtjj|dD]}|jd dqN||dD]T}|jj j j d|d}tjj|d} | stjjdddgdd|dggd} | stj|d|jd d} || _|d| _ |d| _| j d dtjj|| d} | s2tj|| |jd} g| _| j d d|dgD]d} | ddkr|jjjr|| d d!} nJz|| d"} Wn6|jjd#| d$| d"t j!d d d%d} YnX| r| j"| n|jjd&| n| dd'kr|jjjr(d| d(d)d}nd| dd}d|jj j j |}tj#jdd*d+|d+gd} | r~| j"| n,|jjd,|d-t j!d d d%|j$d.7_$nt%d/qP| j d dqp|&|'||(||&|j)|d0|*||_+t,|d1d2}t-|}t./|}W5QRX|rd|jj j j d|d}tj0j|d|_1|j d d|2||j3rdSt4|5||&|6||jj7d.7_7|&|S)3NrrrrrerruПроект с именем u8 уже существует! Переименуем в TZtask_allow_multiple_sprints)Zexit_idui_form_schemerrj)r+rrr isPrivateprivate)r)ZTEXKOM_db_deleterrrr)rr+rrr)r project_role)rrr+actorstypeatlassian-user-role-actorr3rBruXНе удалось найти и добавить пользователя в роль u проекта:: r uRНе удалось привязать пользователя к проекту zatlassian-group-role-actorZ actorGrouprlrfrgu<Не найдена группа пользователей u# для проектной ролиr(u&Неизвестный тип ролиr project_dir/issue_security_scheme.json)8rK CmfProjectrMrrrr+rUrnrrCmfUiFormSchemerrkeysrrqZ perm_policyrrrr_get_project_rolesCmfProjectRolerZCmfProjectRoleAssignmembersr@rIrJrr,r3r4rrrr2r0_calc_progress_process_versions_process_componentsr_process_permissionsZproject_perm_schemerr_r`raCmfSecurityLevelSchemesecurity_level_scheme_process_tasksr-r_process_boards_process_sprintsr)rrr project_objrrr role_inforroleZ role_assignactorrZ sub_group dump_filerdrrrr_process_projects "  "                  zJiraAPIImport._process_projectcCsddl}|jdddd|jjjd|jjd|dd |d tjd gd d td dtddd}|jd|j |j |S)Nr/usr/bin/python3 manage.pyshellz&plugin = models.CmfPluginJira.get(id="z(");retcode = plugin.process_issue_fork("", "r", , );T"/var/log/eva-import-subprocess.loga+&/var/log/eva-import-subprocess.err.logZ close_fdsZstart_new_sessionstdoutstderrЗапустили ) subprocessPopenr+rrrzIMPORT_OBJ_CNTr_r,pid log_detail)rrdonerprocrrr _execute_task's 2 zJiraAPIImport._execute_taskc Csddl}|jjd|jd}||d}g}t|jD]0}|||}|tj 7}| |||kr>qpq>||kr| dt |D]L}| }|dk r|j|7_|||||} |tj 7}| | qqpt |D]"}||jr|j|j7_q|jjddS)NruDГрузим задачи в несколько процессов: rr(u0Закончили обработку задач)timer+rUrPr}rranger rzrrsleeprpollr2remove communicate returncode) rrrr Ztask_cntprocessrr rnew_procrrrr2s4         zJiraAPIImport._process_tasksu#Обработка проектовc Cstjjddjj}|D]}zv|ddd|jDkr@Wqd}|jr\t WdS|di}|r~| ||j }n ddd }|d d krtj jd d}nL|d d krtj jdd}n0|d dkrtj jdd}nt d|d d|jjjjd|d|d<|d|jj|d||d||d|d}|d}|rZ||} | |d<n0|jjjjd|dd} tjj| d|d<|||}Wqt k rt|jd7_|jjd|tjddd YqXqdS)!NrCrDrcSsg|] }|dqSrrrrrrr[sz3JiraAPIImport._process_projects..leaddefault_import_jira@evateam.comdefault_import_jirarrprojectTypeKeybusinessproject.base:defaultsoftwareproject.agile:default service_deskproject.servicedesk:defaultu$ERROR! Проекты с типом 3 временно не поддерживаютсяrrrrrrrractivityZtask_code_prefixrrrm simplifiedrrrr(<Не удалось импортировать проект Tr )rKrLrMrrrrTr+r-rrrHrr0rrrrrZrollback_purge_eventr2r,r3r4) rr%rr project_leadrrrZproject_simplifiedrrrrr_process_projectsVsZ        zJiraAPIImport._process_projectsc Csd}tjjddjj}|D]v}z(|jr:WdS|ddd|jDkrVWq|jj j j d|d|d<|di}|r| ||j }n d d d }|d d krtj jdd}nL|d dkrtj jdd}n0|d dkrtj jdd}ntd|d d|d|jj|d||d||d|d}|||d<|||}Wqtk rt|jd7_|jjd|tjdddYqXqdS)NrCrDrcSsg|] }|dqSrrrrrrrsz7JiraAPIImport._process_projects_box..rrrrrrrrrrr r!r"u$ERROR! Поректы с типом r#rrrr$rr(r'Tr )rKrLrMrrrr+r-rTrrrrHrr0rrrr2r,r3r4)rrr%rr(rrrrrr_process_projects_boxsN      z#JiraAPIImport._process_projects_boxuОбработка досокc Cs$||dD]}z|jr*WdStjj|dd}|jjjjd|d|d<tjj|ddddd gd }|stj|d|jd }|d |_ |d |_ ||_ ||_ |j dd|j|jr|jD] }|q|j|d ddD]}ztj|d ||jdd}|j dd|dD]P}|jjjjd|d}tjj|d} | sntd|d|j| q,|j dd|jWqtk r|j|jjd|tjdddYqXq|jjd7_Wq|jj|jjd|tjdddYqXqdS)z https://bcrm.carbonsoft.ru/desk/favorites/Document/DOC-007367#spec-006348-b https://developer.atlassian.com/cloud/jira/software/rest/api-group-board/#api-rest-agile-1-0-board-boardid-quickfilter-get rNrrrkanban_board_columnsrmrrrrr+rrPTrZ columnConfigcolumns)rrr+rruНе найден статус u для колонкиuDНе удалось создать колонку для доски r r(u:Не удалось импортировать доску )_get_project_boardsr+r-rKrrMrrZCmfKanbanBoardrrmrrrr.r/rr+rZCmfKanbanBoardColumnrrZmapped_status_codesrr1r,r3r4r) rrboardrZ board_objcolZ board_colrrZ status_globalrrrrsX             $ zJiraAPIImport._process_boardsu#Обработка спринтовc Cstjj|dd}tjjdd|gdddggd}tjjdd|gdddggd gd }tjjd d }||d D]}|jrdS|jjjj d|d }tj j|dddddddddg d}|stj |d|j|d}|j r||_ |d|_ |d|_|d|_|jr|jdd|ddkrZ||_|jsJd|_|jdd|jd|_n"||_|ddkr||jd |_|jr|jddt|jjd!|j d"t|d#|d#D]0} |jjjj d| } tjj| d$dd%gd} | r|d&r|jjjj d'| j} tjj| d(d)d*gd} | sJtj| |jd+} d,| _d-|jd.|j d/| _ | | _!| jr| j| j" d0| j#dkrt| j$d1kr|j%&| n |j%&| n4|j'd17_'|jj(d2| d3|dt)j*ddd4q|jddt|jj+d17_+qndS)5Nrrrrrrrrtree_node_is_branchrezlist.agile_sprint:defaultrDrrrrrrrrrrT)rrr+rrrrstateclosedCLOSEDrZ IN_PROGRESSu0Добавляем задачи в спринт r+issueslistscache_status_typerz::comment-sprint: log_levelrrr,uBЗадача была в архивном спринте rr(u-Неизвестная задача issue_id=u в спринте r ),rKrrMrr_get_all_sprintsr+r-rrrrrrrrrurrr1rZget_default_statusrrrUrPrrrrr8r(rrrr7r6rrr2r,r3r4r)rrrZ sprint_folderarchive_folderZsprint_logic_typerrZ sprint_objZissue_idZ issue_ext_idrcomment_ext_idcommentrrrrsz"        $ * zJiraAPIImport._process_sprintscCs$|sd}|sd}|d|d|S)NuНе указаноr+u ➔ r)rr old_valueZ new_valuerrr_simple_html_diff0s zJiraAPIImport._simple_html_diffcCs|dkr dSz||}Wn,|jjd|dtjdtjYSX||dd\}}|s|jjj drt j j |jjdd}|jjd|d|tj dn*|jjd|d tj}|jd 7_|S) Nunknownu6Не найден пользователь user_id = "u9", в дампе, указываем системногоr}FZdefault_user_idruA", ставим пользователя по умолчанию u+", указываем системного r()r.r+r,r3r4gZ system_userr{rrrMrKrrprUerrorr2)rr=rrrrrrr7s   zJiraAPIImport._get_person) dump_pathc Csz ||WStk rz|d}|rt|dB}|D]6}t|}|||jkr@|W5QRWYSq@W5QRX|j |}|rt|d}| t |dW5QRX|WYSWn$|j j d|tjdYnXYnXdS)N users.jsonrr uMНеудалось сдампить пользователя по ключу r})r.r0r]r^r_r`r<rHr@Z get_user_infowritedumpsr+r,r3rp)rr=rEZ users_pathrdrowr5r3rrr_get_user_infoKs$    &  zJiraAPIImport._get_user_infou,Обработка журнала работ)rcCs*ddl}|jjd||D]}t}d|d<|j|d<||d|j|d<|d|d<||d |j|d <||d <|d |d <|dd|d<|dd|d<|jj j j d|d|d<||d<d|d<t j j|dd}|s t j f|}|j j|j|jjd|_|jddq dS)Nru*Загружаем журнал работr3rr+rrr updateAuthorcmf_modified_byrstarted start_dateZtimeSpentSeconds< time_spentr?rrrrrrmZremaining_estimater)ZminutesTr)datetimer+rUrP_get_issue_worklogsrrrHrMrrrKZCmfTimeTrackerHistoryrPrZ timedeltarRZend_dater)rrrrSworklogZtimetracker_historyhistoryrrr_process_issue_worklog`s.      z$JiraAPIImport._process_issue_worklogu8Обработка комментариев задачиc Csd}d}||D]}|d7}|jjjjd|d}tjj|d}|rn|jsn|jjd|t j ddq|stj|||jdd }| |d |j |_ |j |_| |d |j |_|d |_|d |_||d|_||jj|||_||_||_|dr~|d7}|dddkrNtjj|ddd}|j|d|_n0|jjd|dt j ddd|jd7_q|jdd|jddq|jd|d|dS)Nrr(rrruMКомментарий уже есть, и правился в системеTrt)rrr+rrrMrrrZ visibilityrrrr;uLОшибка обработки приватного комментария r rr?ruОбработано u: комментариев, из них приватных )_get_issue_commentsr+rrrKrrMrr,r3r4rrHrrrNrrr5rr`rrmrrrrrr2rr) rrrcntZ private_cntr?rZ cmf_commentrrrr_process_issue_commentsys@       z%JiraAPIImport._process_issue_commentsu0Обработка плагинов задачиc Cs|jjp d}||D]}|ddkr|drt|d}|jdddid }|dd D]N}|sbqX|d rx|d }n|jd dd id }||dd||qX||t||j_q|j r|j dddS)Nrrz&com.railsware.SmartChecklist.checklistrr!Zulr"z tox-checklistr$rHrliztox-checklist--checkedr(Tr) rr_get_issue_propertiesr Znew_tagrrQrr&rur) rrrrZissue_propertyZsoupZ checklistvalr[rrr_process_propertiess"      z!JiraAPIImport._process_propertiesc Csbdd|jtjjdD}|ddD]2}|jjjjd|d}d}|drl||d|j }n|jj d ||d |d |d }|d D]h}|d} ||d} | r| drd} | | |d|d} d|kr| |d<q|dd| |d<qtj j|ddddddgd} | s8tj |jd|d} |D]} t| | || q<| q(dS)NcSsi|]}|d|qS)rr)rrnrrr sz2JiraAPIImport._process_history..rj changelog historiesz ::historyrruАудит без автора rr()rrr8rrrnrrZ fromStringZtoStringrz
r+rrr8rrT)r+rr)rrKrrr+rrrMrrHrUrnrArrqr)rrrZjira_map_fieldsrVrrr?rMrrnZdiffZhistory_commentrrrr_process_historys.    zJiraAPIImport._process_historyuОбработка задачиcCsd}|jjjjd|ddd}tjj|d}|sRtd|ddd|||jtj j d}tj jd d |jjjjd |dd dgd gd|d <|d j |d<|j |d<d|d<|jjjjd|d|d <|d|d<|ddrt|jjjjd|ddd}tjj|d|d<|dst|jjd|ddtjddd|jd7_|d}|r|d|d|d<|ddr4||dd|j|d<|ds4|jd7_|jjd|ddtjdd|jjd|dd|jtjddd|ddr||dd|j|d <|d s|jd7_|jjd!|ddtjdd|jjd!|dd|jtjddd|dd"rh||dd"|j|d#<|d#sh|jd7_|jjd$|dd"tjdd|jjd$|dd"|jtjddd||d%<|d&r|d'd(|d&<||d%<|pg}d|jjjjd|dd)dd} tjjd d d*| d*gd+|d,<|jjd-|tj|jtj |d d.|d gd/\} } ||| |7}|| jj| _|| jj| || _|dd0d1rl| | ||j!d2r|dd3d1r|"| ||D]} | j#$| q|dd4g|dd5gD]l} |jjjjd6| d}tj%j|d}|s.|jjd7| tjddd|jd7_n | j&$|q|dd8gD]l}|jjjjd|d}tj'j|d}|s|jjd9|tjddd|jd7_n | j($|qN|dd:| _)|| _*| j+r| j,dd;t-|.| ||dd|d}tj3j|d}|stj3||jd?}| |_4|j5j6d@|d}dA|dB|dC|_dD|_7|j,dd;|j89|j:dEdF|S)Gu Общая логика обработки которая потом разделяется на задачи и эпики rrrjrrru$Не проекта с ключем rrrf%::rrrer7r%TZapprovedrEZsecurityZperm_security_levelu:Не найден уровень безопасности r r(z Story PointsZagile_story_pointsreporterru*Не найден автор задачи r)creatorru?Не найден ответственный по задаче assigneeru6Не найден исполнитель задачи rrrenderedFieldsrrrgrru2Пытаемся создать задачу из rrr?totaltimeTrackingEnabledrUZ fixVersionsZversions ::version:u!Не найдена версия componentsu%Не найден компонент rrru/Не удалось привязать тегиz ::comment:r,zbrowse/u<Задача импортирована из Jira: }|jrBdS|dd}|jjjjd|d}|r|jjjjd|d}|j|g}| |||j|<|ddg}|D]}|jjjjd|d} d|kr$d |i|d <|jjjjd|dd|dd <||j | <qd |krd |i|d<|jjjjd|d d|d d <||j | <qq*q|j d t |j|jD]z}|jrdSt jj|d } |j|D]H} t jj| d gd} | s|jjd| q| | _| jddqq|jjddddd} |jjdt |j |j D]\}}|jrfdSzB|jjjjd|dd}| |dd}|rt jj|d}nt jj|d }|st jjdd|ddgd}|s(t j||j|ddd}|dd|_|dd|_|jdd|jjjjd|d}t jj|d }|sft j||jd }t jj|d d d |_t jj|dd d |_||_|jddWnN|jd!7_|jj d"|dd#|d d$|dt j!ddd%YnXqJ|jjdS)&uD Постобработка связей задач rrNrjrrZ issuelinksrrruПодзадачи: r parent_taskruqНе удалось связать задачи, возможно задача не попала в импорт Trzsystem.finish:finishzsystem.duplicatez system.linkz system.clone)ZBlocksZ DuplicateZRelatesZClonersu Связи: rrrDrr)rr+rZinwardZoutwardr,r(u.Не удалось создать связь z out=z in=r )"rrrr+r-rMrrrRrrQr,rrKrrUrnrrrr.r/rPrrZCmfRelationTypeZ in_type_nameZ out_type_nameZCmfRelationOptionZin_linkZout_link relation_typer2r3r4)rrrZ issue_parentrZ parent_ext_idZ sub_tasksZ issue_linksZ issue_linkZ link_ext_idrrZ child_ext_idZ child_taskZ map_namesZrelation_ext_idZissue_relationZ relation_codersZ rel_ext_idZrelation_optionrrr_process_relationscs"     &  &       &z JiraAPIImport._process_relationsu)Обработка компонентовrc Cstjj|dddgd}tjj|dddgd}|s@td |||d D]}zp|jsld|_||j r~Wd S|jj j j d |d }tj j|d dddddgd}|stj ||jdd}||_ |d|_||_|dr||d|j|_|ddkr|j|_n.|ddkr2|j|_n|ddkrH|j|_|jrd|jrd|jdd|ddr|js|d|j_|jjr|dd|j_|jjjdd|jjd7_WqN|jd7_|jjd|tj dddYqNXqNd S) uGhttps://docs.atlassian.com/software/jira/docs/api/REST/1000.824.0/#api/2/project-getProjectComponents Пока грузим как списки, после доработки будут отдельные обекты Args: project_info (dict): проект из джиры как есть rrrrrkTr1)rrZinclude_systemrjuVДанный тип проекта не поддерживает компоненты rNrdescr_document default_ownerdefault_responsiblerrrrr+rrrZ assigneeTypeZPROJECT_DEFAULTZ PROJECT_LEADZCOMPONENT_LEADrrrr(u3Ошибка загрузки компонента r )!rKrrMrr_get_project_componentsr1rr+r-rrrmrrrrrHrvrrwrrruruZcreate_descr_documentZ text_draftrrr2r,r3r4)rrrrrprZcomponents_listrrrrsV        z!JiraAPIImport._process_componentsuОбработка версийc Cstjj|ddgd}tjjd|d}tjjd|d}|j|ddD]X}z|jrbWdS|jjjjd |d}tj j|d }|stj ||jd d }tj jd d|_ ||_ |d|_ |dd|_|jj|_|jr|jr|jd d|dr||_n||_|jr:|ds$|dr0|dn |d|jrV|jrV|jd d|jjd7_WqF|jd7_|jjd|tjd d dYqFXqFdS)Nrz"scheme_wf.default_release_workflowrrelease)rrrrrrjrTrxzlist.release:defaultrDrrrrZarchivedZreleasedr4ZOPENr(u+Ошибка загрузки версии r )rKrrMr_get_project_versionsr+r-rrrrrrrrrZdefault_release_workflowrrrurrZset_default_statusrr2r,r3r4)rrrZrelease_folderr=rorZ version_listrrrrs>         zJiraAPIImport._process_versionsuОбработка аудитаcCsdS)u) Грузим аудит Nrrrrr_process_auditszJiraAPIImport._process_auditu2Обработка логических типовcCsrddddddddddddddddddddddd ddd ddd dd d dd d dd }|d D]}|jjd||jrdS|jjjjd|d}tjj ddd|dgd}|rqp| |d}|r>tjj dd|dgdgd}|j r"d||j |_ nd|d|_ |j ddqp|jjd|ddtjj dd|d gdgd}|r|j rd||j |_ nd|d|_ |j ddqp|jjd d}|j jjr|d!d"krd}n|d!d#kr d }n|d$r d}tjj dd|gd}td|d|d |d%d&|d'}t|jtj|t|jjd#7_qpdS)(u$Маппим issueType в logic_typeПодзадачаztask.sub:default)rrEZ UserStoryztask.userstory:defaultz Task Agiletask.agile:defaultBugztask.bug:defaultEpicztask.epic:default) zSub-taskZSubtaskr}ZStoryuИсторияZTasku ЗадачаruБагu ОшибкаuЭпикrru-Обрабатываем тип задачи Nrrrrfrc::%rrrErreTruИщем по имени "rrdu*Не нашли, создаем новыйrrGr(rrr)rrrrr)rr+rUrPr-rrrKrrMrrstripr@rIrJrrrrr)rZ name2coderrrZlogic_type_dictZ template_coderrrr_process_issue_typesz        z!JiraAPIImport._process_issue_typeu2Обработка бизнес-процессовc si}dD]}|||d<qdD]P}jr@dSjj|ddjjjjd|ddd|dd}tjj |dstjj d d }tj||jd |d _ |dd_ j d d|dD]} ||dqtjjddgdddggdgdD]@}tjj dd|jgddgdddggdsPq|jd dq|dD]}jrdSjjjjdjd|d}tjj |d} | stj|jd} |d| _ |d | _ fdd|dD} tjjdd| gd| _t| jt| ks*tdjjjjdjd|d} tjj | d| _| j d dqhjjd 7_q*dS)!uИмпортируем workflowrr workflowsNrrZentityIdrr~rDrrTrrrrrrerrrZ transitions)rr)rrr+cs*g|]"}jjjjdjd|qS)r)r+rrr)rstrrrrrsz3JiraAPIImport._process_workflow..fromINuNDEV: Fatal Вероятно, сломали создание статусов!tor()rr+r-rUrPrrrKrrMrrrrrrrrrZCmfTransZ status_fromrrZ status_tor) rZ jira_statusesrZ jira_workflowZ workflow_idZtemplate_workflowrZjira_transitionZtransition_ext_idZ transitionZstatus_from_ext_id_listZstatus_to_ext_idrrr_process_workflowesT ,      "  "zJiraAPIImport._process_workflowu Обработка схем БПc Cs|dD]}|jr dS|jjjjd|d}tjjdd|dgd}|sjtd|d|d |d d |jjjjd|d d di||d}t |jtj |dd|dg\}}|stj j |dD] }|q|dD]\}} |jr dS|jjjjd|}tjjddd|dgd} tjjdd|jjjjd| dgd} | | d||jd} tj f| }|jddq|jjd7_q dS)Nworkflow_schemerZdefaultWorkflowrrfrru+Не импортировался workflow rrrrrEr)rrrrrrrrZissueTypeMappingsrcrrTrr()rr+r-rrrKrrMrrrrrrrrrrr) rrZdefault_task_workflow_ext_idrZ scheme_dictZworkflow_scheme_objrrrZ workflow_namerrrrrr_process_workflow_schemesP    ( z&JiraAPIImport._process_workflow_schemecCsHtjj}|dD]0}||j}||jjd|t |qdS)Nrr6) r8r9r:rrMrHr~r+rr;rJ)rr>r3rrrr_cache_all_userss zJiraAPIImport._cache_all_usersuПростой дампr;c Cs|j|d}|j|d}|r8dSt|d6}|D](}|jjd7_|t|dqJW5QRXt |||jj ddt dS)N.jsonz .json.dirtyrr(rHTr) r+r\r]r^r_json_object_countrIr`rJrfrirr)rZapi_funcrrcrkrdrKrrr _simple_dumps    zJiraAPIImport._simple_dumpc csN|j|d}|rJt|d}|D]}t|Vq.W5QRXdS)Nrr+)r+r\r]r^r_r`r<)rrrcrdrKrrrrs  zJiraAPIImport._simple_getc csf|jd}|rbt|D]>}|dr2q"t|d|dd}t |VW5QRXq"dS)Nr.dirtyr /info.jsonr) r+r\r]r^rglistdirrr_r`ra)rrrrdrrrrs zJiraAPIImport._get_projectscCs&|D]}||dkr|SqdSrJ)Z get_projects)rrrrrr get_projects  zJiraAPIImport.get_projectc csH|jd|}t|dd}|D]}t|Vq(W5QRXdS)Nr/issue_types.jsonrr+r\r]r_r`r<rrrrdrKrrrrsz*JiraAPIImport._get_issue_types_for_projectc csH|jd|}t|dd}|D]}t|Vq(W5QRXdS)Nr/statuses.jsonrrrrrrrsz'JiraAPIImport._get_statuses_for_projectc csH|jd|}t|dd}|D]}t|Vq(W5QRXdS)Nr /roles.jsonrrrrrrrsz JiraAPIImport._get_project_rolesc csV|jd|d}t|D]2}t|d|dd}t|VW5QRXqdS)NrrSrrrr+r\r]rgrr_r`ra)rr board_dirZboard_idrdrrrr.sz!JiraAPIImport._get_project_boardsc csV|jd|d}t|D]2}t|d|dd}t|VW5QRXqdS)Nrrnrrrr)rr sprints_dirZ sprint_idrdrrrr<szJiraAPIImport._get_all_sprintsc csH|jd|}t|dd}|D]}t|Vq(W5QRXdS)Nr/versions.jsonrrrrrrr{ sz#JiraAPIImport._get_project_versionsc csH|jd|}t|dd}|D]}t|Vq(W5QRXdS)Nr/components.jsonrrrrrrrysz%JiraAPIImport._get_project_componentscCs0|jd|d}tddt|D}|S)Nrrcss|]}|d VqdS)rN)r)rentryrrr sz5JiraAPIImport._count_project_tasks..)r+r\r]sumrgr)rr tasks_dircountrrrrsz"JiraAPIImport._count_project_tasksrc cs|jd|d}tt|D]\\}}||kr4q"|dr@q"|||krPqt|d|dd}t |VW5QRXq"dS)Nrrrrrr) r+r\r]rrgrrr_r`ra)rrrrriZtask_idrdrrrrs  zJiraAPIImport.get_project_tasksccsB|dd}t|D]$}|dkr&q||d|dVqdS)Nrz /attachmentsall_attachments.zipr)r rc)rgr)rrZattachments_pathr rrrr(s z$JiraAPIImport._get_issue_attachmentsc cs>|dd}t|d}|D]}t|VqW5QRXdS)Nrz/comments.jsonr)r_r`r<)rrcomments_file_pathrdrKrrrrX/s z!JiraAPIImport._get_issue_commentsc Cs6|dd}t|d}t|}W5QRX|p4gS)Nrz /worklog.jsonrr_r`ra)rrrrdr8rrrrT5s z!JiraAPIImport._get_issue_worklogsc Cs:|dd}t|d}t|W5QRSQRXdS)Nrz/properties.jsonrr)rrZproperties_file_pathrdrrrr\;s z#JiraAPIImport._get_issue_propertiesc Cs:|dd}t|d}t|W5QRSQRXdS)Nrz/watchers.jsonrr)rrZwatchers_file_pathrdrrrr@s z!JiraAPIImport._get_issue_watchersc CsD|jd}|r@t|d}t|W5QRSQRXiS)Nglobal_settings.jsonr)r+r\r]r^r_r`ra)rglobal_settings_file_pathrdrrrrOEs  z'JiraAPIImport._get_jira_global_settingsc Cs@|j}|jd}t|d}t||W5QRXdS)Nrr[)r@Zget_jira_global_settingsr+r\r]r_r`rb)rZglobal_settings_datarrdrrr_dump_jira_global_settingsLs  z(JiraAPIImport._dump_jira_global_settingsu/Обработка ссылок в тексте)rattachments_dirrc sd}|s |St|dddD]2}d}|dr8d}|j|}z|drh|jjd|Wq |d stj |j j |}||j j s|jjd |Wq t |d d\}} |s|jjd |Wq td tj |} | r`| d| ddd} | dkr`|dd} ttfdd| d} | r`|jjd|Wq tj |ddd d}tj|}||}tjj||d|jjjjd}|stj|j||d|jjjjd}||_||_d|_| |j!"Wq t#k rR}z2|jj!$|jjd|d||d7}W5d}~XYq Xq t|d}|jddid D]P}|jd!r|%|jd!|d"n$|jd#rp|%|jd#|d"qp|S)$NrZlxmlcSs|dp|dSr?rArCrrrrDXrEz+JiraAPIImport._dump_links..r@r(zmailto:uЭто почта: ZhttpuHЭто внешняя ссылка, оставляем как есть: rHuЭто не файл: rIr(r9rrjrcs|dkSrJrKrLrNrrrDqrEuEЭтот файл уже обработан во вложениях: rrGrr( obj_ext_idrr+r(rrFu0Не удалось скачать ссылку r+r!r"r#r$r&rr')&r r,rBr%rQr+rUrnrRrSZurljoinr@r rYrZrrUrVrTrWrrKrrr]CmfImportDownloadrMrrpathr downloadedrr.r/r0r1rL)rrrrr2r2rr r^encodingr[Zattach_filenamer\r]r rc download_jobr4r1rrNr _dump_linksRsx            zJiraAPIImport._dump_linkscCs|j|d}|jD]}|j|ds*q|d|s:q|d|d}|r|D]}|dsz|jd|tjqT|jjj r|j|dgD]*}|d|dkr|dr|d|d<qqT||j|dkrT|j|d |qTq| |jd S) uНа коробке только через мету задачи можно получить варианты выбора полей Args: issue (dict): задача rcustomrjZ allowedValuesruВыбор без id: optionschildrenN) r@Zget_issue_metarerMr+r,r3rprIrJrrl)rrmetarqroptionZcur_optrrr_get_field_optionss(    z JiraAPIImport._get_field_optionsc CsXtddB||_d}|jjd|d|z|j|d||D]}zzz|jr|WWWW5QRdS|jjd|d d | t |d} | rWWFqJ| || t |dd } | j d d | |d<| d} |ddrv|jjdt|ddztj|jjd|dd} |jjjrptj|jjd|dd} d} | | }|jjjjd|d}tjj| ||jjjjd}|stj|j| ||jjjjd}||_| |_d|_||jWnDtk r>}z$|jjdtd|t j!d dW5d}~XYnX|ddD](}|drL|"|d|j#| qL|j$dr | d}| rt%|t&|d Z}|j'|d}|D]2}|"|d|j#| |"|d!|j#| qt()||W5QRX|d"d#D](}|dr|"|d|j#| q|dd$rp|"|dd$|j#| |dd%r|"|dd%i|j#| |dd&ir|"|dd&i|j#| |j*|+|d'd(| |7_*| d)}| rt%||jjd*t&|d+}|j,|dD]~}|"|d|j#| |"|d!|j#| |-t(.|d,|jj/d7_/|j0d-|j*|+|d.| |7_*q:W5QRX|j1|d}| d/}t&|d }t()||W5QRX|j2|d}|D]}|"||j#| q| d0}t&|d }t()||W5QRXt34| | | j d d | d1}t | 5d d2|d<t&|d .}t()|||jj/d7_/|j0d3W5QRXWn(|d7}|jj6d4|YnXW5|jjXqJWn.|jj6d5|d6d7|d7}YnX|7|W5QRXdS)8NFrruЗадачи с u до rr(uЗадача 'r'rTexist_okrr\rjru%Обработка вложений: zsecure/attachmentzip/z.zipzsecure/issueAttachments/rrrrr r+r)rriz worklog.jsonr[rMr`rardrerfrgrz comments.jsonu#Дампим комментарииrrHr?rzproperties.jsonz watchers.json info.jsonrru0Не удалось скачать задачу u2Не получить задачи проекта ru с сервера)8rr@r+rUrPZget_all_project_issuesr.r/r-r]r&r^rmkdirrrgrrr rIrJrrrKrrMrrrr0r,rr3r4rLrHrPrr_Zissue_get_worklogr`rbr2rZ get_commentsrIrJrrZget_issue_propertiesZ get_watchersrfrir exceptionr) rrmaxrrr@tasks_that_are_donerrZtask_dirZ task_dir_tmprr(r Zattach_file_pathrrr4rZworklog_file_namerdZworklogsrUrVZcomments_file_namer?Z propertiesZproperties_fileZwatchersrZ watchers_fileZ info_pathrrr_dump_task_parts          2              *         zJiraAPIImport._dump_task_partrrYcCstjj}t|dd}|jdd|j}d}t||jd}|sNd}d}g} d} || kr|||} | |kr||} |j j |j d|||| ||t |j j|j j|j j|j j|j j|j jjd |d d } | | | |jjd | |d7}qZ|d } |jjd|d| D]2} | j| d| r$|jjdtdq$|jjd|s||7}qf|jjd||j |d|!|ddD]} |j"r|St| d#d}|j$#d}|j$#d}|%rt&'||t(|d}t(|dx}t(|db}|D]V}||kr:|)|t*+|}||j,}|r:|-|jj.d|t/0|q:W5QRXW5QRXW5QRX|1t&2||q|S)Nrz/tasksTrrr(rZ dump_tasks)r r0tokenpassword verify_sslrJ)rrrrr@rtargetrr7u$Форкаем _dump_task_part proc=rQu%Таймаут дампа задач u минут)timeoutu$Возможно завис дампu"Ошибка дампа задачuKЗакончили параллельное скачивание задачuОшибок: rrrrFzusers.json.newrGrr6)3r8r9r:rrrwQueuerr{rvThreadrrr@r r0rrrrIrJrrr+rUrPris_aliverD TimeoutErroremptyrMrrr-r]r\r^rfrr_rIr`r<rHr~rr;rJunlinkri)rrrYr>rrrsteprrZ max_limitr rrZissue_users_pathZall_users_pathZall_users_path_newf1f2Zf3liner3rrrr _dump_tasks# s          "          BzJiraAPIImport._dump_tasksc CsZt|dd}|r$t|t|d"}|j|d}t||W5QRXdS)Nrrr[r) rr^rgrr_r@Z!get_project_issue_security_schemer`rb)rrrrdperm_schrrr#_dump_project_issue_security_schemef s   z1JiraAPIImport._dump_project_issue_security_schemec& Cs ddl}|jddd}|ds*tddd|dD|_|jd }|jd d t|j}t d |}|jD ]p} z|j rWdS|jj d 7_ |jj d|dd|t|d}|d}| s"|jj|d} t||dd| d<tj| dd d |jj dt| dd} | rVt| t| d} |j| d} zx| dD]j} | dddkr||jjjr| ddr|| dd|jn|| dd|jq|Wn&|jjd| tjdYnXt | | W5QRX|!| |jjjr| d sh|j"| dgdd!| d"<n|jj d#t| dd$}|rt|t|dD} |jj#| dd%D]*}|jj d 7_ | $t%|d&qW5QRXn~|j&|jj'd'| d| d"<d| d"krB| d"d| d"d(| d"<n.|j&|jj'd)| d"d| d"d*<| d+}|r|jd,||j&|d-}|(|| d+<|| d+|j)|j|jj d.t| dd/}|rt|t|dD} |jj*| dd%D]*}|jj d 7_ | $t%|d&q$W5QRX|jj d0t| dd1}|rt|t|d} |jjj+| dd2,D]}|j rW5QRWdS|jj d 7_ |j&|}|jjjrt|d3gD]d}|dd4kr|jjj-|d5d|d5d6d7|d8<|d8r||d8|j)|jq| $t%|d&qW5QRX|jj d9t| dd:}|rt./||t| dd;}|rt./||z|jj0| dd2D]}|j r4WWdS|jj d 7_ |jj d<|d|jj1|d|d*<|j&|d*d=d-|d*d=<|jjjrd>d|j2|dD|d*d?<| d|d@<|t|d}|jd d |d}t|dA} t || W5QRXzL|ddBkrf|jj dC|j3|dD]}|j rlWWWdS|jj d 7_ |t|d}|jd d |d}|r|jj dD|ddEqJg|dF<|jj dD|d|j4|dD]6} |j rWWWdS|dF5| dqt|dA} t || |j6dGW5QRXqJWn|j7j8k r}!z^|!j9j:dHkrdIt|!ksdJt|!kr|jt|!n|jjdK|tjd d dLW5d}!~!XYn*|jjdK|tjd d dLYnXqWn6|j;d 7_;|jjdM| tjd d dLYnX|jj dN| ddO}"t|"db} |j<| dD]J}#|j rW5QRWdS|jj d 7_ | $t%|#d& qW5QRX|jj dP| ddQ}$t|$d} |j=| dD]r}%|j r<W5QRWdS|%d+ rd||%d+|j)|j|jj d 7_ | $t%|%d& qW5QRXdRtj>dS<|jj?|7_?|jj@d dT|jjABdUtj>dS<t.C| d|t|| d<| ddV}t|dA} t | | W5QRXn t|dW} tD| } W5QRX|jE| d}|jj dX||j;|jF| |dY7_;Wqv|j;d 7_;|dZ r|jjd[|dd\tjd d dLn|jjd]|tjd d dLYqvXqv|jj d^dS)_Nrrr isCheckedu5Не выбрали ни одного проекта!cSs$g|]}|dr|dr|dqS)r5rr)rr]rrrrs sz0JiraAPIImport._dump_projects..rrTrPr(uДампим "rrrrrrruДампим права/permissions.jsonr permissionsholderrr parameteru0Не удалось сдампить права r}r&ZworkflowSchemeru/Дампим типы задач проектаrrrHz$rest/projectconfig/1/workflowscheme/)rrPzrest/api/2/workflowscheme/rPru1Ищем руководителя проекта ru*Дампим статусы проектаru$Дампим роли проектаr)rrrZ actorUserrB)r7r_r3u&Дампим доски проектаz/boards/z /sprints/u Доска rcSsg|]}|qSrrrrrrr sZ quick_filtersrr[)ZscrumZsimpleu&Дампим спринты доскиu Спринт u уже скачанr5riz"The board does not support sprintsuDДанная доска не поддерживает спринтыu4Не удалось сдампить спринты r uНе удалось сдампить доски, возможно проект не поддерживает доски или у вас нет прав project_info=u(Дампим версии проектаru!Дампим компонентыrrNO_CACHEr1rrGu*Дампим задачи проекта: rruПроект "u" является приватным и не может быть импортирован, отключите приватность в Jira или предоставьте пользователю праваu2Не удалось получить проект u0Закончили дампить проекты)Grequestsrr0rTr+r\r]rrrr-rrUrPr&r^r@rIrrgmakedirsrrr_Zget_project_permission_schemerJrMrLr,r3r4r`rbrZget_project_schemeZget_issue_for_projectrIrJ jira_requestr raise_for_statusrH get_statusesZget_project_rolesrmrrfrmtreeZget_all_agile_boardsZget_agile_board_configurationZget_board_quick_filtersZ get_sprintsZget_sprint_issuesrr exceptionsZ HTTPErrorZresponserr2Zget_project_versions_paginatedZget_project_componentsenvironprogressrr.r/riraZget_project_issues_countr)&rrrootZ projects_dirrYrrrZ data_filerpermission_filerdr perm_dictZ types_filerr(r8Z statuses_filerKZ role_fileZrole_urirrZ boards_dirrr/rZboard_info_filerZ sprint_pathZsprint_file_pathrr4Zversion_list_filenameroZcomponents_list_filenamerprrr_dump_projectsn s            "      $      "         "      $            *   "   "       $$zJiraAPIImport._dump_projectscCs|j}t|\}}}||d}|jd|d|jjd|jjd|||_ |jj j ddr|jjd| |jjd n|jjd tjd ||jjd | |jjd |jjd| |jjd| |jjd|jjjrH|jjd| |jjd|jjd| |jjd|jd| |jjd| |jjddtjd<d|j_|jt dtjd<|jjd|!dS)u_ Загружаем все данные из апи, кроме аттачей duСвободно места: rgu$Скачаем данные из APIu9Дампим глобальные настройки Jirar|Tu'Дампим пользователейruAНе дампим пользователей из-за опцийr}uДампим статусыru Дампим типы задачrissue_security_schemesu*Дампим бизнес процессыru7Дампим схемы бизнес процессовruДампим экраныscreensZ screen_schemerrruДампим проектыN)"r+r\rf disk_usager,rUrPrrOrPrrrMrr@rr3rprrZget_issue_typesZget_issue_security_schemesrIrJZ get_workflowsZget_workflow_schemeZget_all_screensZget_screen_schemergrrrrr)rZ download_pathrhusedfreeZ free_percentrrr download_dataC sB        zJiraAPIImport.download_datacCs`dtjd<tjj|jjdddgd}|jrRt|j |jd|_ |j dd t d tjd<dS) Nrrrrr)rrjrTrr) rgrrKZ CmfImportrMr+rrrrrrr)rr+rrrrk s   zJiraAPIImport._calc_progresscCstddl}|jdddd|jjd|jjjd|d|d tjd gd d t d d t dd d}|j d|j |S)Nrrrrz&cmf_import = models.CmfImport.get(id="z#");cmf_import.process_cross_links("rrrrTrrrrr) rrr+rr@rIr rzrr_r,r )r model_namer rr rrr_execute_cross_linksv s .z"JiraAPIImport._execute_cross_linksc Cshddl}dddgdddgg}dD]2}|jjd |d |jd}tt|}|j|d }|sdq g}t|jD]0}| ||} |t j 7}| | ||krrqqr|j ||kr$|d t|D]V} | } | dk r|j| 7_|| | ||} |t j 7}| | |j qqt|D]&} | | jr,|j| j7_q,q |jjd dS)uU Заменим ссылки на задачи и документы rNr+rrrT)rrrruОбрабатываем u+ в несколько процессов: rr(u2Закончили обработку ссылок)rr+rUrPr}varsrKrrrrzrrr rrrr2rrr) rrrrr rpZobj_cntrrr rrrrr_process_cross_links sB               z"JiraAPIImport._process_cross_linksc Csddlm}t|dd}|}dd|dD}t|d}t|}W5QRX|jjjjd |d }t j j |d } | st j |d |jd } |d| _ | j d d|dD]} zd |jjjjd | d d }| | drt jj || dd d} n|jjd| Wqddd|dg} ddddg} t jj | | d}|st jj | | | d}|s|jjd| tjd d d|jd7_Wq|jr|j||_n||_| dd d!kr|jjjjd | dd!d }t jj |d }|j||j d dnD| dd d"kr.Zproject_perm_permissionrGrrrTrrr+rrrZ permission)rEZinclude_deletedu4Не нашли соответствия права rrfrgraccess_membersaccess_project_rolere)permrrju*Не найдено правило для r r(rrZ projectRoleZapplicationRoleZ projectLeadrfrdrrru9Не нашли пользователя для прав rzru-Не нашли группу для прав u'Неизвестный тип прав u6Не удалось загрузить правило )$Zcmf.system_datarrr_r`rar+rrrKZCmfProjectPermSchemerMrrZCmfProjectPermPermissionrUrnZCmfProjectPermSchemeRuler,r3r4r2rrrrZaccess_local_userZ access_ownerZaccess_responsibleZ access_authorr@rIrJrrrr)rrrrZ system_dataZmap_permrdZperm_scheme_dictrZ perm_schemerrrrjZ scheme_ruleZ role_ext_idrrrzrrrr s     "    $& $z"JiraAPIImport._process_permissionsc CsdtddNd}|}|dkr&qL|jr4qL|jjd|d|jj|ddtj d}z| t |d }t |d "}|j d d D]}||qW5QRX|jjd |d tjj|dd} d| _| |jdWnJtk r>} z*|d7}|jjd|dd|W5d} ~ XYnXW5QRXq||W5QRXdS)NFrrru Пытаемся скачать r(T)streamrrzwb+i )Z chunk_sizeuСохранили в rrrr(u+Неудалось скачать файл r+)rrMr+r-rUrPr@rrzZIMPORT_DOWNLOAD_TIMEOUTrrr_Z iter_contentrIrKrrrrr0rr) rdownload_queue error_queuerrr8Z save_pathrdchunkZdownload_job_objr4rrr_download_file_worker s0   <z#JiraAPIImport._download_file_workerc Cs|jjd|j}|j}d}|jdgdd|jjjjgdddgg}tj j |dsp|jjd |Sg}t |j D]J}|j j|jd |||d d }||||jjd |q~tj j|ddgdD],}|jrq ||j|j|jdq|D]}|dq|s@|D]}|q0|jrP|S|jjd|s|jrx|S||7}q^|S)Nu=Скачиваем все найденные вложенияrzplugin.plugin.source_hashrrrFruВложений нетr)rrru Запустили задачу r(rre)rr(rru%Закончили скачивать)r+rUrPrwrrrrrKrrrr{rvrrrrZslistr-rrr(rrrrM) rrrr8rZprocsrr rrrrdownload_files sD         zJiraAPIImport.download_filescCs |dD]}|jrdS|jjjjd|d}tjj|d}|s\tj||jdd}|jrx|d|_ |d|_ ||_ |j dd |d D]p}|jjjjd|d}tj j|d}|stj ||jdd}||_|jr|d|_ |d|_ |j dd qq dS) NrrrrTrxrrrZlevels)rr+r-rrrKrrMrrrrmrrlr)rrrZ scheme_objrVZ level_ext_idZ level_objrrr_process_security_levelsC s,       z&JiraAPIImport._process_security_levels)rncCs|dddd}|d|jjjj7}|dd|ggggdd d d }|dd d d krvd|d<d|d<nR|dd d dkrd|d<d|d<n*|dd d dkrd|d<d|d<n|dd d dkrd|d<d|d<n|dd d dkr d|d<d|d<d|d<n|dd d dkrdd|d<d|d<dd |dd!D|d"<nd|dd d d#krd|d<d|d<n:|dd d d$krd%|d<d&|d<d|d'<d(|d<d)d |dd!D|d"<n|dd d d*krd+|d<d+|d<d|d'<dg|d,<n|dd d d-krJd|d<d|d<d.|d<n~|dd d d/krd+|d<d+|d<d|d'<d.g|d,<nD|dd d d0krd%|d<d&|d<d|d'<d(|d<i|d"<nd}|S)1Nrr customfieldcfrrT)rrr%Z logic_prefixF)rr class_nameZvisible_filterrequiredZrequiredChangedZschemarz:com.atlassian.jira.plugin.system.customfieldtypes:textareaZCmfStr field_typeZCmfTextwidgetz:com.atlassian.jira.plugin.system.customfieldtypes:datetimeZ CmfDateTimez.rchoicesz;com.atlassian.jira.plugin.system.customfieldtypes:textfieldz=com.atlassian.jira.plugin.system.customfieldtypes:multiselectCmfM2MZCmfCascadeChoiceleftZCUSTOM_CHOICE_MODELcSsi|]}|d|dqSr rrrrrr_} szAcom.atlassian.jira.plugin.system.customfieldtypes:multiuserpickerZ CmfGenericM2MrKz=com.atlassian.jira.plugin.system.customfieldtypes:grouppickerrrzBcom.atlassian.jira.plugin.system.customfieldtypes:multigrouppickerzAcom.atlassian.jira.plugin.system.customfieldtypes:cascadingselect)rr+rrr/)rrnr r8rrr _map_field[ st            zJiraAPIImport._map_fieldc sd|_|jD]Z}|jtjjdD]B}d|krF|jdtj dS|dd|kr"|j||d<q"q |jd|jj j j }tj j |dgd}|stj ||jdd d }|jdd tjj |dgd}|stjd|j|d d }d|_|jdd |jrJtjj |dgd}|s$tjd|j|d}|jrJ||_||_d|_|jdd |jjj ddsbdS|jj}ddtjD}g} g} |jtjjdD]}| dr|dds|jd|dq||} |dddd} | d|jj j j 7} | s>|jjd|dtjd|jd7_q| ddkrV| ||dr|jd |dd!|dq| |kr|| d"| d"kr|jjd|dd#| d"d$|| d"tjd|jd%| d&|dd'|| |d<q|jd(| d&|dd)| |d*| <|d+d,d| | |q||_||j | rtj!t"#dtj$d-did.dtjD}| D]@}|dddd} | d|jj j j 7} || |d<qd9t%d/fd0d1 | D]D}tjj&|dd2} t't| j(|dd3D]}|q<q |jjj}|d4D].}|d5tjjkrb|jtjjd|d<qb||j_d6t)j*d7<|j|jj d8t)j*d7<dS):NrjrujТекущая настройка не поддерживает импорт кастомных полейru0Обработка кастомных полейrrTzJira import custom fields)rr+rrrz"Jira import custom fields (UiForm))rr+rrr)rr+rZimport_custom_fieldsFcSsi|]}|d|qSrqrrrdrrrr_ sz8JiraAPIImport._process_custom_fields..ru!Поле не кастомное rrrru+Неудалось смапить поле r}r(r rru Поле u уже смаплено в r u:, widget поля u5 не совпадает с существующим uПоле с именем (u4) есть в таблице, мапим в негоu(Создаем поле с именем u), и мапим в него ui_fieldsui_group_fieldsrGrcSsi|]}|d|qSrrrrrrr_ s) option_dictcsjj|dd}|s"|dd}|dd|_|r<|j|_|jrJ||dgD]}||qVdS)Nrr;ZdisabledFr)rMZ cmf_hiddenrZchoice_parent_idrur)rZ parent_optrZchildZ choice_model create_optionrrr sz;JiraAPIImport._process_custom_fields..create_optionrqrrrrrr)N)+r?rerrKrrr+r,r3rprrrrMr CmfUiFormrrZCmfUiFormSchemeRulerrrr ui_form_jsonrrrrr/r4r2rr.r/Zcustom_field_syncZgeventrZcustom_field_sync_update_modelsrrjrrprgr)rZext_field_namernrrZ ui_view_formrr shop_fieldsZ new_fieldsZ m2m_fieldsZui_fieldrZ field_classrrsrrr_process_custom_fields s                        z$JiraAPIImport._process_custom_fieldsu#Импортируем экраныc CsddtjD}|dD]}|jjjjd|d}tjj|dgd}|sftj|d|jd }|j r|d |_ |d d |_ d |_ |j dd|jj}|dD]}|dD]}|ddsq|ddd}|d|jjjj7}||krq|jtjjdD]} | ds"q| dd|dkr|jd|d||| |d|<||dddkr|ddd|qqqq||_|j dd|jqdS)NcSsi|]}|d|qSrrrrrrr_ sz2JiraAPIImport._process_screens..rrrrrTrrrrrrZtabsrjZ customfield_rrrruДобавляем поле u в экран rrrG)rKrrrrr+rrrrMrrrrrrrrQrr/rrr,rrr.r/) rrZscreenrZui_formrZtabZ jira_fieldrrnrrr_process_screens s@       zJiraAPIImport._process_screenscCstdD]}||jsq qtdD]}|}|s(q>q(|j|7_||||||||| | |j j j r|||||n|||||jrdSd|j_|jt|D]>}|ddd|jDkr@q|jjd|ddq|jjd |jtj d d d |jd |jj!|j S) NrrcSsg|] }|dqSrrrrrrrR sz0JiraAPIImport.process_import..u'Импортирован проект 'rru#Ошибок обнаружено: Tr u-Импортировано объектов: )"rrr2rrrrrrr r!r@rIrJrrr)r*rrtr|r+r-rrrrrTrUrPr,r3r4r)rrr8rrrrprocess_import, sR       zJiraAPIImport.process_import)T)rr)T)TT)N)rr)or"r#r$r%rr'rr&rrrGpropertyrerlro staticmethodrrrrsrWrrrrrrrrrr=rrr5r.rr`r{rrrKrrrrrrrr rr)r*rrrArrrLrWrZr^rbrrqrtrrr|rrrrrrrrrrrr.r<r{ryrrrrXrTr\rrOrrrrrrrrrrrrrrrrr r!r# __classcell__rrrXrr><s  !   #5    E 9 c  V'T  t $ = + / ?%     U5 $  H 7 $   ?tCV(  .T$;s "r>)+Zcmf.apprZ cmf.includeZ dataclassesr;rYpathlibrrfZtempfilerrRtypingrrrr r r r Zbs4r rZcmf.data_providers.baserrZ cmf.modelsrZ%common.models.cmf_plugin_import_mixinrZmodules.jira.apirZmodules.jira.base_importrrKrrrrZ dataclassrr=r>rrrrs*   $