U
    \h                    @   s   d dl Z d dlZd dlmZ d dlZd dlZd dlmZ d dlm	Z	m
Z
 d dlZd dlZd dlZd dlZd dlZd dlZd dlZd dlZd dlZd dlmZ d dlZd dlmZ d dlT d dlmZ d d	lmZ G d
d dejZdS )    N)deepcopy)Path)DictIterator)cached_property)ParserError)*)cmf_plugin_csvcmf_contextc                   @   sD  e Zd ZU dZe ed< dZedd Z	e
dddZeee dd	d
Zdd Zeeeef dddZeee
dddZdd ZeeedddZdd Zdd Zdd Zdd Zdd  Zd!d" Zd#d$ Zd%d& Zd'd( Zd)d* Z d+d, Z!dyed-d.d/Z"dzed0d1d2Z#d3d4 Z$d5d6 Z%ed7d8d9Z&d:d; Z'd<d= Z(d>d? Z)d@dA Z*dBdC Z+dDdE Z,dFdG Z-dHdI Z.e/j0e/j1e2dJdKdLdMdN Z3dOdP Z4dQdR Z5dSdT Z6dUdV Z7dWdX Z8dYdZ Z9d[d\ Z:d]d^ Z;d{d_d`Z<dadb Z=dcdd Z>dedf Z?i dfdgdhZ@didj ZAdkdl ZBdmdn ZCdodp ZDdqdr ZEdsdt ZFdudv ZGdwdx ZHdS )|CmfPluginCsvN_loggerr   c                  C   sd  dt j t jjdddgddt j t jjdgddt j t jjdgddt j t jjdgdd	t j t jjdgdd
t j	 t j	jdddgddt j
 t j
jdddgddt j t jjdgddt j t jjdddgddt j t jjddgddt j t jjddgddt j t jjddt j t jjdddt j t jjddg} | S )uR   Собственный магазин при выборе импорта из Jirau#   Поля пользователейCmfTaskCmfTestplanCmfTestcase)captionfieldsiconZavailable_foru!   Поля контрагентовu   Поля задачu,   Оперативная гант-задачаu   Журнал работu!   Поля комментариевu   Поля проектовu"   Поля списков задачu   Поля группu   Поля активовu   Поля локацийu   Поля тесткейсов)r   r   r   u2   Поля тесткейсов тестплановT)r   r   r   Zhiddenu*   Поля выполнения тестов)models	CmfPersonimport_shop_fieldsr   
CmfCompanyr   CmfGanttTaskCmfTimeTrackerHistoryZCmfTimeTracker
CmfComment
CmfProjectCmfListCmfPersonGroupCmfAssetCmfLocationr   CmfTestplanTestcaseZCmfTestcaseRun)res r"   +./modules/settings/models/cmf_plugin_csv.pycalc_models_settings   sr    
 
 
 
 
 
 
 
 
 
 
 

 
 z!CmfPluginCsv.calc_models_settings)returnc              	   C   s   |j }d}d}z | |}t|D ]\}}q"W n tk
rn   d| d| }| j| t|dd d}Y nb tk
r   | jd| d|  d}Y n4 tt	fk
r   | jd| d|  d}Y nX |S )	NFr   uK   Не корректный формат загружаемого файла :T)abort*   Приложен пустой файл CSVu5   Не удаётся прочитать строчку)
full_path_file	_get_file	enumerateUnicodeDecodeErrorr   	exceptionZ	cmf_alertStopIterationIOError
ValueError)self
attachmentZ	file_path
have_errorZnum	file_read_msgr"   r"   r#   _check_fileB   s&    

zCmfPluginCsv._check_filec              	   c   s   t | j}|jdkrLtt|}|d}| D ]}dd |D V  q4n~|jdkrt	t|}|j
}|jddD ]
}|V  qvnF|jdkrtd	 t|d
"}tj|dddD ]
}|V  qW 5 Q R X d S )N.xlsr   c                 S   s   g | ]
}|j qS r"   )value).0itemr"   r"   r#   
<listcomp>^   s     z*CmfPluginCsv._get_file.<locals>.<listcomp>.xlsxT)Zvalues_only.csvi r;")Z	delimiterZ	quotechar)r   r)   suffixxlrdZopen_workbookstrZsheet_by_indexZget_rowsopenpyxlZload_workbookZactiveZ	iter_rowscsvZfield_size_limitopenreader)r2   Zattachment_file_pathZworkbookZ	worksheetelfiler"   r"   r#   r*   W   s"    






zCmfPluginCsv._get_filec              	   C   s   |j | _|jsd S tjjdgdd|jgdgd}dg d}tjj|dd	d
ddggdgdgd}| |}|rpg S | 	|}| 
 }t|D ]j\}}	|dkr|jd s qn|dkr qt|	D ].\}
}d}t|tjr|d}|dkr|r|jd rt|jd D ]}d|kr0d|kr0 q|d dkrBq|d D ]J}|d |krJ|d }|r| |d s|d | d} qqJq|s|d |d d d d q|d |
 }||d }||d< |r||d< |d |d< qq|d s| jd g S d|d < |gS )!N-cmf_modified_atidz!=json_settings)order_byfilterr   ZCSVnamer   	file_typeINr>   r8   r=   urlparentrO   rN   r   r   	first_row   Fz%Y-%m-%d %H:%M:%Simport_settingsrQ   r   titlemodel_fieldfield_qualnameT)rZ   file_valr[   r   r]   r   r(   r   entity)loggerr   Zattachmentsr   	CmfImportgetrL   CmfAttachmentr7   r*   _default_mapping_csvr+   rM   
isinstancedatetimestrftimer   _is_backref_fieldappendr-   )r1   
cmf_importZprev_settingssettingsr2   r3   r4   default_mappingirowjvalfoundZprev_setZ
prev_fieldr[   Zrow_settingsr"   r"   r#   calc_import_settingsk   sr    




 

z!CmfPluginCsv.calc_import_settingsc               &   C   s  d} d}d}d| dd| dd| dd| dd	| dd
| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd|dd|dd|dd|dd|dd|dddddddddddddd ddd!ddd"ddd#ddd$dddd%dd&$}| d$ddddddddd'ddd(d)dddddddd"ddd*ddd#ddd+ddd,ddd	ddddddddd-dddd.dd|ddd.dd/d.dd0d.dd1d.ddd.dd|ddd2dd3d2dd4 i }tj D ]}|||d5 < q| D ]P\}}|d6d7}|d8d7}	tt|}
||	| d9|	 |
jd:|
jd;||< q8|S )<ug    Структура сопоставления полей из файла CSV по умолчанию. r   r   r   ext_id)
field_name
model_namerQ   
logic_typeZcmf_modified_atcmf_created_atcmf_modified_bycodetextstatusZ
alarm_dateZdeadlinepriorityzresponsible.namezresponsible.emailzcmf_author.namezcmf_author.emailzexecutors.namezexecutors.emailparent_taskzparent_task.codeZtask_code_prefixactivityactual_workr   sched_start_datesched_finish_date
sched_workagregat_workactual_myself_workactual_completeactual_finish_dateoutline_numberr   )$u/   Ид внешней системы задачиu   Тема задачиu   Тип задачиu(   Дата изменения задачиu&   Дата создания задачиu*   ФИО изменившего задачуu   Код задачиu   Описание задачиu   Статус задачиu   Будильник задачиu$   Крайний срок задачиu   Важностьu   ФИО исполнителяu   Email исполнителяu   ФИО автораu   Email автораu!   ФИО соисполнителяu    Email соисполнителяu%   Родительская задачаu$   Код основной задачиu   Название проектаu   Код проектаu   Префикс задачu   Тип проектаu   Вид деятельностиu   Список задачu/   Фактические трудозатратыu&   Плановая дата началаu,   Плановая дата окончанияu/   Планируемые трудозатратыu2   Сумма дочерних трудозатратui   Фактические трудозатраты по собственным ресурсам задачиu-   Фактический % завершенияu   Дата финишаu]   Структурный номер (для поиска родительской задачи)u   Комментарийsched_durationin_linkCmfRelationOptionactual_start_dateconstrain_start_typeconstrain_start_dateis_milestoner   folder	cmf_ownersignificancer    testplan_testcase_folder)u   СДРu   ИДu   Название_задачиu   Длительностьu   Предшественникиu   Дата_началаu   Дата_окончанияu#   Процент_завершенияu#   Фактическое_началоu)   Фактическое_окончаниеu   Тип_ограниченияu   Дата_ограниченияu   Дата_созданияu7   Запланированные_трудозатратыu/   Фактические_трудозатратыu   ВехаZID   Расположениеu   Наименование   Набор тестовu
   Авторu   Приоритетu   Статусr   u   Названиеr   r   rt    rs   .T)r   rs   r\   r   requiredverbose_name)	updater   r   r   itemsra   getattrr   r   )Zname_cmf_taskZname_cmf_projectZname_cmf_epicrk   Zdefault_local_attrs_mappingZshop_frZ   Zvalue_modelrt   Z	name_attrmodelr"   r"   r#   rc      s    ';
z!CmfPluginCsv._default_mapping_csv)r\   r%   c                 C   sd   |  d^}}t|}|D ]B}t||}t|tjjr> dS t|drN|j	sR q`t|j	}qdS )Nr   Tr   F)
splitcmfutilZget_model_by_namer   
issubclasscmfr   Z
CmfBackrefhasattrr   )r\   rt   Zattrsr   attrfieldr"   r"   r#   rg   .  s    

zCmfPluginCsv._is_backref_fieldc                 C   s<  g }ddg g d}d}t jj|ddddd	ggd
gd}|sH| jjd | |}|jd rdt| t	|D ]\}}|dkr qg }	|d 
|	 t	|jD ]l\}
}|d sq|d d dd }|s|dkrd}|dkr|dkr|d 
|d d  |	
||
  qql|d r"|
| |s8d|d< d|d< |S )Nu   СделкиZ	handshake)rZ   r   titlesrowsFrR   rS   r>   r8   r=   rK   )rV   rO   rN   u)   Не найден файл импортаrW   rX   r   r[   r\   r   r   CmfDealT)r   r   r   r   u   ЗадачиrZ   zcalendar-todayr   )r   rb   ra   ri   r_   errorr*   rM   nextr+   rh   Zcsv_import_settings_fieldsr   )r1   ri   resultZdealsZis_dealZattachr4   rl   rm   Zdata_rowrn   rj   rt   r"   r"   r#   preview@  sD    



zCmfPluginCsv.preview)	row_arrayrj   r%   c                 C   s  t  }t|d d D ]\}}|| s*q|d s6qn|d d |jkrJq|d d d}t||d }|jdr|jdkrd	|| i||d < qt|t	j
jrt|d
kr|d
 || i||d < nd|| i||d < q|jdkrt|| ||d < q|jdkr&| || ||d < qt|drN| || |j||d < qt|t	j
jr||  }	dddddh}
dddddh}|	|
krd||d < n$|	|krd||d < nd ||d < q|| ||d < q|S )Nr   r   r[   r   rs   r   Zcf_)ZCmfM2MZCmfCascadeChoicerQ   rX   rr   r{   choicesu   даtrueZyes1+   нетZfalseno0-TF)dictr+   r   r   r   
class_name
startswithZwidgetr   r   r   Z
CmfRelBaselenrD   Zcalc_priorityr   Zcalc_choicesr   ZCmfBoollower)r1   r   rj   r   r!   idxfield_settingsZfield_partsr   r9   Ztrue_valuesZfalse_valuesr"   r"   r#   _map_objecte  sH    


zCmfPluginCsv._map_objectc                 C   s   d }|  || jjd tj}|rg }dddg}|D ]N}||d}|r2|dkrl|d|d|gdd|gg n||d|g  qq2|rtjj|d}|S )	NrY   rr   rx   rQ   r   OR==rO   )r   ri   rM   r   r   ra   rh   )r1   rm   project_objproject_filteruniq_fields
uniq_fielduniq_field_valuer"   r"   r#   _get_project  s    
zCmfPluginCsv._get_projectc           
      C   s   d }|  || jjd tj}|rg }dddg}|D ]N}||d}|r2|dkrl|d|d|gdd|gg n||d|g  qq2|rtjj|dd	}	|d
d|gdd|	gg tjj|d}|S )NrY   rr   rx   rQ   r   r   r   sprinttree_parentsys_typerV   r   r   )	r   ri   rM   r   r   ra   rh   	CmfFolderextend)
r1   rm   r   
sprint_objr   r   r   r   r   sprint_folderr"   r"   r#   _get_sprint  s"    
zCmfPluginCsv._get_sprintc                 C   sx   t jjdd|gd}|stt jjdd| gd}t|dkrh| jjd| dt| d	d
dd td|rt|d }|S )Nrx   r   r   rQ   ILIKErX   u<   Компаний с одинаковым названием z > uF   , укажите код компании вместо названияzERR-0071r   Zobj_typeu]   Найдено несколько компаний с одинаковым названиемr   )	r   r   ra   liststripr   ri   	log_error	Exception)r1   rr   company	companiesr"   r"   r#   _get_company  s    zCmfPluginCsv._get_companyc                 C   s   d }|rg }dddg}|D ]V}| |d }|r|dkrX|d|d|gdd|gg n||d| g  qrq|rtjj |d}|std| d	n"tjj d
ddgd}| jj	d |S )Nrr   rx   asset_code_prefixr   r   =r   u/   Не найдена схема активов "uf   ", создайте схему и укажите префикс кода активов в файле.systemTu   Не указана схема активов. Установлена схема активов по-умолчанию (системная))
ra   r   rh   upperr   CmfAssetSchemer   ri   r_   warning)r1   asset_schemeasset_scheme_objr   r   r   r   r"   r"   r#   _get_asset_scheme  s,    

zCmfPluginCsv._get_asset_schemec                 C   s   d }|r| dp$| dp$| d}|rp| }tjj dd|gdddd| dgdd|gdd	|gggdgd
}|std| d| d|S )Nrr   rx   rQ   rV   r   r   LIKE%r   rO   r   u1   Не найдена группа активов "u   " в схеме uY   , создайте группу и укажите ID, код или имя в файле.)ra   r   r   CmfAssetCatr   )r1   	asset_catr   asset_cat_objr   r"   r"   r#   _get_asset_cat  s(    	zCmfPluginCsv._get_asset_catc                 C   s   d }|rg }dddg}|D ]R}| |d }|r|dkrX|d|d|gdd|gg n||d|g  qnq|r|dd|g tjj |d}|S 	Nrr   rx   rQ   r   r   r   rV   r   )ra   r   rh   r   CmfAssetType)r1   
asset_typer   asset_type_objr   r   r   r   r"   r"   r#   _get_asset_type
  s(    
zCmfPluginCsv._get_asset_typec                 C   s   d }|rg }dddg}|D ]R}| |d }|r|dkrX|d|d|gdd|gg n||d|g  qnq|r|dd|g tjj |d}|S r   )ra   r   rh   r   CmfAssetTypeCat)r1   asset_type_catr   asset_type_cat_objr   r   r   r   r"   r"   r#   _get_asset_type_cat%  s(    
z CmfPluginCsv._get_asset_type_catc           	   	   C   s   t jj|}|j}|s|S |j}dd | D }|  }||}|s||krdd |	 D }t
d| d|j dd| |p|p|S )	Nc                 S   s   i | ]\}}|  |qS r"   r   r:   kvr"   r"   r#   
<dictcomp>H  s    z9CmfPluginCsv._get_asset_field_choises.<locals>.<dictcomp>c                 S   s   g | ]}d | d qS rA   r"   r:   r   r"   r"   r#   r<   P  s     z9CmfPluginCsv._get_asset_field_choises.<locals>.<listcomp>&   Не найдено значение "
   " для "2   ". Укажите одно из значений: , )r   r   r   ra   defaultr   r   r   r   valuesr   r   join)	r1   rs   r9   r   field_defaultfield_choisesr   field_valuer   r"   r"   r#   _get_asset_field_choises@  s     
z%CmfPluginCsv._get_asset_field_choisesc                 C   s   d }|r| dr|d  }tjj dddd| dgdd|gdd|gdd|ggd	}|stjj dddd| dgd
d|gdd|ggd	}|s| jjd| dddd |S )Nrr   r   r   r   loginr   emailrQ   r   rx   r   u7   Не найдена группа владельцев "rA   zERR-0085r   r   )ra   r   r   r   r   ri   r   )r1   responsibleZresponsible_objZresponsible_ext_idr"   r"   r#   _get_asset_responsibleX  s4    		
z#CmfPluginCsv._get_asset_responsiblec              	   C   s   g }|r| dr|d }|dD ]}| }tjj dddd| dgdd|gdd|gd	d|ggd
}|stjj dddd| dgdd|gd	d|ggd
}|s| jjd| dddd q$|| q$|S )Nrr   r@   r   r   r   r  r   r  rQ   r   rx   r   u5   Не найдена группа поддержки "rA   zERR-0086r   r   )	ra   r   r   r   r   r   ri   r   rh   )r1   Zsupport_group_datasupport_group_objsZsupport_groupssupport_groupZsupport_group_ext_idZsupport_group_objr"   r"   r#   _get_asset_support_groupy  s:    		
z%CmfPluginCsv._get_asset_support_groupc                 C   sp   d }|rl| drl|d  }tjj dddd| dgdd|gdd|ggd	}|sl| jjd
| dddd |S )Nrr   r   r   r   rx   r   rQ   r   r   u/   Не найдена локация/адрес "rA   ERR-0087r   r   )ra   r   r   r   ri   r   )r1   locationZlocation_objZlocation_ext_idr"   r"   r#   _get_asset_location  s"    	
z CmfPluginCsv._get_asset_location)r   c                 C   s   |D ]}d|d< | j jd|  | | j tj|\}}|j  |rt|j	j
dkrtjjdd|j
gddd	ggd
}|j| |  qd S )NTZservicedesk_allowu1   Пытаемся создать компанию project.servicedesk:defaultzparent.coder   zproject_role.coder   zsdesk-client:defaultr   )ri   r_   infoprocess_any_table_fieldsr   r   dpcommitrD   ru   rx   ZCmfProjectRoleAssignra   membersrh   save)r1   r   r   r   Zcompany_objis_newZrole_assignr"   r"   r#   _process_companies  s    

zCmfPluginCsv._process_companies)personsc           	      C   s   |D ]}d }| dr2|d  d}| ||d< | jjd|  | | jtj|\}}|j	  |rt
|jjdkr|jjst
|j}| j|t }|r|jr|jjtjs||jj qd S )Nr   rr   u9   Пытаемся создать пользователя r  )ra   r   ri   r_   r  r  r   r   r  r  rD   ru   rx   Z
user_localr9   rL   person_emails
setdefaultsetr  endswithZconfigZ
ORG_DOMAINadd)	r1   r  r   personZ
project_idZcompany_ext_idZ
person_objZperson_is_newZproject_person_emailsr"   r"   r#   _process_persons  s*    


zCmfPluginCsv._process_personsc                 C   s>  d|d j  d|d j  }d|d j d|d j }tjjdd|gd	}|s| jjd
 tjjdd|d j	dd  dgd	}|stjjdd}tj||| jdd}||_|j
r|jdd tjj|d d d}|sdd|d d gddd gg}tjj|d	}|s,tj|d d | jdd}|d d |_|d}|sV|d d }| |}	|	|_|d d |_|j
r|jdd |j  d|d d  }
tjj|
d}|stjjdd|gdd|ggd	}|stjjdd|d d gdd|ggd	}|s&| jjd tj|| j|dd}|
|_|d d |_||_|	|_|j
rZ|jdd d|d j  }d|d d  }tjj|d}|stjjd d}tj||| jdd}||_t|d jd!kr||_|j
r|jdd tjj|d ||d"d#}|s4|d |d"|| jdd$}tjf |}|jdd |||fS )%NzCSV::rV   ::ru   u   БП для проекта u    и типа rr   r   r   u/   Не нашли БП, создаем новыйrx   r   r&   r   r   zdefault.system:defaultrx   T)rr   templateri   import_originalZsave_importrz   rr   rQ   r   )rQ   ri   r   cache_status_typeworkflowstatus_codeu7   Не нашли статус, создаем новый)r$  ri   r%  r   u%   CSV-схема для проекта softdev:default)task.agile:defaulttask.base:defaultr   )ru   Ztarger_workflow	scheme_wfcmf_model_name)ru   Ztarget_workflowr*  r)  ri   r   )rL   rQ   r   CmfWorkflowra   ri   r_   r  rx   r   
is_changedr  CmfStatusCoderr   Zcalc_status_typestatus_type	CmfStatusr%  CmfSchemeWfrD   Zdefault_task_workflowZCmfSchemeWfRule)r1   taskrr   rQ   r$  r  Zcmf_status_coder   r#  r.  status_ext_idtask_statusZscheme_ext_idZscheme_nameschemeZruleZ	rule_dictr"   r"   r#   _process_workflow  s    *


 zCmfPluginCsv._process_workflowc           	      C   s  d }d }d }d }| dr8|d  dr8|d d  }|rtjj ddd| dgd}|s| jjd| d tjj d	d
|gdgd}|s| jjd| d tjj dd|gdgd}|r|jrd| |j |_nd| d|_|jdd |r|d d  }| jjd| d d	d
|gddd gg}tj	j |d}|rldd
|gdd
|gg}tj
j |d}|sdd
|gd	d
|gg}tj
j |d}|s| jjd| d dd
|gdd|gg}tj
j |d}|s| dr| |\}}}n| jjd ||d< ||d< |S )Nr$  rr   r   %::::%r   u   Ищем БП по коду "rA   rx   r   r   u   Ищем БП по имени "rQ   r   r  Tr!  rz   u-   Ищем статус в БП по коду "r   r%  u/   Ищем статус в БП по имени "ru   ut   Невозможно создать БП и статус, не указан логический тип задачи)ra   r   r   r+  ri   r_   r  rr   r  r-  r/  r5  r   )	r1   r1  workflow_schemeZworkflow_ext_idr$  r3  r2  Zfilter_r%  r"   r"   r#   _calc_workflow@  sZ    zCmfPluginCsv._calc_workflow)projectsc                 C   s  |  D ]}|d }|ds(d|d< |dsFtjjdd|d< n| |d|d< |dsrtjjd	d|d< |d
r| ||d
< | | jtj	|\}}|j
  |r| |d |}|r||_|  | |d | | |d | | |d | | j|j jj qd S )NdataZproject_typer   ru   project.agile:defaultr  r   r)  r&  r}   	workflowssprintsr   r  )r   ra   r   CmfLogicType_process_logic_typer0  _process_activityr  ri   r   r  r  _process_workflowsr)  r  _process_sprintsr  r  gantt_project_idsr  Zmain_gantt_projectloadrL   r9   )r1   r:  r   project_datar   r  r8  r"   r"   r#   _process_projects~  s,    




zCmfPluginCsv._process_projectsc                 C   sd   t jjdd}|D ]L}t jj|dd}||d< ||d< ||d< | | jt j|\}}|j  qd S )Nzlist.agile_sprint:defaultr  r   r   rV   r   ru   )	r   r?  ra   r   r  ri   r   r  r  )r1   r>  r   Zsprint_logic_typer   r   r   r  r"   r"   r#   rC    s    zCmfPluginCsv._process_sprintsc                 C   sH   d }|D ]:}||d< | dr.| |d|d< | dr| |}q|S )NrV   ru   r   rz   )ra   r@  r9  )r1   r=  r   r8  r$  r"   r"   r#   rB    s    

zCmfPluginCsv._process_workflowsc                 C   s  |  || jjd tj}d|kr&|d= |rz8ddddddddd	ddddddddd	dd
}dd	ddd	ddd	dd	}|drp|d}|d   }||}|dkr||d< n|dkrd|d< d |d< ||d< ||d< n|dkr|dkr||d< n d|d< d |d< ||d< ||d< nRd|d< dd tjjj	
 D }	| jjd| dd|	 ddd |  jd7  _|dr |d dkr |d   }
||
|d< |d dkr dd tjjj	
 D }	| jjd|
 dd|	 ddd |  jd7  _d D ]R}||r||d!r@||d d"  ||< t|| d# ||< qd$D ]t}||r\||  d%r||= q\d&}t||| tj}|r\|dd'd(}t|d) d# ||< q\|d*d |D  d+D ]}||ks|| sq|| }t|tjr qd,d-d.d/d0d1d2d3d4d5d6d7d8}| D ]2\}}|| krF| ||||<  qzqF|d9krd ||< qd:D ]:}||ks|| sq|| }tt|}|||< q|D ]}t|jj|||  q|d;sV|d<d=d>d?g |jjrV|jjrVtj j!|j" |jjj|jjj|jj#jd@}||j_$|jj%dAdB W nV t&k
r } z6t'  | jjdC| dD| dEdd |  jd7  _W 5 d }~X Y nX d S )FNrY   r   0-const1-early2-latter3-after4-before2-before1-after)   фиксированнаяu   как можно раньшеu   как можно позже   не раньше   не позжеu    начало не позднееu   начало не ранее&   окончание не позднее"   окончание не ранее'   фиксированное начало-   фиксированное окончание   фн   фоu   кмрu   кмпu   ннрu   ннп   онр   онп)	u   фиксированныйrP  rQ  rU  rS  rR  rW  rX  rY  r   r   )rI  rJ  rK  rL  )rN  rM  constrain_finish_typeconstrain_finish_date)rO  rT  rV  c                 S   s   g | ]}d | d qS r   r"   r:   tr"   r"   r#   r<     s     z/CmfPluginCsv._process_gantt.<locals>.<listcomp>uG   Не найден тип ограничения даты начала "u,   ". Укажите один из типов: r   zERR-0082r   r   rX   )rH  rN  rM  c                 S   s   g | ]}d | d qS r   r"   r\  r"   r"   r#   r<     s     uM   Не найден тип ограничения даты окончания "zERR-0083)r   Z
const_workr   r~   r      ч<   )r   Zactual_duration?u*   (\d+[\.,]?\d*)\s*(?:д|дней|день)?,r      c                 S   s   g | ]}d | qS )zop_gantt_task.r"   )r:   keyr"   r"   r#   r<   !  s     )r   r   r   r   r   r[  ZjanZfebZmarZaprZmayZjunZjulZaugsepoctZnovZdec)u   январьu   февральu   мартu   апрельu   майu   июньu   июльu   августu   сентябрьu   октябрьu   ноябрьu   декабрьu   НД)r   r   zop_gantt_task.sched_start_datezop_gantt_task.sched_finish_datezop_gantt_task.sched_durationzop_gantt_task.is_manual)ZcalendarZfrom_dtZto_dtZforce_include_endsTZfrom_importu:   Не удалось импортировать Гантт u    для задачи zERR-0072)(r   ri   rM   r   r   ra   r   r   r   r   r   r   r   _has_errorsrZ  r  floatresearch
IGNORECASEgroupreplaceload_fieldsrd   re   r   intsetattrop_gantt_taskr9   r   r   ZCmfCalendarZget_duration_minutesZ_get_calendarZ	is_manualr   check_gantt_projectr   commit_with_event)r1   rm   task_objganttZconstrain_start_type_mappingZconstrain_finish_type_mappingr   Zconstrain_start_type_rawr   typesZconstrain_finish_type_rawrd  patternmatchro   Z_vmappingZmonth_ruZmonth_enZcalendar_durationer"   r"   r#   _process_gantt  s*   









zCmfPluginCsv._process_ganttc                 C   s  dddddddddddddddddddd	dd
ddd
dddddddddddddddddddddddddddddd}|dkrdnd}| j jd||   || d|| d  }||}|rVtjjd!d"|d! gdgd#}|jr0||jkr>d$| |j |_nd$| d$|_|jrR|j	d%d& |S tjjdd'd(| d)gd*}|r||S | j jd+| d, tjjd!d"|gdgd#}|stjjd d-|gdgd#}|r|jr||jkrd$| |j |_nd$| d$|_|jr|j	d%d& |S | j jd. |d/kr:d}n|d0krJd}n|d1krXd}tjjd!d"|gd*}	t
d$| d$|||	d2}
| | j tj|
\}}t  |S )3N   Подзадачаztask.sub:defaultrQ   rx   Z	UserStoryztask.userstory:defaultz
Task Agiler'     Задачаr(  Bugztask.bug:defaultEpicztask.epic:defaultu&   Проект. Классическийzproject.base:defaultu   Проект. Agiler<  u   Проект. Service Deskr  Deviceasset.device:defaultSoftwarezasset.software:defaultVMzasset.vm:default)zSub-taskZSubtaskr}  ZStoryu   ИсторияZTaskr  r  u   Багu   Эпикr  u   КлассическийZAgilezService DeskZServiceDeskr  r  r  r   ru   default_logic_typeu   Логический тип rr   rQ   rx   r   r   r  Tr!  r   r6  r7  r   uF   Ищем логический тип по коду или имени ''r   uF   Не нашли, создаем новый логический типr   r   )r   r   )rr   rQ   r*  r  )ri   r_   r  ra   r   r   r?  rr   r,  r  r   r  rt  )r1   objrt   	name2codeZlogic_type_fieldrr   Zlogic_type_dictru   Ztemplate_coder  Zlogic_type_paramsr  r"   r"   r#   r@  e  s    



z CmfPluginCsv._process_logic_typec                 C   s  ddddddddddd	dd
ddddddddddddddd	}| j jd|d   |d d|d d}||}|rtjjdd|d gdgd}|jr||jkrd| |j |_nd| d|_|jr|jdd |S tjjddd | d!gd"}|r|S | j jd#| d$ tjjdd|	 gdgd}|sltjjdd%|	 gdgd}|r|jr||jkrd| |j |_nd| d|_|jr|jdd |S | j jd& t
d| d|	 d'}| | j tj|\}}t  |S )(u"    Виды деятельности   БизнесZbusinessr~     ПродажиZsales   МаркетингZ	marketing   ПроизводствоZ
production   ПоддержкаZhelpdesk   БухгалтерияZfinance!   ИТ инфраструктураZservicedesk%   Хозяйственная частьZ	household   Разработка ПОZsoftdev)	r  r  r  r  r  r  r  r  r  u    Вид деятельности r}   rr   rQ   rx   r   r   r  Tr!  r   r6  r7  r   uJ   Ищем вид деятельности по коду или имени 'r  r   uJ   Не нашли, создаем новый вид деятельности)rr   rQ   )ri   r_   r  ra   r   ZCmfActivityrr   r,  r  r   r   r  rt  )r1   r   r  rr   Zactivity_dictr}   Zactivity_paramsr  r"   r"   r#   rA    sZ    

zCmfPluginCsv._process_activityc                 C   s  | j jd t| j}d}t }| jD ]}| j  r@ d S | j j| d|  |d7 }ddd|gdd|gg}tj	j
|d}|s| j jd	| d
dd |  jd7  _q*| j| D ]}zddd|gdd|gg}tj	j
|dddgd}	||	_|	jjds|	jjdr|	j|	_|	jdd |	j|	j  |	jjdd |	jjjr`|	jjdd W q tk
r }
 z*| j jd| ddd |  jd7  _W 5 d }
~
X Y qX qq*t | }| j jd|dd d S )Nu5   Привяжем подзадачи к задачамrX       из r   rr   r   rx   r   uE   Не удалось найти родительскую задачу zERR-0073r   r   r|   r   ru   r   ztask.subproject	task.epicTr!  rg  u4   Не удалось привязать задачу zERR-0074u<   Обработка подзадач выполнена за .3f    сек.)ri   r_   r  r   subtaskstime	monotonic	is_cancelr   r   ra   r   rh  r|   ru   rx   r   r   r  rr  ro  Zsave_preload_fieldsrs  r9   r,  r   )r1   totalrl   t1parent_ext_idr   r|   Zchild_ext_idZ_filter_childr1  r{  t2r"   r"   r#   _process_subtasks  sT    

$zCmfPluginCsv._process_subtasksc           
   	   C   s"  | j jd t| j}d}t }| jD ]}z| j  rFW  d S | j j| d|  |d7 }tj	j
|d d}|stj	j
dd|d gd}|s| j jd	|d  d
ddd |  jd7  _W q*tjj
dd|d gd}|s| j jd|d  ddd |  jd7  _W q*tjj
dd|d gd}|s`| j jd|d  ddd |  jd7  _W q*tjj
|||d}|stj|||| j dd}d|kr|d |_d|kr|d |_|jdd W q*   | j jd| ddd |  jd7  _Y q*X q*t | }	| j jd|	d d! d S )"Nu&   Создадим связи задачrX   r  typer  rQ   r   r   u2   Не удалось найти тип связи "rA   zERR-0075CmfRelationTyper   rr   r   u=   Не удалось найти входящую задачу zERR-0076r   out_linku?   Не удалось найти исходящую задачу zERR-0077)relation_typer   r  T)r  r   r  ri   r   constrain_lagconstrain_lag_pctr!  u.   Не удалось создать связь zERR-0078r   u8   Обработка связей выполнена за r  r  )ri   r_   r  r   	relationsr  r  r  r   r  ra   r   rh  r   r   r  r  r  )
r1   r  rl   r  relation_datar  r   r  Zrelation_optionr  r"   r"   r#   _process_relations  s    





zCmfPluginCsv._process_relationsc                 C   s   |  || jjd tj}|r| jjd|  d|d< | j|d< d|d< |drttjjd	d
|d d gd|d< |drtj	j|d d d|d< tjf |}|j
r|jr|j
jtj|jjd |_|jdd d S )NrY   u   Грузим журнал closedrz   ri   Tr   
cmf_authorr  r   rr   r   rV   r"  )Zminutesr!  )r   ri   rM   r   r   r_   r  ra   r   r   Z
start_dateZ
time_spentr9   re   Z	timedeltaZend_dater  )r1   rm   Ztimetracker_historyhistoryr"   r"   r#   _process_timetrackera  s*    






z!CmfPluginCsv._process_timetracker
      )Z	max_triesZmax_timec                 C   s  | j jd }| ||tj}| j jjdrHtjj| j jjdd}n
| |}|r|r|dspt	d||d< |dr| 
|d|d< |d jd	rtjj|d
d|d< |dr| | |d
r|d
 |d< |dr|d
s|d= dD ]R}||}|r|dr6tjjdd|d gd}ntjjf |}|r|||< qdD ]0}||}|rVt| dkrVd||< qV| j d|  dd| j jgdddgdd|d gg}| j jjdd }	| j jjdd}
|
r(|dr(|d| j jjs(| j j d|d  |d< |drHd}	dd|d g}n.|drvd}	d dd|d gdd|d gg}|	st|d|dd! |dd! d"   }| jjj|d#d$}|" | j| j tj|||	d%\}}W 5 Q R X n| j| j tj|||	d%\}}|rtjd&| jj d'| jj  d(| j j d)d*|| j dd+}|j!dd, |j"#  | j d-| d.|d d/|d d0|d d1	 n8| j d2| d.|d d/|d d0|d d1	 | $|| | j jjd3r
tj%j| j jjd3d}n| &||}|r2|j'(  |j')| |j*rF|j!dd, |j+jj*r`|j+j!dd, |j"#  | ||tj}|r|d4r|d5r||d< | | j tj|\}}n&|r| j j,d6d7dd8 |  j-d97  _-| .| | j j"#  d S ):NrY   target_project_idrL   rQ   u:   Не указано наименование задачи!rV   ru   r   r  epicr   r   rz   r|   )r  r   rw   r  Zwaiting_forrr   r  r   r   )r   )r   Fu_   Пытаемся создать или обновить задачу по параметрам cmf_import.pluginr   r   Tmerge_identic_namesext_id_per_importr&   rx   r   r   .lockx   timeout
filter_objdont_updateuB   Задача импортирована из файла: <a href="" target="_blank"></a> ()   ry   Z	log_levelrV   ri   r   r!  u'   Создали новую задачу  ext_id= code= name='r  u   Нашли задачу Ztarget_list_idrv   ry   u   Невозможно импортировать задачу без проекта, создайте проект и укажите ID в файлеERR-0079r   rX   )/ri   rM   r   r   r   r9   ra   r   r   r   r@  rx   r   r   r9  r   rD   r   logpluginrL   hashlibsha256encode	hexdigestredis_dbredislockr  r   import_filerT   rQ   r  r  r  r|  r   r   ZlistsrE  rh   r,  rr  r   rh  r  )r1   rm   rY   r1  r   rd  ro   r  r   r  r  lock_keyr  ru  Ztask_is_newcommentr   Zcomment_objZcomment_is_newr"   r"   r#   _process_task{  s    








*(

"
..



zCmfPluginCsv._process_taskc                 C   s  | j jd }zR| ||tj}|s*W d S |ds<td| ||tj}|sZ|d}| |}| ||tj	}|s|d}| 
||}||d< |r|jn||d< |dr| |d|d< dd	i|d
< |dr| | |dr| ||d< | d|d|d< | d|d|d< | d|d|d< | d|d|d< | |d|d< | |d|d< |d}|r|d= | j d|  dd| j jgdddgdd|d gg}	| j jjdd }
|drd}
dd|d g}	nn|drd}
dd|d g}	nN|dr:d}
dd|d g}	n.|drhd}
ddd|d gdd|d gg}	|
s>tt|dt|dd t|dd t|d d t|d!d t|d"d t|dd t|dd d#   }| jjj|d$d%}|" | j| j tj||	|
d&\}}W 5 Q R X n| j| j tj||	|
d&\}}|r| j d'| d(|d d)|d d*|d d+	 n8| j d,| d(|d d)|d d*|d d+	 |j}| ||tj}|s|d-}| ||}|r |j !  |j "| | #|}|r@|j$!  ||_$|j%rT|j&dd. |j'(  W nJ tk
r } z*|  j)d/7  _)| j j*d0| d1dd2 W 5 d }~X Y nX | j j'(  d S )3NrY   rQ   u2   Не указано название актива.rV   r   ru   r   rr   zasset.system:defaultr$  rz   r}   Zownership_typeZdevice_typeZenabled_statusZoperational_statusr
  r  r  u[   Попытка создать или обновить актив по параметрам r  r   r   Tr  Frx   Zserial_numberZimeir   r   Zinv_noZphone_numberZmarkcoder  r  r  r  u#   Создан новый актив r  r  r  r  u   Найден актив asset_typesr!  rX   u*   Ошибка импорта актива. zERR-0084r   )+ri   rM   r   r   r   ra   r   r   r   r   r   rV   r@  r9  rA  r  r  r  r  r  r9   r  r  rD   r  r  r  r  r  r  r   r   r  rE  rh   r  r  r,  r  r  r  rh  r   )r1   rm   rY   Zassetr   r   r   r   Zsupport_group_tmpr   r  r  r  Z	asset_objZasset_is_newr   r   r  excr"   r"   r#   _process_asset  s
   










..



zCmfPluginCsv._process_assetc                 C   sx   d }|rt| drt|d  }|j dddd| dgdd|gdd|ggd	}|st| jjd
|j d| dd|jd |S )Nrr   r   r   r   rx   r   rQ   r   r   u   Не найден z "rA   r	  r   )ra   r   ri   r   r   )r1   r   Zobj_datar  rr   r"   r"   r#   _get_object  s"    	zCmfPluginCsv._get_objectc                 C   s   | j jd }|d }| j jjdr@tjj| j jjdd}n
| |}|sn| j jdddd |  jd	7  _| 	||tj
}|r||d
< | ||d	d  | d S )NrY   r   r  r  u   Невозможно импортировать тесткейс без проекта: создайте проект или укажите ID в файлеr  r   r   rX   rV   )ri   rM   r9   ra   r   r   r   r   rh  r   r   _process_testcase_rows)r1   r   rY   main_rowr   testcaser"   r"   r#   _process_testcase  s     
zCmfPluginCsv._process_testcasec                    s   fdd  ds td drtjj d dd}d d	 d
}|  tdt|d  d 	 
 }| jjj|dd}|  ||d< W 5 Q R X tjj ddd< tjj ddd<  drNdgdgdgd}d d	  }	d }
|D ]@}|	|| kr|}tjj ddd gdd|ggd}
 qFq|
d<  drdgdgd gd!gd"gd#}d  }d }|D ]}||| kr|} qq|d<  d$r| tjd$ d$d$< d%D ]} |}|r| d	r@|d	  }tjj d&d	d'd(| d(gd)d*|gd+d*|gdd*|ggd}ntjj f |}|r||< q| jd,  d-d| jjgd.dd/gddd gg} drddd g}n* d	rd&ddd	 gd	dd	 gg}| j| jtj|d0d1\}}|rtjd2| jj d3| jj d4| jj d5d6|| jd/d7}|jd/d8 |j   | jd9| d: d	 d; d d< d d=	 n8| jd>| d: d	 d; d d< d d=	 d?d@dAidBd?d@dCidBd?d@dDidBdEdFidEdGidEdHidI}|D ]}d|i}t!|dJ dK D ]f\}}|| r|dL |ks<q||dL  }|| ||dE < |dK " D ]}|dK | ||< qdq| #| q|j$r|jd/d8 |j   d S )MNc                    sZ   |  }tjjd | |d}|sHtjd | d|d}|  |   |rV ||S |S )NrV   )rV   r   rQ   abstractrV   r   r   rQ   )popr   CmfTestcaseFolderra   r  r   
subfoldersZfolder_namer   
get_folderr  r"   r#   r    s$    
z7CmfPluginCsv._process_testcase_rows.<locals>.get_folderrQ   9   Не указано название тест-кейса.r   rV   u   Тест-кейсыrV   rQ   rr   /r  r_  r  r  r  ztestcase.base:defaultr  ru   r$  rz   u%   Требуется доработкаu
   Готовu   Не готов)ZdraftZapprovedZfailr   rx   r   r   r   u   Самый высокийu   Высокийu   Среднийu   Низкийu   Самый низкий)   r  rX   r   r_  r  r  r   rw   r  r   r   r   r  r   r  ua   Попытка создать или обновить тесткейс по параметрам r  r   TFr  uD   Тесткейс импортирован из файла: <a href="r  r  r  r  r  r!  *   Создан новый тест-кейс r  r  r  r     Найден тест-кейс ry   Zstep_sectionZpre)rs   r   mainZpostrs   Zexpected_resultZ	test_datar  )u   Предусловияu   Шагиu   Постусловияu%   Ожидаемый результатu   Тестовые данныеu   Комментарииr   r   rZ   )%ra   r   r   CmfRegistryr   reverser  r  rD   r  r  r  r  r  r?  r+  r   r/  _get_field_choisesr   r   ri   r  r  r  r   r  rT   rQ   rx   r  r  r  r+   keys_process_stepr,  )r1   r  r   rY   registryr  r  r  Zstatusesr2  rz   Zvariantr%  ZsignificancesZsignificance_ext_idr   rd  ro   rr   r  r   r  r  r  Ztestcase_step_fieldsrm   testcase_steprl   r   r   Zother_fieldr"   r  r#   r    s    



 
	
"
..z#CmfPluginCsv._process_testcase_rowsc           	   	   C   sX  dD ]}| |}|s$|d  |}|r| drx|d  }tjj dddd| dgdd|gd	d|gd
d|ggd}ntjj f |}|r|||< qd }| drdd|d g}n(| drddd|d gdd|d gg}| j| jtj||dd\}}|r| jd| d| d d n | jd| d| d d |jdd |j	
  d S )N)r  r   rw   rV   rr   r   r   r   r  r   r  rQ   r   rx   r   Fr  u   Создан новый шаг r  r  u   Найден шаг Tr!  )ra   r   r   r   r  ri   ZCmfTestcaseStepr  r  r  r  )	r1   r  rd  ro   rr   r  r   r  r  r"   r"   r#   r    sL    

	



" zCmfPluginCsv._process_stepc              	   C   s  | j jd }|d }| j jjdr@tjj| j jjdd}n
| |}|sn| j jdddd |  jd	7  _| 	||tj
}|rtjj|d
d}tjj|dd}|s
td|j d   }| jjj|dd}	|	( tj||ddd}|  |  W 5 Q R X tjj||d}
|
sztd|j d   }| jjj|dd}	|	" tj||dd}
|
jdd W 5 Q R X | 	||tj}| tj||d< ||d< | |
||d	d   |jdd d S )NrY   r   r  r  u   Невозможно импортировать тест-кейс тест-плана без проекта: создайте проект или укажите ID в файлеr  r   r   rX   u   Тест-планыr  u0   Импортированный тест-планtestplanr  r  r  r  r  )rV   tree_parent_foldertestplan_root_folderu2   Импортированные тест-кейсыrV   r  rQ   Tr!  r  rV   )ri   rM   r9   ra   r   r   r   r   rh  r   r    r  r   r  r  rL   r  r  r  r  r  r  CmfTestplanTestcaseFolderr   r  _process_testplan_testcase_rows)r1   r   rY   r  r   testplan_testcaser  r  r  r  r  r  r"   r"   r#   _process_testplan_testcase  sl    
   z'CmfPluginCsv._process_testplan_testcasec                    sP   fdd  ds td drd d d}|  tdt|d	  d
   }| j	j
j|dd}|  ||d< W 5 Q R X dD ]}d  |}|r| dr|d  }	tjj dddd|	 dgdd|	gdd|	gdd|	ggd}
ntjj f |}
|
r|
|< q| jd  dd| jjgdddgddd gg} drpddd g}n* drdddd gddd gg}| j| jtj|dd\}}|r| jd| d d d  d d! d d"	 n8| jd#| d d d  d d! d d"	 |jrB|jdd$ |j  d S )%Nc                    sZ   |  }tjjd | |d}|sHtjd | d|d}|  |   |rV ||S |S )NrV   r  r  )rV   r  r   rQ   )r  r   r  ra   r  r  r  r  r"   r#   r    s$    
z@CmfPluginCsv._process_testplan_testcase_rows.<locals>.get_folderrQ   r  r   rr   r  r  r_  r  r  r  r  r  r   r   r   r  r   r  r   uv   Попытка создать или обновить тест-кейс тест-плана по параметрам r  r   r   Trx   Fr  r  r  r  r  r  r  r!  )ra   r   r   r  r  r  rD   r  r  r  r  r  r   r   r   ri   r  r  r  r    r,  r  r  r  )r1   r  r  r   r  r  r  rd  ro   rr   r  r   r  r  r"   r  r#   r    sx    

 	

..z,CmfPluginCsv._process_testplan_testcase_rowsc           
   	   C   s   |j |}|j}|s|S |j}dd | D }|  }||}|s||krdd | D }	td| d|j	 dd
|	 |p|p|S )	Nc                 S   s   i | ]\}}|  |qS r"   r   r   r"   r"   r#   r   z  s    z3CmfPluginCsv._get_field_choises.<locals>.<dictcomp>c                 S   s   g | ]}d | d qS r   r"   r   r"   r"   r#   r<     s     z3CmfPluginCsv._get_field_choises.<locals>.<listcomp>r   r   r   r   )r   ra   r   r   r   r   r   r   r   r   r   )
r1   r   rs   r9   r   r   r   r   r   r   r"   r"   r#   r  r  s     
zCmfPluginCsv._get_field_choisesc           	      C   s,  d}| j jjd}tdd tj| _| j  r6q| \}}|d kr\|	||f qzX| j j
d| d|  |dkr| | |dkr| | n| | | | W q( tk
r } z<| j j  |d	7 }| j jd
| d| d| ddd W 5 d }~X Y q(X q(W 5 Q R X |	| d S )Nr   r^   F)Zinit_views_and_dsu   Импорт строки r  r   r   rX   u<   Не удалось импортировать строку z: z. zERR-0041r   r   )ri   rM   r9   ra   r   ZAPPZREDIS_DBr  r  putr_   r  r  r  r  r  r   r  Zrollbackr   )	r1   	row_queuerow_queue_errors
total_rowserrorswhatZrow_numZrow_datar  r"   r"   r#   _process_row_worker  s6    


$z CmfPluginCsv._process_row_workerc              
   C   s  ddl m} d}t b t L tjj|dgd}|| _tj	j|ddddd	ggd
gdgd| _
tdd | | j
D }tjdd}t }	g }
t| jD ]N}tj| jd|d  ||	|dd}|
| |  | jjd|  q| jjd }| jjjd}g }d}t| | j
D ]\}}| j r@ q|jd rZ|dkrZq&||k rhq&||krx q|dkrd }|dkr| ||tj}n|dkr| ||tj}|r|r||d |f g }|| |}n
|| n||d |f q&|r6|dkr6||d |f g }|d |
D ]}|   qD|	! sn||	 7 }qTW 5 Q R X W 5 Q R X |S )Nr   r
   r   )rL   r   rR   rS   r>   r8   r=   rK   rT   rU   c                 S   s   g | ]}d qS rX   r"   r:   r5   r"   r"   r#   r<     s     z2CmfPluginCsv.process_rows_fork.<locals>.<listcomp>i  )maxsizez_process_row_worker rX   )r  r  r  )targetrQ   kwargsu.   Параллельный обработчик rY   r^   rW   r   r   r   r   )NN)"cmf.appr   r   Zdisable_aclZdisable_notifyr   r`   ra   ri   rb   r  r   r*   queueZQueuerangeZthreading_max_forks	threadingThreadr   rh   startr_   r  rM   r9   r+   r  r   r   r    r  r   empty)r1   Zcmf_import_idstart_index	end_indexr   r  ri   r  r  r  threadsrl   threadrY   r  r   Zi_headrm   r  r"   r"   r#   process_rows_fork  s~    	








$zCmfPluginCsv.process_rows_forkc                 C   s   dd l }|jdddd| jjj d| jj d| d| d		gd
d
tddtddd}| jd|j d| d|  | j  |S )Nr   z/usr/bin/python3z	manage.pyshellz%plugin = models.CmfPluginCsv.get(id="z'");retcode = plugin.process_rows_fork("z", r   z);Tz"/var/log/eva-import-subprocess.logza+z&/var/log/eva-import-subprocess.err.log)Z	close_fdsZstart_new_sessionstdoutstderru,   Запустили подпроцесс PID u)    для обработки строк с u    по )	
subprocessPopenri   r  rL   rG   r  pidZ
log_detail)r1   r  r  r  procr"   r"   r#   _execute_rows  s      & 
zCmfPluginCsv._execute_rowsc                 C   s
  | j jjd}|dkrd}n| j}tdd | | jD }|| }|| }| j j	d t
 }g }t|D ]H}|| }	|	| }
|d |k r|
d8 }
n|
|7 }
| |	|
}|| qp|D ]"}|  |jr|  j|j7  _qt
 | }| j j	d|dd	 d S )
Nr^   r  rX   c                 S   s   g | ]}d qS r  r"   r  r"   r"   r#   r<   	  s     z.CmfPluginCsv._process_rows.<locals>.<listcomp>u5   Запуск обработки строк файлаuA   Обработка строк файла выполнена за r  r  )ri   rM   r9   ra   max_processesr   r*   r  r_   r  r  r  r	  r  rh   Zcommunicate
returncoderh  )r1   r  r  r  Z
chunk_sizeZ	remainderr  Z	processesrl   r  r  r  r  r"   r"   r#   _process_rows	  s0    
zCmfPluginCsv._process_rowsc                 C   s  |  D ]\}}i }|| d }|r|||d < | jjd|  tj| jdd}|  D ]\}	}
t||	|
 q^|  tjj	t
|jddgd}|r|n|}|jr|jr||_|jdd |j  | jjd	|j  |	d
r| |d
 ||p| qd S )Nr  u"   Обработка локации T)ri   r   r   rV   rP   r!  u   Создана локация children)r   r   ri   r_   r  r   r   rq  Z
_calc_namera   rD   rQ   r,  r   rV   r  r  r  _process_locations)r1   	locationsZparent_location_dataZparent_location_objrQ   r;  Zcurrent_locationr
  Znew_locationrs   r9   Zexisting_locationr"   r"   r#   r  8	  s4    


zCmfPluginCsv._process_locationsc                 C   sL   t j|dd}|D ]4}||d< |td< | | jt j|\}}|j  qd S )Nr  rV   r   rV   r   )r   r   asset_cat_datar  ri   r   r  r  )r1   asset_type_catsr   Zasset_types_folderr   r   r5   r"   r"   r#   _process_asset_type_catsY	  s    z%CmfPluginCsv._process_asset_type_catsc                 C   sJ   |D ]@}||d< |  |d ||d< | | jtj|\}}|j  qd S )NrV   r   )r   r  ri   r   r   r  r  )r1   r  r   r   r   r5   r"   r"   r#   _process_asset_typese	  s    z!CmfPluginCsv._process_asset_typesc           
      C   s   t jj|dd}| D ]}|d }||d< ||d< |drP| |d|d< nt jjdd	|d< | | jt j|\}}|j	
  |r|d
 D ] }| ||}	|	r|j|	 q|jdd qd S )NZassetsr!  r;  rV   r   r  r   r  r  r#  Tr!  )r   r   ra   r   r@  r?  r  ri   r   r  r  r   Zasset_types_catrh   r  )
r1   
asset_catsr   Zassets_folderr   r"  r   r5   r   r   r"   r"   r#   _process_asset_catsp	  s(    

z CmfPluginCsv._process_asset_catsc                 C   s   |  D ]}|d }|ds&td|ds<|d |d< dd|d g}| j| jtj||d\}}|j  |r| 	|d | | 
|d | | |d	 | qd S )
Nr;  r   uI   У схемы не указан префикс кодов активов.rr   r   )r  r#  r  r&  )r   ra   r   r  ri   r   r   r  r  r$  r%  r'  )r1   asset_schemesr   asset_scheme_datar   r   r5   r"   r"   r#   _process_asset_schemes	  s$    



z#CmfPluginCsv._process_asset_schemesc                 C   s  | d}| d}| d}| d}| d}| d}| d}| d}	| j|d|i d	}
|
d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|	rd|	d|d
 |	< d S )Ncountryareacitystreethouse_numberZfloorZflatZroom)r  rQ   r  r  )r  rQ   )ra   r   r  )r1   location_dataZcountry_nameZ	area_nameZ	city_nameZstreet_namer/  Zfloor_numberZflat_numberZroom_numberr+  r,  r-  r.  r"   r"   r#   _prepare_location_data	  sz    







							z#CmfPluginCsv._prepare_location_datac                 C   sz  | j jd }| ||tj}|rvdddg}|D ].}||d}|r0| j|i }||d<  q`q0|dg }| ||tj}	|	r|	|kr|	|	 ||d< |dg }
| ||tj
}|r|	|d	< ||
kr|
	| |
|d< |d
i }| ||tj}|rndddg}|D ]2}||d}|r||i }||d<  q@q|dg }|	rf|	|krf|	|	 ||d< ||d
< d S )NrY   rr   r   rx   r   r;  r#  r  r   r&  rQ   )ri   rM   r   r   r   ra   r(  r  r   rh   r   r   )r1   rm   rY   r)  r   r   r   r   r#  Zasset_type_cat_datar  Zasset_type_datar&  r"  r   r"   r"   r#   _prepare_asset_data	  sJ    





z CmfPluginCsv._prepare_asset_datac           $      C   s  | j jd }| j jjdd}t| | jD ]d\}}| j  rH q| j jd r^|dkr^q.| ||t	j
}| ||t	j}| ||t	j}|r.dddg}|D ].}	||	d	}
|
r| j|
i }||d
<  qq|dg }| ||t	j}|r||kr|| ||d< |dg }| ||t	j}|r
|d}|rx|rx|| j jjsx| j j d|d  }||d< |s|d}|dr|d |d< |d}|r0|ds0|d= |d}|s|d }| j|g }|r|| n,|  jd7  _| j jd|d  dddd || j|< | ||t	j}|r|rd}|drh|d d }|dr<|d d }|dD ]}|||d}|}d|ksd|krd}d|krd}td|\}}|drt|d d }|| d! d" |d#< n|d$r6t|d d }|| d! |d#< nR|d%r`t|d d }|| |d#< n(|d&rt|d d }|| |d'< |d(r|d d) }d|d*< |d+r|d d) }|d,r|d d) }d|d*< |d-r|d d) }||d.< |r | j j d|d.  |d.< || jkr| j| q|d.r|d. d }|dD ]J}|||d}|r| j j d|d.  |d.< || jkr^| j| q^n,|  jd7  _| j jd|d  d/d0dd |d1|d2|d3d4}||kr
|| ||d< | || j jd t	j}|r|d5r|d5 }|d5= |dstd6|}d7|}d7|d d } |d| j|< | | jkr| j|  }|| jkrg | j|< | j| |d |d8g }!|r||!kr|!| |!|d8< |d9g }"|r$||"kr$|"| |"|d9< n<|rL|| j krL| j | |rj|| j!krj| j!| | ||t	j"}#|#r| #|# | $| q.d S ):u   
        Из строк файла собирает данные проектов, спринтов, БП, компаний и пользователей для последующего импорта
        rY   r  FrW   r   rr   rx   rQ   r   r;  r>  r=  r&   r  r|   rX   u   Строка u   : Невозможно создать связь с Epic или родительской задачей. Укажите код или ИД задачи в файлеzERR-0080r   r   zsystem.finish:startr  r   r@   )r  r   r  r   r   r_  z[+-]u   дNr`  rc  r  r^  u   мr   r  u   ОНr  u   ООu   НОu   ННr  uy   : Невозможно создать связи задач. Укажите код или ИД задачи в файлеzERR-0081r$  rz   ru   )r$  rz   ru   r   z[,./+-]r   r   r  )%ri   rM   r9   ra   r+   r*   r  r  r   r   r   r   r   r:  r  r   rh   r   r   rL   r  rh  r   r   r   rj  r  rp  r  r   r   subtasks_outliner   r  r   r1  r2  )$r1   rY   r  rl   rm   Zcompany_dataZperson_datarF  r   r   r   r   Zproject_sprintsZsprint_dataZproject_workflowsr1  Ztask_ext_idr|   r  r  r  r  Zrelated_tasksZrelated_taskZrelationZ	task_linkZminusZlagr$  rv  r   Zoutline_listZparent_outlineZproject_companiesZproject_personsr0  r"   r"   r#   _prepare_import_data 
  s.   

















z!CmfPluginCsv._prepare_import_datac                 C   s  || _ | j  | _g | _g | _i | _i | _i | _i | _g | _	t
 | _i | _i | _tjj|dddddggdgdgd| _|   | | j | | j | | j | | j | | j t  |   |   |   | jD ]}ttjj|gd	 q| j jj d
dr~| j! D ]h\}}|s&q| j j"#dt$| d|  |rdttj%j&|t'|gd	 nttj%j(t'|gd	 q| j)r| j *d| j)  | j) S )NrR   rS   r>   r8   r=   rK   rT   rU   )argsZsend_invitesTu,   Отправляем приглашения u    пользователям: u#   Ошибок обнаружено: )+ri   Zget_max_processesr  r   r  r:  r  r  r4  r  r  rD  r   r(  r   rb   ra   r  r5  r  r  rG  r  r*  Z
cmf_commitr  r  r  Zschedule_deferred_jobr   Z_outline_force_recalcrM   r9   r   r_   r  r   r   Zregister_sdesk_clientr   Zregister_personsrh  r  )r1   ri   Zgantt_project_idr   r  r"   r"   r#   process_import
  s^    	


zCmfPluginCsv.process_import)N)N)NNr   )I__name__
__module____qualname__r   ZloggingZgetLoggerClass__annotations__rh  staticmethodr$   boolr7   r   r   r*   rq   r   rD   rc   rg   r   r   r   r   r   r   r   r   r   r   r  r  r  r  r  r  r5  r9  rG  rC  rB  r|  r@  rA  r  r  r  backoffZon_exceptionZexpor   r  r  r  r  r  r  r  r  r  r   r  r  r  r  r$  r%  r'  r*  r1  r2  r5  r7  r"   r"   r"   r#   r      s   

"Hz%*!%b>
 6I8/L
  7 ..9c
$P&!O0 ?r   )rF   Zmathcopyr   re   r  pathlibr   typingr   r   r>  Zmultiprocessingr
  r  Zpsutilr  rE   rC   rj  r   ZdateutilZdateutil.parserr   Zcmf.includeZmodules.settings.fieldsr	   r  r   r   r"   r"   r"   r#   <module>   s,   