U
qc_r @ s d dl Z d dlmZmZ d dlmZ d dlmZmZ d dlmZ d dl Z d dl
m Z d dl m
Z
mZ d dlZd dlmZ d dlZd dlZd d lmZ d d
lT d d lmZ d d lmZ d d
lmZ G dd dej Z dS ) N)copydeepcopy)Decimal)datetimetimezone)Logger)Path)DictIterator)cached_property)
commit_all_ds)*)fields
cmf_import)
log_configc s e Zd Zejjd ZdZeedddZ dd Z
e ddd Z fd
d Z
d d
Zdd Zdd Zed1ddZedd Zeejdd Zd2e ddd Zd d Zedd d Zd!d" Zd#d$ Z d%d& Z eejddd'd(Z d)d* Z fd+d,Z fd-d.Z!d/d0 Z" Z#S )3 CmfImport)CSV_SETTING_NAMEcsv_import_settings_fieldsloggerZCSV)returnc C s t j| dddS )uE Журнал логирования процесса импорта i@KL )Z backupCountZmaxBytes)r Z
get_logger
get_files_dirself r ./common/models/cmf_import.pyr s zCmfImport.loggerc O s8 | tj }tjtj | s4| j d |S )uK
Возвращает путь текущему файлу
init)
r r LOG_NAMEospathexistsconfig
UPLOAD_DIRr info)r argskwargs file_pathr r r get_log_filename s zCmfImport.get_log_filenamec O sx | tj }tjtj | s4| j d g }t
tj| D ]&}| tjrL| | | qL|S )u
Список файлов после logrotate, чтобы можно было загрузить историю
r )
r r r r r r! r" r# r r$ listdir
startswithappend)r r% r& r' res file_namer r r get_log_filenames( s zCmfImport.get_log_filenamesc s$ | j s| jjdd| _ t d S )NZOPEN status_type)statusworkflowget_default_statussuper _calc_statusr __class__r r r5 5 s zCmfImport._calc_statusc C s | j d rd S | jr(| j | j d< d S | jdkr6d S | j d dtj tjjd | j d dtj tj jd | j d dtj
tj
jd | j d dtj tj jd | j d dtj tj jd | j d d tj
tj
jd d S )
NZ
models_fieldsexcelu Поля контактов)Zcaptionr iconu Поля задачu Поля заметокu Поля проектовu" Поля списков задачu Поля групп)
json_settingspluginZcalc_models_settingstyper+ models CmfPersonZimport_shop_fieldsr9 CmfTaskZ
CmfComment
CmfProjectCmfListZCmfPersonGroupr r r r _calc_models_settings: s>
z CmfImport._calc_models_settingsc K sH | ddddg | jd r d S | jj| d| jd< | j| _| d S Nr: attachmentsr< r; import_settingsr ) load_fieldsr: r; calc_import_settingssaver r& r r r rG U s
z CmfImport.calc_import_settingsc K sH | ddddg | jd r d S | jj| d| jd< | j| _| d S rC )rF r: r; tmplt_import_settingsrH rI r r r rJ _ s
z CmfImport.tmplt_import_settings c C s4 d| d d} td| d| t| d S )Nu1 Ошибка при импорте данных. .ue . Проверьте загружаемый файл и повторите попытку снова.zCmfImportError: : )striploggingerrorZ cmf_alert)msger r r
_log_errorg s zCmfImport._log_errorc C s: | dg | jd D ] }|d | jkr|d S qg S )Nr: rE namer )rF r: r )r settingsr r r r m s
z$CmfImport.csv_import_settings_fieldsc
O s( dt jd< t t tjj| dddgd}|j d |j
j dd d
|_ |
t | }|r|j d |j
j d d
|_ |
n0|j jd kr|j d |j
j dd|_ |
|jjd jtjd}W 5 Q R X W 5 Q R X tjj|tjjj|j dt t j dd| ddd dS )uJ
Запускаем в фоне импорт данных
1importr2 r1 progressidr u% ***Запускаем импорт***Z IN_PROGRESSimport-started)r0 status_codeu2 ***Импорт успешно завершен***ZCLOSEDr/ u7 ***Импорт завершен с ошибками*** import-errorr\ r z/files/u+ Импорт данных завершен z%d.%m.%Y %H:%Mz
, Журнал логированияT)objZ person_idrT rQ Zis_notify_current_personN)!r environcmfutil disable_acldisable_notifyr= r getr r$ r2 r3 r1 rH commit_with_eventprocess_importr0 ZhandlersZ baseFilenamereplacer" r# Z CmfNotifyZ place_notifygZcurrent_personrZ valuerT r nowr utc)Z import_id_args_kwargsr_ r, Zlog_pathr r r startu s0
,zCmfImport.startN)rowc C s4 d}|dkr|j }|sg }i }t| jD ]Z\}}|d r(|| r(|d d dd |jkr^q(|d d |kr(|| ||d d < q(|s|S || d} tt| d }
|D ]} |j| } t | tj
st | tj r,d}
| D ]8}|jd
d d || gd d || ggd
gd}
|
r qq|
r,t
| | |
qt | tjr\}}-||}.|.rH|-D ] }/|/j"# |.|/_"|/ qdqH| D ]N\}}0||}.|.r|0D ].}1||1}/|/r|/j"# |.|/_"|/ qqW n~ t$k
r` }2 z^t%|2 d9| d:|2 d;t&'|2j(d< }3| j)*|3 |3| _+| j,j-d=d>| _.| W Y dS d?}2~2X Y nX d7S )@u
Запуск импорта из CSV
:return: Истина в случае успешного импорта
r )CmfPluginImportMixinrE Fr rK rp rq rL rs parent_taskZ child_tasks executors logic_prefixr@ priorityr1 r0 z
project.agilert r? Z
cmf_authorZ cmf_ownerz project.basez
task.base%basert )Z cmf_modelprefixZactivityztask.agile:softdev%Zsoftdevr2 projectparentZANDZ parent_idrv rA rT ry tasksZtree_parent_idZSprints)rw u
ДоскаZkanban)rT r tree_parentZ list_type)r r
obj_fields
filter_obj)leftrightZEpics=z task.epicztask.epic:default)r r rT Z
logic_typeT)Z only_datau
Строка rM r r r] r^ N)/Z%common.models.cmf_plugin_import_mixinr rD r: Z _get_filerz r r{ rd lenZget_logic_prefixZ get_priorityZget_status_type
setdefaultZprocess_any_table_fieldsr= r@ r> CmfWorkflowZ
calc_workflowZ CmfActivityrZ r? r r+ rH rt ri Z CmfFolderrA r ZCmfListCmfTaskitemsZ CmfLogicTyper loadr r r r r r r r r2 r3 r1 )4r r Z
number_rowZall_parent_taskZall_child_tasksZall_epic_tasksZ all_tasksZ
cash_boardZ cash_projectZcash_workflow_taskZ file_readro executorr Zparent_task_codeZchild_tasks_codeidxr Z
model_nameZ_rowZ fields_namers ri Zproject_fieldsr r ry Z executor_objZ task_fieldsZ value_statusr2 Z filter_taskZtask_objZtmp_parent_tasksZtmp_child_tasksZ epic_nameZepic_keyZtmp_dataZ tmp_tasksZlist_objZ
parent_folderr r dataZepic_objr r Zsub_taskZ
tasks_codeZ
sub_task_coder r r r r r sL
" z CmfImport._process_import_excelc C s> | |tj}|r|sdS d}| jD ] }|d r$|d d dkr$|}q$|dg tjj|jt|d |j jdgd}|stj|t|d |j | d }|
|j j d
d t
|jjD ]*}|jj| jkrq| |jj| q| j |tjtjjd d
|jgdd
|jggd}|ddg ||_||_|jr:|
|S )u;
Импорт товара в сделку
Nrp rq zCmfProduct.pricescurrencyfile_valprice)
product_idr Z currency_idr )productr r r T)forceZdeal_idrv r )r r r Z sales_order)r r= Z
CmfProductr rF ZCmfPricerd rZ r r rH Zpricesr r Z
deal_itemsri r deleteremoveZ CmfDealItemsrr dealr
is_changed)r ro r r Z
price_settingrU r itemr r r _process_product s@
zCmfImport._process_productc C s |s|r|j sd S d }| jD ] }|d r |d d dkr |}q |sFd S g }tjj|d d}|sxtj|d d}| |dd|jg |r|dd|jg n|dd|j jg | |tj |}|
d d
g |j s|r||_ n|j |_ |j s||_ |j r
| |S ) Nrp rq zCmfDeal.pipeliner )rT Z pipeline_idrv Z
company_idcompanypipeline)
r r r= Z CmfPipelinerd rH r+ rZ r ZCmfDealrF r r ) r ro Zcontactr Zpipeline_settingrU r r r r r r
_process_deal s8
zCmfImport._process_dealc C s< t jj| jdgd}|jjdkr8d|_|jr4| dS dS )Nr1 rY )import-cancelingimport-canceledr] import-stoppingr TF)r= r rd rZ r1 rt r rH )r r_ r r r is_cancel s zCmfImport.is_cancelc O s0 t t tjj|d ddgd}|jjdkr|jjdkrf|jj dd|_|
t t d D ]t}t
d
tjj|jddgd}|jjd kr q|d krnd
|_|jj dd|_|
W 5 Q R W 5 Q R dS qnn |jj d d|_|
t zzd}|jd |j t|j}|rd| }|jD ]N}| j|7 _|
t|tjrnqB|jd| | t qB|jj dd|_|jd W nX tk
r } z8|j d| t| t ||_|jj dd|_W 5 d}~X Y nX W 5 |
X W 5 Q R X W 5 Q R X dS )u/
Отменяем импорт
rZ r1 r2 rY )r[ r r[ r r^ < r r ; u5 Не удалось остановить импортr] Nu# ***** Отменяем импортd u Удаляем r u, Успешно отменили импортu Ошибка удаления ) ra rb rc r= r rd r1 rt r2 r3 rH re rangeZgeventsleeprZ r r r$ Zimport_objectsr r rX
isinstancer> r r r r r} )r% r& r_ r ro totalsteprR r r r cancel sV
&zCmfImport.cancelc O s | ddddg | jj| dS )uk
Предварительный просмотр получившихся объектов
r: rD r< r; r )rF r; preview)r r% r& r r r r @ s zCmfImport.previewc s t dddddg S )Nr: rD r< r1 r; )r4 save_preload_fieldsr r6 r r r G s z CmfImport.save_preload_fieldsc s | t jf |S )N)rB r4 rH rI r6 r r rH J s zCmfImport.savec C s@ | j r
d S | jr,| jjdkr,tjjdd| _ tjjdd| _ d S )NZ
CmfPluginJirazimport.system.jira:defaultr zimport.system:default)r2 r; r| r= r rd r r r r _calc_workflowN s
zCmfImport._calc_workflow)rK )NN)$__name__
__module__ __qualname__r r Z ui_meta_skipr r r r r( listr. r5 rB rG rJ staticmethodrS r Z
celery_appZtaskrn r rf boolr r r r r r r rH r
__classcell__r r r6 r r s>
N B!# 5 r ) Zcsvr r Zdecimalr r r rO r r pathlibr typingr r
r r ZxlrdZopenpyxlZcmf.data_providers.baser Z cmf.includeZcmfr Z
common.fieldsr Zcmf.modules.logsr r r r r r s"