文件归档功能

article/2025/9/16 17:16:34

在帮助大家运维EDI平台的这几年中,常常有些客户反馈为什么之前发送的数据页面上都没有了呢?我想查询下之前的数据是否有成功发送给我们的客户应该怎么确认呢?业务数据量太大,文件占用磁盘空间太多,我如何快速地确认一些不需要的数据来清理释放磁盘空间呢?

回答上述问题,就需要给大家好好解释下知行之桥对文件存储的一个常常被大家忽略但是又非常重要的功能:文件归档。本文将介绍什么是文件归档功能以及如何使用它。

在了解知行之桥的文件归档功能前,首先您需要了解知行之桥对数据的处理逻辑,知行之桥将处理的所有数据以文件的形式存储在部署知行之桥应用程序的服务器上,这些数据通过工作流中的功能端口进行转换。知行之桥每个端口对数据的处理通过以下几个文件夹进行存储:
Send文件夹:存储该端口待发送的文件
Sent文件夹:存储该端口已成功处理的文件
Receive文件夹:存储该端口成功接收的文件
Logs文件夹:存储文件处理日志
Archive文件夹:存储归档的文件

同时,每个端口可以在高级设置页面设置是否对消息副本和Sent文件夹下的文件进行保留,如下图是AS2端口的设置页面:
在这里插入图片描述
了解这些信息后,针对开头的几个问题,也就没有那么难懂了。

知行之桥每个端口处理数据时,都会将处理记录存入自带的Derby数据库,同时会显示在UI上,通过Web页面访问便可以查看数据的处理过程,但是当数据量达到一定程度后,比如百万条、千万条甚至更多时,通过Web页面登录知行之桥,UI页面显示加载时间过长,导致访问缓慢或者失败。同时,当数据量很大时,也会占用服务器更多的磁盘空间,当磁盘空间不足时,会导致知行之桥运行异常,从而影响业务数据的传输。

针对上述情况,知行之桥提供了文件归档功能,通过在个人设置→高级设置→清理选项中设置:
在这里插入图片描述
类型:勾选“归档日志”,启动归档功能。默认是归档日志。
周期(天):归档周期,即每次归档指定天数前的数据。默认是30天。
已发送文件:设置是否对每个端口下Sent文件夹下的文件进行归档。默认是不勾选的。
归档文件夹:自定义归档文件存储在服务器上的目录。默认将文件归档在每个端口下的Archive文件夹中。
注意:修改默认的配置后,点击“立即执行”按钮即生效。

那么归档文件是按照怎么样的逻辑存储的,如果在这里查看数据呢?

知行之桥在每天的凌晨00:00对文件执行归档操作的。
如果未设置归档文件夹,默认将文件归档在每个端口下的Archive文件夹中;如果设置了归档文件夹,将在设置的目录下按照“端口名称/Archive”自动创建归档文件夹。
Archive文件夹下将按照“执行日期/Logs/Sent/MessageID/文件”、“执行日期/Logs/Receive/MessageID/文件”归档每个端口的日志文件,如果勾选了“包含Sent文件夹的文件”,则还将自动创建“执行日期/Sent/文件”文件夹归档。

如下图使用的X12端口下的Archive文件夹对该端口的处理成功文件进行的归档:
端口名称:X12
归档设置:勾选“已发送文件”、归档文件夹设置为:E:\C-ArcESBCN\ArcESB(7867)\BackUp
在这里插入图片描述
我们可以根据每个文件唯一的MessageID查看文件夹,每个文件夹下有对应的log文件和原始文件(一般是.eml形式存在,文件头部会带有一些Header信息,比如MessageID、文件名等)

最后,如何更好的使用归档功能呢?

实际使用知行之桥的归档功能,可以根据服务器磁盘大小、数据量合理设置归档周期,一般建议设置为180天(半年)。同时建议设置归档文件夹,这样在发生服务器磁盘空间不足,需要清理数据时,可以优先清理归档数据或者将其备份到其他服务器上,设置了归档文件夹将方便快捷的进行这些操作。


http://chatgpt.dhexx.cn/article/JaTL7nay.shtml

相关文章

如何创建归档?

首先这里我们先了解两个概念归档和压缩,归档就相当于将文件批量打包在一块,便于之后工作查找文件的位置,但是总体文件的大小是不变的,例如我们将10个不通路径下且每个大小都是10M的文件打包在一块,那么归档后的大小就是…

大数据归档-冷热数据分离

1. 什么是TokuDB? TokuDB 是一个支持事务的“新”引擎,有着出色的数据压缩功能,由美国 TokuTek 公司(现在已经被 Percona 公司收购)研发。拥有出色的数据压缩功能,如果您的数据写多读少,而且数…

数据归档,存储的完美储备军

数据爆炸性增长的同时,存储成为了大家首要担心的问题 大家都希望自家数据保存20年、50年后仍完好无损 但是,N年后的数据量已达到一个无法预测的峰值 如此大量的数据在保存时极可能存在丢失、损坏等问题 这时需要提前对数据进行“备份”、“归档” 备份是…

oracle数据库归档模式修改ARCHIVELOG

oracle数据库归档模式修改ARCHIVELOG 一、查看当前数据库的归档模式 第一步:查看oracle数据库的归档模式 命令如下:(该命令登录sys用户可查) select log_mode from v d a t a b a s e ; 如 果 值 为 N O A R C H I V E L O G &am…

数据归档神器-pt-archiver

前言介绍 pt-archiver是用来归档表的工具,可以做到低影响、高性能的归档工具,从表中删除旧数据,而不会对 OLTP 查询产生太大影响。可以将数据插入到另一个表中,该表不需要在同一台服务器上。可以将其写入适合 LOAD DATA INFILE 的…

从MYSQL 数据库归档 到 归档设计

到数据归档,很多人的第一个概念就是,不就是无用的数据,换个地方放吗,直接拷贝,删除不就得了,有那么麻烦。 我见到过的,听到过的数据库归档的方法有以下几种 1 数据通过人工的手段来进行清理&am…

数据存储领域的“归档Archive”

档案圈的朋友想必对档案领域的“归档”一词已经耳熟能详,按照DA/T 58-2014《电子档案管理基本术语》中的定义,归档(Archiving)是指“按照国家规定将具有保存价值的电子文件及其元数据的保管权交给档案部门的过程”。 今天我们要聊…

那些年跟领导聊过的数据归档【DB篇】:从梳理到落地-DB单表千万级归档详细流程讲解

文章目录 知人论世执笔蓝图V1 - 浅尝辄止V2 - 初窥门镜V3 - 木已成舟 躬行方案安内攘外 卓有成效沉淀之石道阻且长 知人论世 无论何种需求的出现都是因为某种迫切解决的问题契机,它是业务发展中定数也是劫数,近期DBA反馈磁盘存储空间超过80%不足以支撑未…

进来偷学一招,数据归档二三事儿

Hello,大家好,我是楼下小黑哥~ 随着业务的快速增长,业务体量变得越来越大,这个过程我们会碰到各种问题,倒逼着我们进行技术升级。 那今天我们来聊下,这个过程将会碰到关于数据的问题。 数据增长带来的烦…

MySQL 归档数据的方法你知道了吗

归档,在 MySQL 中,是一个相对高频的操作。 它通常涉及以下两个动作: 迁移。将数据从业务实例迁移到归档实例。删除。从业务实例中删除已迁移的数据。 在处理类似需求时,都是开发童鞋提单给 DBA,由 DBA 来处理。 于…

7.数据归档(Archiver)

1.归档的基本概念 归档: 是指将数据写入文件存储到程序的沙盒中,当再次重新打开程序时,可以还原这些数据. 称它为数据序列化, 数据持久化. 临时数据: 存储在内存中的数据, 程序关闭, 内存释放,数据丢失数据持久性的方式 1) NSKeyedArchiver—-对象归档 2) NSUserDefaults 3)…

如何用matlab求出矩阵简化阶梯形顺带算出主元所在的列

matlab用rref函数 函数格式 [R,j]rref(A) A是矩阵 R是简化后的阶梯形 j是主元例子:求矩阵A的简化阶梯形与主元所在的列 >> A [1 1 -2 1 4; 2 4 -6 4 8; 2 -3 1 -1 2; 3 6 -9 7 9]; >> [R,j]rref(A)R 1 0 -1 0 40 1 -1 0 …

(线性代数笔记)2.阶梯型矩阵

1.阶梯形矩阵的定义 矩阵的主元 2.任意矩阵经过有限次初等行变换化为阶梯形 这里C是由B通过初等行变化得到的,C也是A的阶梯形 3.矩阵的秩 例题(矩阵通过初等行变换转化为阶梯形)

行阶梯型矩阵,行最简形矩阵,标准形矩阵

行阶梯形矩阵: 行最简形矩阵: 标准形矩阵:

MATLAB--矩阵操作(1.4)

矩阵的逆 >> A*inv(A) ans 1.0000 0 -0.0000 -0.0000 1.0000 -0.0000 -0.0000 0 1.0000 >> norm((ans-eye(3))) ans 1.8620e-15 一个矩阵中行(列)的最大线性无关组的行(列)向量的个…

python 矩阵化为最简阶梯型

from sympy import Matrix import numpy as np原数据是矩阵matrix A_matrix np.array([[1, 0, 0, 0, 1, 0], [1, 0, 0, 0, 0, 1], [0, 1, 0, 1, 0, 0],[0, 1, 0, 0, 0, 1], [0, 0, 1, 1, 0, 0], [0,0,1,0,1,0],[1,1,1,-1,-1,-1]])#系数矩阵,类型matrix# 阶梯行 A…

Python3 矩阵求最简行阶梯矩阵

由于在Python numpy库中没有直接对Matrix求RREF的方法,度娘了好久发现在另一个科学计算包sympy中可以利用A.rref()的方法对Matrix直接求RREF,但是有另一个问题,大家一般常用的是numpy,而sympy和numpy使用的是不同的数据类型&#…

用c语言将一般矩阵化为简化阶梯型

(完整的程序附在文末) 1、问题描述: 用C/C设计一个算法,把矩阵M化为行最简形梯形矩阵A。矩阵A应该满足以下几个条件: 1)若有零行,则零行应在最下方; 2)非零首元(即非零行的第一个不为零的元素&a…

矩阵的行简化阶梯型和标准型

矩阵的行简化阶梯型是一种很有用的与原矩阵等价的矩阵,包括有相同的秩,相同的零空间,以及可以用来求解线性方程组 1 阶梯型矩阵和行简化阶梯型矩阵 下面以上节的方程组开始做初等变换: 由方程组得到增广矩阵 : B 下边对B进行初等变换: B…

阶梯形矩阵(Echelon Matrix)

初等矩阵 定义:与单位矩阵只有微小差别的矩阵。具体来说,就是一个单位矩阵经过一次初等行变换或一次初等列变换后得到的矩阵。 初等变换有下面三种形式: 1,两行(列)互换 2,把某行(…