个人技术研究与数据工具空间

zy数据中台ai

专注于结构化表格整理、时间序列指标核对、异常值检测与个人 AI 辅助脚本工具的整理与分享。记录日常数据处理流程中的算法实践与工程笔记。

核心整理方向

数据清洗

多源表格标准化与字段对齐

针对异构 CSV / Excel 表格中的日期格式、编码差异、空值填充及重复主键去重提供标准化处理规则与自动化校验思路。

时序分析

滑动窗口与周度趋势平滑

利用 7 日与 30 日移动均值、分位数截断法识别序列中的突变点,降低单日偶发波动对长期趋势判断的干扰。

AI 辅助建模

轻量级规则校验与公式生成

结合大语言模型辅助编写 SQL 查询、正则表达式与数据聚合脚本,并对输出结果进行确定性边界校验。

轻量工具:序列数值快速描述统计

在下方输入一组用逗号、空格或换行分隔的数值,即可在本地浏览器直接计算样本数、均值、中位数、标准差与极值:

有效样本数 (N)
12
算术平均值
147.33
中位数 (P50)
147.00
最小值 / 最大值
128 / 168
总和 (Sum)
1768
样本标准差
10.89

数据处理技术笔记

笔记一:SQLite WAL 模式下的在线一致性备份方法

在基于 SQLite 的轻量级数据工具中,开启 WAL(Write-Ahead Logging)能显著提升并发读写性能。但在备份时若仅直接拷贝主文件,容易遗漏尚未 checkpoint 的 `-wal` 文件页。实践中应当调用 SQLite 在线备份接口或执行完整 checkpoint 后再生成快照,并配合 `PRAGMA integrity_check` 验证文件完整性。

笔记二:表格导入中的浮点数精度与空值语义区分

在处理电子表格导入时,常见误区是将“未采集到的空单元格(NULL)”与“数值为零(0)”混为一谈。在设计结构化数据表与前端展示时,应严格保留空值状态,在均值与分位数聚合计算中明确剔除未采集项,避免拉低整体基线。

笔记三:使用分位数与 IQR 法则识别日常统计中的离群噪点

相比单纯依赖正态分布的 3σ 原则,基于四分位距(IQR = Q3 - Q1)的箱线图法则在偏态分布数据中具有更好的鲁棒性。通过设定 `[Q1 - 1.5 * IQR, Q3 + 1.5 * IQR]` 区间,可在批处理脚本中自动高亮需要人工复核的异常录入行。