Maple.Link

技术分享站

发表于 分类于 本文字数： 469 阅读时长 ≈ 2 分钟

最近在写毕业论文，因为不断的修改添加了大量了引用，导致编号非常混乱，显得非常不美观，

又恰逢女朋友学校强制要求引用目录按照引用顺序排序，因此不得已开发了一个程序来对引用进行自动编号，

开发过程一波三折，难度也比一开始的设想大了很多，

因为需要处理书签引用和纯手写的引用，本来是想使用PyDocX的，测试后发现PyDocX读取书签引用有问题，

最后只能手写个简单的代码解析docx，虽然很麻烦但是总算是搞定了。

项目地址：https://github.com/Casxt/SortReference

阅读全文 »

发表于 分类于 本文字数： 634 阅读时长 ≈ 2 分钟

现象描述

偶然发现一个线上服务不返回的badcase，在输入特定一张图片时，分析服务会直接断开连接而不返回任何数据，这种情况是非常罕见的，因为通常来说即便是内部服务报错的情况下，也会被框架捕获从而返回一组错误码，而不会直接断开连接不返回任何数据。

阅读全文 »

发表于 分类于 本文字数： 240 阅读时长 ≈ 1 分钟

基本类型复制

有时会遇到源proto和目标proto具有相同成员的情况, 如果该成员仅仅是定义相同，是不能直接使用CopyFrom方法的，此时需要手动对结构体成员依次进行赋值。
以下文件模拟了两个不同proto文件中同时定义了相同的结构体Feature

阅读全文 »

发表于 分类于 本文字数： 239 阅读时长 ≈ 1 分钟

文件流式处理

在处理hdfs数据时，可能会遇到本地磁盘空间不足以存放数据的问题，这时我们可以使用linux的stdio对数据进行流式处理，以替换每行内容为例

1
2
3
hadoop -cat hdfs://your_path/your_file |\
sed  "s/some_thing/some_other/g" |\
hadoop -put - hdfs://your_path/your_processed_file

这样利用pipe完成了对数据的处理，同时避免了数据在本地落盘。

阅读全文 »

发表于 分类于 本文字数： 579 阅读时长 ≈ 2 分钟

最近看到知乎上，关于最让自己印象深刻的一次bug的经历，的讨论，不禁让我回想起了研一时，那一次libc依赖损坏的事故。

阅读全文 »

发表于 分类于 本文字数： 181 阅读时长 ≈ 1 分钟

在部署模型时，对于输入数据的预处理是一个非常耗时的操作，其实可以将预处理一同打包到模型中，在转换为ONNX或者Tensorrt模型后这些操作就可以随着模型一起被加速执行。

以最简单的归一化操作为例

阅读全文 »

发表于 分类于 本文字数： 173 阅读时长 ≈ 1 分钟

有时我们无法确定一段代码会抛出何种异常，但是又希望能捕获这些异常

阅读全文 »
0%