pytorch中提高模型可复现性的几个设置

最近被模型的可复现问题弄得不堪其扰,现在勉强算是解决了,记录一下 首先是最常规的随机种子设置 python中随机种子 random.seed(seed) numpy中随机种子 np.random.seed(seed) torch中随机种子 torch.manual_seed(seed) 部分博客中还记录了给GPU设备设置随机种子的设置,torch.cuda.manual_seed给当前GPU设备设置随机种子,torch.cuda.manual_seed_all给所有GPU设备设置随机种子,但 官方文档 中已...

Continue Reading »
分享到:

RESTful API 介绍

根据找到的资料介绍一下RESTful API。之前已经在网上搜了不少次,想找一些资料,但是都不是很满意,今天才发现 维基百科 上的资料难得的对不熟悉的人也较为友好。 REST这个概念表示 representational state transfer,由 Roy Fielding 在2000年提出,并应用于HTTP1.1的实现,与URI的标准的设计。 其中下列几个要求 Client-server architecture :服务端与客户端相分离, Statelessness :无状态,在请...

Continue Reading »
分享到:

度量学习(Metric Learning)中几个Ranking Loss Functions的实现

分享一下偶然看到的这几个函数的pytorch实现。 里面有 ContrastiveLoss , BatchHardSoftMarginTripletLoss , BatchSemiHardTripletLoss ........虽然还是少几个相关的损失函数 今年年初和去年年初做的一个东西里要用到这几个东西,但是搜了很久,翻来翻去,代码实现很难找到。不得已自己写了不少例如online batch hard mining之类的东西,为花掉的时间感到心痛。不过这个库不少代码四月份才上传上去。 ht...

Continue Reading »
分享到:

NLP零样本学习

本文主要是选择性意译以及个人总结,文章链接放在文末。 零样本学习(zero-shot learning, ZSL), 指的是通过观察不属于训练期间所见过标签种类的样本,并对其真实标签进行预测。 目前在图像分类领域与NLP领域,有了比较成熟的预训练方式,比较常见的是few-shot learning,即通过预训练模型与少量的标注训练集进行训练与预测,并且达到了比较好的效果。 而为了做到ZSL,在图像领域一般使用featurizer对标签文本与图像分别生成嵌入,并在可用的标签子集与图像上...

Continue Reading »
分享到:

k8s部署中谷歌docker镜像下载解决思路

k8s部署过程中很多镜像都没法直接下载,中科大等的镜像很多也没有相关的内容。总之找镜像不好找,不方便。 虽然可以通过本地代理,在本地下载镜像后,打包导出,再搬过去。但是略感复杂。 这里提供一个使用SoftetherVPN的解决方法,如果手头没有建立好的服务端,实行起来还是相当相当复杂的。权当提供思路供大家参考一下。最先用的其实也不是docker镜像下载,只是找到要连接地址后,各种无法连接的都可以这么处理,不用再应用内部设置proxy了。 首先就是先要整个服务器,建立SoftetherVPN的server,中...

Continue Reading »
分享到: