Home

图像生成任务的几种架构 图像生成任务的困难在于：缺乏有效的指导，生成任务没有一个标准答案。 几种用于生成任务的神经网络架构： 生成对抗模型 GAN 额外训练一个判别器用于判别生成图像是否和训练集中图片一样。 变分自编码器 VAE 学习向量生成图像的同时，也学习图像生成向量。图像变成向量，再用该向量生成图像，就应该能得到和原图一模一样的图像，每个向量的生成结果有了一个标准答案，从而可以指导网络训练。 扩散模型 Diffsion Model 一种特殊的 VAE，区别在于： 1）不再训练一个可学习的编码器，而是将编码过程固定成不断添加噪声的过程。 2）不再把图像压缩成更短的...

L1 Loss 又称L1范数损失、最小绝对值偏差（LAD）损失、最小绝对值误差（LAE）损失、平均绝对误差（Mean Absolute Error, MAE）损失。 表示模型预测值$f(x)$与真实值$y$之间距离的均值。 \[loss(x,y) = \frac{1}{n}\sum_{n=1}^{n}{|f(x_i)-y_i|}\] 特点： 大部分情况下梯度也相等，对于小的损失值，梯度也很大，不利于函数的收敛 对于离群点不敏感 L2 Loss 又称L2范数损失、最小均方值偏差（LSD）损失、最小均方值误差（LSE）损失、平均均方误差（Mean Square Error, MSE）损失。 表示模型预测值$f(x)$与真实值$y$之间距离的平方的均值。 \[l...

Awesome Contrastive Learning General Dimensionality Reduction by Learning an Invariant Mapping. [Paper] Improved Deep Metric Learning with Multi-class N-pair Loss Objective. [Paper]. A Theoretical Analysis of Contrastive Unsupervised Representation Learning. [Paper] What Makes for Good Views for Contrastiv...

高维训练向量集合：$I={x_i}$；对于$I$中的每条样本${x_i}$，$S_{x_i}$表示与$x_i$相似的样本集合；$y = 0$表示$x_1$与$x_2$相似；$y = 1$表示$x_1$与$x_2$不相似；$D_W ( x 1 , x 2 )$表示$G_W$输出间的欧氏距离： \[D_W(x_1, x_2) = ||G_W(x_1) − G_W(x_2)||_2\] 则对比损失函数定义为： \[L(W) = \sum_{i=1}^PL(W, ( y , x_1 , x_2)^i)\] \[L(W, ( y , x_1 , x_2)^i) = (1 - y)L_s(D^i_W) + yL_D(D^i_W)\] 其中: $(y, x_1, x_2)^i$ 为第 $...

课程大纲 地址：https://c.d2l.ai/stanford-cs329p/

课程大纲 地址：https://pdos.csail.mit.edu/6.824/

前言 GFS、MapReduce 和 BigTable 作为 Google 早期三驾马车，这三项革命性的技术不仅在大数据领域广为人知，更直接或间接性的推动了大数据、云计算、乃至如今火爆的人工智能领域的发展。 MapReduce GFS Big Table 参考文献

背包问题是典型的动态规划问题。 问题描述 背包问题是一种组合优化的NPC（NP完全）问题，可以描述为： 给定一组物品，每种物品都有自己的重量和价格，在限定的总重量内，如何选择是的物品的总价格最高。 采用动态规划算法，是求解背包问题的一般思路，具体可分为以下几类： １、01背包问题 ２、完全背包问题 3、多重背包问题 01背包问题 问题描述 一共有N件物品，第i（i > 0）件物品的重量为w[i]，价值为v[i]。在总重量不超过背包上限W的情况下，求能装入背包的最大价值。 问题分析 定义状态dp: $dp[i][j]$表示将前i件物品装进限重为j的背包可以获得的最大价值。 则 \(dp[i][j] = max(dp[i−1][j], dp[i−1][j−w...