lypのblog

RNN循环神经网络循环神经网络的从零开始实现先读取数据集。 123456789%matplotlib inlineimport mathimport torchfrom torch import nnfrom torch.nn import functional as Ffrom d2l import torch as d2lbatch_size, num_steps = 32, 35train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) 独热编码回想一下，在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难。 我们通常将每个词元表示为更具表现力的特征向量。 最简单的表示称为独热编码（one-hot encoding） 简言之，将每个索引映射为相互不同的单位向量： 假设词表中不同词元的数目为𝑁（即len(vocab)）， 词元索引的范围为0到𝑁−1。 如果词元的索引是整数𝑖， 那么我们将创建一个长度为𝑁的全0向量， 并将第𝑖处的元素设置 ...

CNN卷积神经网络全连接网络 VS 卷积网络全连接神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题： 参数数量太多 考虑一个输入10001000像素的图片(一百万像素，现在已经不能算大图了)，输入层有10001000=100万节点。假设第一个隐藏层有100个节点(这个数量并不多)，那么仅这一层就有(1000*1000+1)*100=1亿参数，这实在是太多了！我们看到图像只扩大一点，参数数量就会多很多，因此它的扩展性很差。 没有利用像素之间的位置信息 对于图像识别任务来说，每个像素和其周围像素的联系是比较紧密的，和离得很远的像素的联系可能就很小了。如果一个神经元和上一层所有神经元相连，那么就相当于对于一个像素来说，把图像的所有像素都等同看待，这不符合前面的假设。当我们完成每个连接权重的学习之后，最终可能会发现，有大量的权重，它们的值都是很小的(也就是这些连接其实无关紧要)。努力学习大量并不重要的权重，这样的学习必将是非常低效的。 网络层数限制 我们知道网络层数越多其表达能力越强，但是通过梯度下降方法训练深度全连接神经网络很困难，因为全连接神经网络的梯度很 ...

Java容器用法汇总容器分类 List(对付顺序的好帮手): 存储的元素是有序的、可重复的。 Set (注重独一无二的性质)：存储的元素是无序的、不可重复的。 Queue (实现排队功能的叫号机):按特定的排队规则来确定先后顺序，存储的元素是有序的、可重复的。 Map (用 key 来搜索的专家) :使用键值对（key-value）存储，类似于数学上的函数 y=f(x)，“x” 代表 key，“y” 代表 value，key 是无序的、不可重复的，value 是无序的、可重复的，每个键最多映射到一个值。 CollectionCollection是所有单列集合的父接口，因此在Collection中定义了单列集合(List和Set)通用的一些方法，这些方法可用于操作所有的单列集合。方法如下： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455import java.util.*;public class CollectionA ...

深度学习计算块和层对于多层感知机而言，整个模型及其组成层都是这种架构。 整个模型接受原始输入（特征），生成输出（预测）， 并包含一些参数（所有组成层的参数集合）。 同样，每个单独的层接收输入（由前一层提供）， 生成输出（到下一层的输入），并且具有一组可调参数， 这些参数根据从下一层反向传播的信号进行更新。 事实证明，研究讨论“比单个层大”但“比整个模型小”的组件更有价值。 例如，在计算机视觉中广泛流行的ResNet-152架构就有数百层， 这些层是由层组（groups of layers）的重复模式组成。 这个ResNet架构赢得了2015年ImageNet和COCO计算机视觉比赛 的识别和检测任务 (He et al., 2016)。 目前ResNet架构仍然是许多视觉任务的首选架构。 在其他的领域，如自然语言处理和语音， 层组以各种重复模式排列的类似架构现在也是普遍存在。 为了实现这些复杂的网络，我们引入了神经网络块的概念。 块（block）可以描述单个层、由多个层组成的组件或整个模型本身。 使用块进行抽象的一个好处是可以将一些块组合成更大的组件， 这一过程通常是递归的，如下图所示 ...

这个博客是我整理的 Java 基础知识的学习笔记(并不是我原创的，我也没实力原创，仅供自己和大家学习)，内容包括：Java 数据类型、Java 关键字、Java的三大特性、Java 中的 String、StringBuffer 和 StringBuilder、Java 反射、Java 异常、Java IO 流、Java 注解、Java 泛型、Java 枚举、Java 8 新特性、Java 常见的集合框架源码解析。 1. Java 数据类型详解Java 数据类型有很多，本文主要从基本类型、包装类型、引用类型和缓存池四个方面来总结。 1.1 基本数据类型基本数据类型有 byte、short、int、long、float、double、boolean、char，关于它们的分类，我画了个图。 接下来我主要从字节数、数据范围、默认值、以及用途等方面给大家总结成一个表格，一目了然。 数据类 型字节数位 数最小值最大值默认 值用途byte18-1281270byte 类型用在大型数组中节约空 间，主要代替整数。因为 byte 变 量占用的空间只有 int 类型的四分 之一short216-3276 ...

C++图学习整理最小生成树在无向图中生成一棵树（n-1条边，无环，连通所有点），且这棵树的劝和最小 普利姆算法（Prim）——加点法 任选一点开始，找到离这个点最近的点，加入最小生成树 再继续去找离这个最小生成树最近的点，加入最小生成树中，重复步骤2 克鲁斯卡尔算法（Kruskal） ——加边法 找到最短边，判断其两个端点在不在一个连通分量里 若在，则跳过；若不在，加入最小生成树 洛谷例题题目描述如题，给出一个无向图，求出最小生成树，如果该图不连通，则输出 orz。 输入格式第一行包含两个整数 $N,M$，表示该图共有 $N$ 个结点和 $M$ 条无向边。 接下来 $M$ 行每行包含三个整数 $X_i,Y_i,Z_i$，表示有一条长度为 $Z_i$ 的无向边连接结点 $X_i,Y_i$。 输出格式如果该图连通，则输出一个整数表示最小生成树的各边的长度之和。如果该图不连通则输出 orz。 样例 #1样例输入 #11234564 51 2 21 3 21 4 32 3 43 4 3 样例输出 #117 提示数据规模： 对于 $20%$ 的数据，$N\le 5$，$M\le 20 ...

多层感知机隐藏层在多层感知机（Multilayer Perceptron, MLP）中，隐藏层（Hidden Layer）是指位于输入层和输出层之间的神经元层。多层感知机是一种前馈神经网络，通常由多个隐藏层组成，每个隐藏层由多个神经元组成。 隐藏层的作用是对输入数据进行非线性映射和特征提取，使得神经网络能够学习到复杂的模式和关系。每个隐藏层中的每个神经元接收来自上一层（或者输入层）的输入，通过加权和和激活函数处理后输出给下一层（或者输出层）。 具体来说，多层感知机的运作过程如下： 输入层接收原始数据或特征向量作为输入。 隐藏层接收来自输入层的输入，对其进行线性加权和，并通过一个非线性的激活函数（如ReLU、sigmoid等）进行转换，输出给下一层或输出层。 输出层接收最后一个隐藏层的输出，进行最终的处理和分类，输出预测结果。 隐藏层的引入使得多层感知机能够处理复杂的非线性问题，并且通过调整隐藏层的神经元数量和结构，可以增加神经网络的表达能力，提高其对数据的建模能力和预测精度。 线性模型可能会出错例如，线性意味着单调假设： 任何特征的增大都会导致模型输出的增大（如果对应的权重为正）， ...

git详解基础配置a.首次使用添加身份说明，使用以下两个命令： 1git config --global user.name "你的昵称"git config --global user.email 邮箱@example.com b.创建仓库 ①在项目文件夹下使用git bash输入 1git init ②使用他人项目创建仓库 1git clone 项目url 状态与提交版本创建完一个仓库后，会赋予这个仓库每一个文件或目录一个状态 如果是自己创建的，状态均为：未被跟踪 当生成一个版本后，未被跟踪的文件就不会在这个版本里 那么他之前的状态便无法追踪 现在我们可以单独地跟踪一个文件或目录 1git add <name> //去跟踪一个文件或目录 若一个文件被跟踪，则在这个仓库里会一直被跟踪 解除跟踪： 1git rm <name> //解除跟踪 或者： 1git rm --cache <name> //解除跟踪且保留在目录中 接下来就可以对跟踪的文件就行修改，修改完后，将它的状态设置为缓存状态 ...

Pytorch learning notes5 –线性神经网络线性回归回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。 在机器学习领域中的大多数任务通常都与预测（prediction）有关。 线性回归的基本元素 线性回归基于几个简单的假设： 首先，假设自变量𝑥和因变量𝑦之间的关系是线性的， 即𝑦可以表示为𝑥中元素的加权和，这里通常允许包含观测值的一些噪声； 其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。 为了解释线性回归，我们举一个实际的例子： 我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。 为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。 这个数据集包括了房屋的销售价格、面积和房龄。 在机器学习的术语中，该数据集称为训练数据集（training data set） 或训练集（training set）。 每行数据（比如一次房屋交易相对应的数据）称为样本（sample）， 也可以称为数据点（data point）或数据样本（data i ...

Pytorch learning notes4 –文档查阅——–提供了一些查看PyTorch API的指导。 查找模块中的所有函数和类为了知道模块中可以调用哪些函数和类，可以调用dir函数。 例如，我们可以查询随机数生成模块中的所有属性： 123import torchprint(dir(torch.distributions)) 通常可以忽略以“__”（双下划线）开始和结束的函数，它们是Python中的特殊对象， 或以单个“_”（单下划线）开始的函数，它们通常是内部函数。 根据剩余的函数名或属性名，我们可能会猜测这个模块提供了各种生成随机数的方法， 包括从均匀分布（uniform）、正态分布（normal）和多项分布（multinomial）中采样。 查找特定函数和类的用法1help(torch.ones) 123456789101112131415161718192021222324252627282930313233Help on built-in function ones in module torch:ones(...) ones(*size, *, out=No ...