科工社

深圳，深圳，保安打家长，U型锁杀日本学校学生

科工社

有名有姓的

科工社

浪费好几天就是因为huggingface连不上，把模型文件放了cache，改源码，开代理，都不行，最后还是看到有人用hf-mirror，才搞定了。现在还是不懂怎么弄离线模型，现在用代码下来的模型文件都是哈希码的名称。

科工社

买了两个二手的小米AX3000电信定制版，加起来164元。有线mesh上了，超级简单，就是一个的LAN接到另一个的WAN。第一个照常做WIFI设置（其实就是改了下热点名字和密码），第二个都不用设置。终于改善了家里的信号。
之前花了几百块买个华硕电竞版TUF AX3000，还有50块钱补贴怎么也要不回来，点评还要截屏。信号也就那样，还改成了澳洲模式，信号还是比不过光猫带的wifi和红米ac2100，这下可以放上咸鱼了。下一步弄一个带usb的路由做nas就好了，大概是个小米r3g，70块左右。

科工社

天青色等烟雨，而你再等我吧！

科工社

什么是Transformer？
最初的Transformer是在论文《Attention is all you need》（2017）中提出的，这是一种基于编码器-解码器的神经网络，其主要特点是使用了所谓的注意力机制（即确定句子中单词对其他单词的重要性或哪些单词更可能一起出现的机制），而不使用循环连接（或循环神经网络）来解决涉及序列（或句子）的任务，尽管基于RNN的系统当时已经成为解决自然语言处理（NLP）或理解（NLU）任务的标准方法。因此，这篇论文被命名为《Attention is all you need》，即只需要注意力机制而不需要循环连接来解决NLP任务。编码器-解码器架构和注意力机制都不是新提出的。事实上，以前用于解决许多NLP任务（如机器翻译）的神经网络架构已经使用了这些机制（例如，可以看看这篇论文）。Transformer及其引用的论文的新颖之处在于，它表明我们只需使用注意力机制即可解决涉及序列的任务（如机器翻译），而不需要循环连接，这是一种优势，因为循环连接可能会阻碍训练过程的并行化。原始的Transformer架构如引用论文的图1所示。编码器和解码器都由以下部分组成：注意力模块前馈（或全连接）层残差（或跳跃）连接归一化层 dropout 标签平滑嵌入层位置编码解码器部分还包含一个线性层，后面跟一个softmax，用于解决特定的NLP任务（例如，预测句子中的下一个单词）。什么是BERT？ BERT代表Bidirectional Encoder Representations from Transformers，顾名思义，它是一种使用Transformer来学习语言表示的方法，具体来说，使用的是Transformer的编码器部分。 Transformer和BERT有什么区别？ BERT是一种语言模型，即它表示语言中单词的统计关系，即哪些单词更可能在另一个单词之后出现等。因此，其名称中的Representations部分即Bidirectional Encoder Representations from Transformers。 BERT可以以无监督的方式进行表示学习，然后我们可以在所谓的下游任务中以监督的方式微调BERT（即迁移学习）。有预训练版本的BERT可以直接进行微调（例如这个），并用于解决特定的监督学习任务。你可以使用这个TensorFlow教程来玩转预训练的BERT模型。另一方面，原始的Transformer最初并不是作为一种语言模型来设计的，而是为了在没有循环连接（或卷积）的情况下，只使用注意力来解决序列转换任务（即将一个序列转换为另一个序列，例如机器翻译）。 BERT仅是一个编码器，而原始的Transformer由编码器和解码器组成。由于BERT使用的编码器与原始Transformer的编码器非常相似，因此我们可以说BERT是基于Transformer的模型。所以，BERT不使用循环连接，而只使用注意力和前馈层。还有其他只使用Transformer解码器部分的基于Transformer的神经网络，例如GPT模型。 BERT使用了与《Attention is all you need》中不同的超参数以达到最佳性能。例如，它使用了12和16个“注意力头”（请阅读Transformer论文以了解更多关于这些“注意力头”的信息），而不是8个（尽管在原始的Transformer论文中，作者尝试了不同数量的头）。 BERT还使用了段落嵌入，而原始的Transformer只使用了单词嵌入和位置编码。可能还有其他我遗漏的小差异，但在阅读了《Attention is all you need》论文并快速浏览了BERT论文的部分内容后，这些似乎是主要的差异。何时使用BERT和Transformer？虽然我从未使用过它们，但我会说，当你想以监督方式解决NLP任务，但你的标注训练数据集不足以获得良好性能时，你可能想使用BERT。在这种情况下，你可以从一个预训练的BERT模型开始，然后用你的小标注数据集对其进行微调。你可能需要向BERT添加特定的层来解决你的任务。来源： https://ai.stackexchange.com/questions/23221/how-is-bert-different-from-the-original-transformer-architecture

科工社

服务器开samba共享，n2n异地组网结果用虚拟局域网10.248..来登录，后来改了一下smb.conf，设置了访问权限之后就死活登陆不了，即使是输了用户密码也总是拒绝访问。问题不在Linux服务器那边，因为用实体局域网地址192.168..是可以正常访问的。而且，用10.248..也可以访问虚拟局域网的其他服务器的共享目录，就是这台windows机器访问这个10.248..的目录不行（一开始也是行的），后来想到是不是之前输入的登录信息要清除掉。搜了一些国内网站的答案都是说要在凭据管理器里删除已经保存的记录，但是那里面没有一条是相关的。后来搜了下英文，第一个连接就解决了问题，就是要把net use 里面的进程删掉，即使这个进程处于断开状态。

科工社

Linux有很多开源免费的东西，但是如果不是天天用的话真的是好多坑，尤其是各个包版本间不兼容，有的升级后配置参数都变化了，不向前兼容，所以基本上搞好一次之后就最好不要动了……

科工社

百度的程序员跟阿里一样佛系，但是可能他们都是有意而为之，为了把流量引导到手机APP，不惜恶心web用户。
1. 百度百科在手机上打开只有桌面版网页，全是小字，不对移动端做适配。 2. 百度分享的视频不能在微信里面直接看，必须装APP。我反正是一个APP都不会装他们的。

科工社

单位的科研成果录入系统真TMD的是个垃圾，所有作者的单位、学历、职称全部的要填，缺一不可。好多论文都是十几二十几个作者。这些不就是一个DOI的事？问题是，不给你从DOI导入的选项，不给你上传列表，每个空格只能一个个手工录入，不填全了也不给你随时保存。而且系统不时崩溃，花半小时填完一篇，提交后告诉你找不到网页。去TMD！又得重新来过。那个输入页面也是个弹出来的页面层，不能改变大小，只能全屏才显示完整，如果和其他窗口并排（方便复制粘贴），就会盖住一部分。
这都是什么垃圾人做的垃圾系统！

科工社

突然感觉到有些失落与无力，不会跟人说，接受无能的自我

科工社

Hate me tomorrow,

科工社

近期看的第三本关于光刻的书，比起韦亚一老师和伍强老师写的那两本专业书，这本反而看起来很艰难，大部分是翻译的问题。作者的时间线也比较乱，每讲到一个关键人物，都倒回去讲他从出生开始的经历。而且外国人名字音译过来真是又长又拗口。
收获还是有的，看到了 40 年前初创的阿斯麦就这么卷，而且是卷了十多年，比当时任何一个公司都拼，是催着供应商拼的那种。不过，如果没有飞利浦在后面的支持，它也是成不了的。

科工社

配置机器学习环境小白踩坑经过：
3. 用ssh key免密码登录死活不行，每次都要输密码，根据网上方法把.ssh下面文件权限修改了也不行。最后发现是因为我一直在conda环境下进行的设置，退出conda环境，重新生成key，复制key，再登就不用密码了。

科工社

配置机器学习环境小白踩坑经过：
1. CUDA驱动死活无法启动，最后原因是要设置和输入mok密码，允许第三方驱动运行。 2. Ubuntu死活无法自动启动，每次重启都直接进Windows，最后发现是bios里面uefi选项隐藏在高级设置里面，选择ubuntu在windows之前。

科工社

视频推荐

点评自由泳——游得更快的技术细节纠正

游泳Channel 10跟贴

08:42