我过去经常帮身边的朋友指导电脑硬件配置。然而，对于个人电脑来说，如果胡乱装软件，或者用了不合适的软件，会让电脑的使用效率事倍功半。同时，在我个人拿到一台新电脑时，也需要根据我的习惯初始化配置很多软件到新电脑上。由此，便有了写一份软件配置清单的想法，一来可以给大家做一些软件推荐，二来我自己也留一份作为参考。

在使用公共服务器时，通常用户只有普通权限账户，无法按照自己的想法任意对服务器进行配置。为满足这种需求，常使用docker来实现在容器内使用root权限来自由配置环境。VNC是一种常用的远程桌面，可以通过端口通信实现服务器渲染画面的回传。这在进行一些有界面的实验（如mujoco，habitat, igibson环境）时非常有用。本文将主要介绍如何在docker中配置vnc桌面，并给出了一个打包好的镜像：kezhiadore/ubuntu-vnc - Docker Image | Docker Hub

深度强化学习算法相比于深度学习，有更多的超参数需要调节，本文主要对DDPG算法中的actor网络和critic网络学习率的设置对学习效果的影响进行了探讨。

前两天，由4位轮值主席组织的第一届游在长安活动正式落幕。在活动组织过程中，有一个小游戏的分组问题很有一次，在此记录。

年纪越大，感到时光流逝的就越快。转眼间，就已经到了2023年。比我大一届的师兄师姐们就要毕业了。这篇博客主要放照片用，没有什么太多的文字内容。

祝各位毕业的师兄师姐前程似锦，生活精彩。🎉🎉🎉

最近，清华大学和商汤发表了一篇名为《Ghost in the Minecraft: Generally Capable Agents for Open-World Environments via Large Language Models with Text-based Knowledge and Memory》的文章，简称GITM。很有意思，感兴趣的朋友可以读一下原文。

深度强化学习的流程可以抽象为以下步骤的重复：

1. 智能体与环境交互产生并存储经验
2. 智能体从经验中进行学习

本文主要探讨在收集经验过程中，环境自然结束（Terminated，包括目标成功，失败等）和人为截断（Truncated，主要为达到一定步数结束）对经验收集和训练产生的影响，以及如何对其进行处理。并对其进行了部分实验来比较性能。

现在是2023年5月17日凌晨00时57分，不知道是下午喝了那杯拿铁的缘故，还是因为这两天发生的事情，到现在依旧没有困意。此外，脑中也有很多想法在不断涌现和争辩。思来想去，与其在床上胡思乱想，亦或是借酒助眠，不如来工位写一篇文章，梳理一下脑中所想，将不断涌现的混乱的想法整理为有条理与逻辑的文本内容。

红豆生南国，春来发几枝？

愿君多采撷，此物最相思。

强化学习在算法实现时需要非常注意细节，否则网络很难收敛或没有训练效果。本文主要记录我在实现各种强化学习算法时踩到的一些坑以及需要注意的细节，持续更新......

以及附上我自己实现的RL算法库：https://github.com/KezhiAdore/RL-Algorithm

本文主要对于交叉熵的手动计算和PyTorch中的CrossEntropyLoss模块计算结果不一致的问题展开讨论，查阅了PyTorch的官方文档，最终发现是CrossEntropyLoss在计算交叉熵之前会对输入的概率分布进行一次SoftMax操作导致的。