private公司(PRIVATE公司logo)深度揭秘

从零开始之 CNPM 配合 Gitlab 实现私有鉴权 NPM 仓库

 

今日文章由 @唱不完的离歌 授权分享，文末阅读原文可跳转至原文查看也就是在去年，我们在密集开发了将近 1 年的 node 项目后，一个 egg 项目中包含了 500 多个接口，代码量也变得非常大所以我们准备将服务拆分，然后将一些服务封装成 npm 包。

因为这些 npm 包中包含业务逻辑，所以必须自建私有 npm 完成这个事情所以自建 npm 就提上日程因为我们需要对接 gitlab 账号控制权限，所以选定 cnpm+gitlab 实现私有 npm 包的管理

配置 cnpm前置准备因为我们是使用docker安装的cnpm所以需要提前在centos上准备好 docker、git、mysql node（这四个请自行google安装,mysql也使用docker安装）。

下载cnpmjsmkdir /cnpmcd /cnpmgit clone https://github.com/cnpm/cnpmjs.org.git配置mysql进入mysql1.创建dbcreate database cnpmjs;

2.导入sql文件source /cnpm/cnpmjs.org/docs/db.sql;配置cnpm的config打开 /cnpm/cnpmjs.org/docs/dockerize/config.js

database: { db: cnpmjs, username: root, // 填写数据库密码 password: 123456, // 数据源设置为mysql dialect: mysql,

// 设置数据库Host地址(注意：此时我们使用的是docker启动mysql 所以我们使用Link来关联两个容器link的名字就是mysql) host: mysql, // 设置mysql端口号。

port: 3306,}编译docker imagecd /cnpm/cnpmjs.org编译镜像docker build -t xy/cnpmjs:v1 .执行成功后可以通过docker images 查看镜像。

正确执行后即完成启动docker创建 /cnpm/cnpm_data目录用来存cnpm的数据然后执行docker run -d -p 7001:7001 -p 7002:7002 -v /cnpm/cnpm_data:/var/data/cnpm_data --restart always --name cnpm xy/cnpmjs:v1

验证cnpm是否启动完成使用浏览器访问 http://ip:7002/看到页面就表示启动成功

对接gitlab权限因为我们内部用的是gitlab，所以在最开始我们就考虑将cnpm的权限与gitlab绑定，通过gitlab上用户对于某个project的读写权限来控制cnpm的读写权限，后来在实践过程中遇到了各种问题，所以最后选定了一种最简单的方法。

统一用一个账号去publish包然后所有的gitlab用户只拥有拉取权限这样做的话最后就只能把publish的动作放到gitlab上去自动完成所有开发者将npm包源码push到gitlab上，然后gitlab利用runner自动publish到cnpm中。

这样就实现了代码上传自动publish了获取gitlab token因为使用gitlab做鉴权需要gitlab的token，需要注册一个我使用gitlab官方的仓库做实验，申请一个token如下图

在cnpm中对接gitlab我自己写了一个npm库简单的进行gitlab权限的验证https://www.npmjs.com/package/cnpm-gitlab-user-service首先在/cnpm/cnpmjs.org中。

npm install cnpm-gitlab-user-service然后将/cnpm/cnpmjs.org/docs/dockerize/config.js中的 alwaysAuth设置为true enablePrivate设置为true 并且设置userService为引入的service(如下图) UserService的三个参数分别是 gitlab的地址、token、超管账号的信息

重新启动cnpm此时，其实cnpm的权限部分都已经好了此时的cnpm应该可以使用内置的admin账号进行登录且publish使用gitlab的账号进行登录并拉取（但不能publish）所以我们可以先验证一下到这一步为止是否成功。

重新build镜像docker run -d -p 7001:7001 -p 7002:7002 -v /cnpm/cnpm_data:/var/data/cnpm_data --restart always --name cnpm xy/cnpmjs:v2

删除正在运行的cnpm 容器docker ps -a获取到cnpm的容器iddocker stop iddocker rm id然后重新启动docker run -d --link mysql:mysql -p 7001:7001 -p 7002:7002 -v /cnpm/cnpm_data:/var/data/cnpm_data --restart always --name cnpm xy/cnpmjs:v2

这样新的cnpm就已经启动成功了。尝试验证cnpm的权限控制此时使用 http://ip:7002/ 登陆npm仓库时就会显示弹窗让你登陆

设置npm的源为自己的私有npm仓库npm config set registry http://ip:7001然后登陆npm login最后展示登陆成功即代表权限设置成功 admin是设置的默认超管账号。

需要使用gitlab的账号名跟密码登陆验证与gitlab之间的关联是否正常因为此时邮箱已经无用，所以同意使用admin@qq.com这种邮箱即可（这个admin@qq.com是我在cnpm-gitlab-user-service中写死的。

如果有特殊需求需要改也可以自己改库）

试着发布和下载到了这一步，其实基本的功能都已经好了此时的cnpm可以使用内置的超管账号进行登陆、publish、install也可以使用gitlab 的账号密码进行登陆、install我们可以使用admin进行登陆并publish一些包到cnpm中。

并在web页面查看也可以使用gitlab 账号登陆并install这些包

利用gitlab-runner实现自动上传npm包为什么需要自动上传上述两部完成了cnpm与gitlab关联的基本功能但是此时的cnpm不够自动化admin账号不能下发给所有人人员变动时无法管理权限所以不是一个企业可以使用的。

所以我们利用gitlab-runner来完成npm包publish的动作将admin账号收回这样开发人员就只需要登陆、install两个权限就可以了安装和注册gitlab-runnercurl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh | sudo bash

sudo yum install gitlab-ci-multi-runner然后在gitlab上创建一个group 名叫npm然后在 groups -> Sttings -> CI/CD 中拿到token（如下图）

gitlab-runner下载完成后执行 gitlab-runner register 然后会出现一系列弹窗。依次输入gitlab的地址、token、tag、shell即可

然后在gitlab中查看gitlab-runner是否注册成功。如下图则代表注册成功。

配置gitlab自动publishgitlab有ci/cd功能。在项目中配置.gitlab-ci.yml文件即可实现此功能

在执行这一步是我们遇到了一个问题那就是超管账号的npm登录态我们如何保持试了很多办法我们最后选用的办法是将npm的账户信息通过ci/cd时设置通过npm config edit拿到admin账号的登录态数据。

将数据保存在gitlab的Variables中这样可以让admin登录态信息统一管理

然后我们在group中创建项目然后push一个项目就会触发ci，会去执行.gitlab-ci.yml中配置的的步骤注：因为在gitlab中publish需要我们自建的npm仓库有一个外网地址，这次演示没有配置所以这一步无法成功。

完整流程此时，我们的完整流程应该是已经完成了我们可以创建一个项目在项目中配置.gitlab-ci.yml然后在配置了ci cd的group中创建一个project将该项目上传上去上传后，触发cigitlab将项目自动publish到cnpm中。

用户在自己的电脑上配置私有npm仓库地址然后登陆并install，下载完成此时这个流程就完成了我们本次要讲的cnpm配合gitlab实现私有鉴权npm仓库的东西就讲完了容易踩坑的地方scopes造成无法下载的问题

我自己在写这篇文章时同步搭建cnpm当我使用admin账号上传@xy/demo这种格式的包名后，包是可以正常publish的但是install 时就会遇到404 notfound的问题我找了好久最后发现install不能install超出scopes设置的域之外的包。

然后我在scopes中加 上@xy一切就正常了所以不要让自己的包名超过设置的scopes以免发生问题

一切正常当时npm login就是登陆不上查看自己的gitlab是不是开启了双重验证如果是请把双重验证关闭在ci执行时报npm命令不存在我们在使用时也遇到了这个问题后来发现通过yum下载的node就不会出现这个问题。

nvm下载 源码编译的都会有这个问题具体原因未深究cnpm config.js的详细配置{enableCluster：是否启用 cluster-worker 模式启动服务，默认 false，生产环节推荐为 true;

registryPort：API 专用的 registry 服务端口，默认 7001；webPort：Web 服务端口，默认 7002；bindingHost：监听绑定的 Host ，默认为 127.0.0.1，如果外面架了一层本地的 Nginx 反向代理或者 Apache 反向代理的话推荐不用改；

sessionSecret：session 用的盐；logdir：日志目录；uploadDir：临时上传文件目录；viewCache：视图模板缓存是否开启，默认为 false；enableCompress：是否开启 gzip 压缩，默认为 false；

admins：管理员们，这是一个 JSON Object，对应各键名为各管理员的用户名，键值为其邮箱，默认为 { fengmk2: fengmk2@gmail.com, admin: admin@cnpmjs.org, dead_horse: dead_horse@qq.com }；

logoURL：Logo 地址，不过对于我这个已经把 CNPM 前端改得面目全非的人来说已经忽略了这个配置了；adBanner：广告 Banner 的地址；customReadmeFile：实际上我们看到的 cnpmjs.org 首页中间一大堆冗长的介绍是一个 Markdown 文件转化而成的，你可以设置该项来自行替换这个文件；

customFooter：自定义页脚模板；npmClientName：默认为 cnpm，如果你有自己开发或者 fork 的 npm 客户端的话请改成自己的 CLI 命令，这个应该会在一些页面的说明处替换成你所写的；

backupFilePrefix：备份目录；database：{ //数据库相关配置，为一个对象，默认如果不配置将会是一个 ~/.cnpmjs.org/data.sqlite 的 SQLite ；

db：数据的库名； username：数据库用户名； password：数据库密码； dialect：数据库适配器，可选 "mysql"、"sqlite"、"postgres"、"mariadb"，默认为 "sqlite"；

hsot：数据库地址； port：数据库端口； pool：{ //数据库连接池相关配置，为一个对象； maxConnections：最大连接数，默认为 10；

minConnections：最小连接数，默认为 0； maxIdleTime：单条链接最大空闲时间，默认为 30000 毫秒； } storege：仅对 SQLite 配置有效，数据库地址，默认为 ~/.cnpmjs/data.sqlite；

},nfs：包文件系统处理对象，为一个 Node.js 对象，默认是 fs-cnpm 这个包，并且配置在 ~/.cnpmjs/nfs 目录下，也就是说默认所有同步的包都会被放在这个目录下；开发者可以使用别的一些文件系统插件（如上传到又拍云等）,又或者自己去按接口开发一个逻辑层，这些都是后话了；

registryHost：暂时还未试过，我猜是用于 Web 页面显示用的，默认为 r.cnpmjs.org；enablePrivate：是否开启私有模式，默认为 false；//如果是私有模式则只有管理员能发布包，其它人只能从源站同步包；

//如果是非私有模式则所有登录用户都能发布包；scopes：非管理员发布包的时候只能用以 scopes 里面列举的命名空间为前缀来发布，如果没设置则无法发布，也就是说这是一个必填项，默认为 [ @cnpm, @cnpmtest, @cnpm-test ]，据苏千大大解释是为了便于管理以及让公司的员工自觉按需发布；更多关于 NPM scope 的说明请参见 npm-scope；

privatePackages：就如该配置项的注释所述，出于历史包袱的原因，有些已经存在的私有包（可能之前是用 Git 的方式安装的）并没有以命名空间的形式来命名，而这种包本来是无法上传到 CNPM 的，这个配置项数组就是用来加这些例外白名单的，默认为一个空数组；

sourceNpmRegistry：更新源 NPM 的 registry 地址，默认为 https://registry.npm.taobao.org；sourceNpmRegistryIsCNpm：源 registry 是否为 CNPM ，默认为 true，如果你使用的源是官方 NPM 源，请将其设为 false；

syncByInstall：如果安装包的时候发现包不存在，则尝试从更新源同步，默认为 true；syncModel：更新模式（不过我觉得是个 typo），有下面几种模式可以选择，默认为 "none";// "none"：永不同步，只管理私有用户上传的包，其它源包会直接从源站获取；

// "exist"：定时同步已经存在于数据库的包；// "all"：定时同步所有源站的包；syncInterval：同步间隔，默认为 "10m" 即十分钟；syncDevDependencies：是否同步每个包里面的 devDependencies 包们，默认为 false；

badgeSubject：包的 badge 显示的名字，默认为 cnpm；userService：用户验证接口，默认为 null，即无用户相关功能也就是无法有用户去上传包，该部分需要自己实现接口功能并配置，如与公司的 Gitlab 相对接，这也是后话了；

alwaysAuth：是否始终需要用户验证，即便是 $ cnpm install 等命令；httpProxy：代理地址设置，用于你在墙内源站在墙外的情况}敬请关注「Nodejs技术栈」微信公众号，获取优质文章。

，也欢迎大家投稿 Nodejs 相关技术文章，在后台留言可与我取得联系▼往期精彩回顾▼Nodejs 中 ES Modules 使用入门讲解Nodejs v14.3.0 发布支持顶级 AwaitNodejs Stream pipe 的使用与实现原理分析。

Nodejs 中基于 Stream 的多文件合并实现深入 Nodejs 源码探究 CPU 信息的获取与利用率计算Nodejs 进阶：解答 Cluster 模块的几个疑问多维度分析 Express、Koa 之间的区别

Node.js 服务 Docker 容器化应用实践JavaScript 浮点数之迷：大数危机Node.js 是什么？我为什么选择它？TypeScript 面向对象程序设计（OOP）Node.js 内存管理和 V8 垃圾回收机制