GitLabyarnnpmnpm 淘宝源sha512源镜像

我终于找到 CI fail 的原因了!

就像我在这个 issue里说的那样,根本原因是

  1. 使用了 yarn offline cache
  2. 最近版本的 yarn 要校验 offline cache 的完整性
  3. 使用了淘宝 npm 源,但是淘宝 npm 源没有提供「完整性」这一字段

为了确证 3,我们可以尝试作请求

curl --silent https://registry.npm.taobao.org/serve-static/ | jq '.versions."1.13.2".dist'

返回

{
  "shasum": "095e8472fd5b46237db50ce486a43f4b86c6cec1",
  "size": 8400,
  "noattachment": false,
  "tarball": "http://registry.npm.taobao.org/serve-static/download/serve-static-1.13.2.tgz"
}

而支持 integrity 的源会多一个字段

curl --silent https://registry.npmjs.org/serve-static/ | jq '.versions."1.13.2".dist'

返回

{
  "integrity": "sha512-p/tdJrO4U387R9oMjb1oj7qSMaMfmOyd4j9hOFoxZe2baQszgHcSWjuya/CiT5kgZZKRudHNOA0pYXOl8rQ5nw==",
  "shasum": "095e8472fd5b46237db50ce486a43f4b86c6cec1",
  "tarball": "https://registry.npmjs.org/serve-static/-/serve-static-1.13.2.tgz",
  "fileCount": 5,
  "unpackedSize": 24364
}

解决方法有

  1. 不使用淘宝源,并重新生成 yarn.lock 文件
  2. 提示淘宝源的维护人员加入这一字段

Colliot12/1/2018, 2:28:36 PM

它之前给我的错误提示是:

$ yarn
yarn install v1.12.3
[1/4] Resolving packages...
[2/4] Fetching packages...
error http://registry.npm.taobao.org/serve-static/download/serve-static-1.13.2.tgz: Integrity check failed for "serve-static" (computed integrity doesn't match our records, got "sha1-9axNemQgqZpqRa9HGfTc2M2Qekg=")
info Visit https://yarnpkg.com/en/docs/cli/install for documentation about this command.
Colliot12/1/2018, 2:30:25 PM

这次终于彻彻底底搞明白原因了,我之前说的可能并不正确。当然现在这个新的理论似乎也无法解释前面 serve-static 包失败的原因——也许那还有待调查……

这次我发现一些 @types scope 下的包频繁出现安装失败,以及另一种更有意思的现象——被装成了不带 @types 的那个包,比如 @types/prop-types 被装成了 prop-types。这会导致 TypeScript 编译的时候频繁报告一些奇怪的错误,比如 TypeScript error: Cannot find type definition file for 'prop-types'. TS2688TypeScript error: Cannot find type definition file for 'retry'. TS2688,以及在净土本身的项目里似乎遇到过 TypeScript error: Cannot find type definition file for 'express'. TS2688,这个最后我发现也是因为@types/express 被装成了 `express。

前几天我忍无可忍,去调试了 yarn 的源码,发现 yarn 第二步去 fetch 包的步骤是这样的:

  1. 试图在 yarn 的缓存目录(macOS 下是 ~/Library/Caches/Yarn/v4/)里寻找缓存,比如 @types/prop-types 的缓存可能叫 `~/Library/Caches/Yarn/v4/npm-@types-prop-types-15.7.2-0e58ae66773d7fd7c372a493aff740878ec9ceaa/`。
  2. 如果这个缓存存在,那就使用这个缓存。如果启用了 yarn-offline-mirror,那么就把这个缓存移动到 offline mirror 里。(实际上这个缓存目录里的 node_modules/@types/prop-types 文件夹里除了存在包展开后的内容,还有一个压缩包 .yarn-tarball.tgz,它是直接拷贝过去的。
  3. 如果没有缓存,那就试图走离线缓存,即检查指定的 yarn-offline-mirror 目录里是否存在对应的压缩包。如果有,就用它。
  4. 如果啥都没有,那只能从网络上获取了,就是走指定的 npm/yarn 源下载咯。

在调试过程中,我还发现一些奇怪的现象,最终通过这些现象彻底搞清楚了问题在哪里(其实修法很简单,但真的是画一条线只值一美元,知道在哪里值 999999 美元……)。这些奇怪的现象有:

  1. 如果不用淘宝 npm 源,而用 npm 官方源或者 yarn 官方源,并把 yarn 缓存、yarn.lcok 和离线缓存清掉重装,就没有问题。
  2. yarn.lock 里的 integrity 字段竟然是不带 @types 那个包的
  3. yarn.lock 里带 @types 那个包的内容删掉(或者干脆整个文件都删掉)再装,不会出现 Integrity check failed,但是装上去的包还是错的
  4. yarn 缓存里的包就是错的…… ~/Library/Caches/Yarn/v4/npm-@types-prop-types-15.7.2-0e58ae66773d7fd7c372a493aff740878ec9ceaa/ 里的包竟然是 prop-types-15.7.2,而不是 `@types-prop-types-15.7.2`
  5. 删掉 yarn 缓存里的这条缓存之后再装,这个缓存竟然又变成了 prop-types……
  6. 把发网络请求那一段打出来,发现发的网络请求是对的。保存了网络请求的结果,发现结果也是对的(shasum 结果跟正确的压缩包相同)。那么 yarn 到底是从哪里搞到这个错误的包的内容的呢?yarn 试图装 prop-types 的时候,是从哪里搞到这个 prop-types 的内容的呢?

好了,高潮就要来了,咱们先歇会儿……

Colliot9/9/2019, 3:45:38 PM

那么它究竟是从哪里搞到这个 prop-types 的内容的呢?通过反复执行和调试,我终于发现,它在安装 @types/prop-types 时,竟然是在步骤 3 而不是步骤 4 出错的……也就是说,它的 Integrity check failed 的来源,是步骤 3 那个离线缓存文件……但是我去翻了那个目录,发现并没有这样的文件,这又是为什么呢?

这时候我看了那个文件的名字,终于发现了最后的答案——那个它试图读取的文件的名字,是 prop-types-15.7.2.tgz!!!!!

这个文件为什么会存在呢?是因为步骤 2——当我们先安装 prop-types 时,这个离线缓存会被先创造出来。当我们安装失败后,它又被回滚掉了,所以我们并看不见它。

现在的问题就来到了,为什么 yarn 在安装 @types/prop-types 时,却试图去读取 prop-types-15.7.2.tgz 呢?这已经非常容易了,我们只需要去看代码就行了。这一段代码在这里

    const match = pathname.match(RE_URL_NAME_MATCH);

    let packageFilename;
    if (match) {
      const [, scope, tarballBasename] = match;
      packageFilename = scope ? `${scope}-${tarballBasename}` : tarballBasename;
    } else {
      // fallback to base name
      packageFilename = path.basename(pathname);
    }

我们发现如果正则匹配失败,它就会取包的 basename,也就是没有 scope 的 name。那么为啥它会匹配失败呢?我们来看看这个正则

const RE_URL_NAME_MATCH = /\\/(?:(@[^/]+)(?:\\/|%2f))?[^/]+\\/(?:-|_attachments)\\/(?:@[^/]+\\/)?([^/]+)$/;

看起来非常复杂,但我们只要关心这个中缀 \\/(?:-|_attachments)\\/ 就行了。它是啥呢?npm 源会先返回一个包的 meta info,比如 @types/prop-types 的:https://registry.npmjs.org/@types/prop-types ,里面有每个版本的下载地址,比如 15.7.2 的就是 https://registry.npmjs.org/@types/prop-types/-/prop-types-15.7.2.tgz。这个中缀正则就是为了匹配 URL 里的 /-/ 这段。问题就出在这里——淘宝源 https://registry.npm.taobao.org/@types/prop-types 返回的 URL 是 https://registry.npm.taobao.org/@types/prop-types/download/@types/prop-types-15.7.2.tgz,中缀是 /download/,这显然并无法被匹配,所以就走到了 fallback 的分支,去读取 basename 也就是 prop-types 对应的缓存了……

于是真相大白了。解决方案也很简单,只要给这个中缀正则加上 download 的情形即可。提了一个 pull request,前途未卜。

Colliot9/9/2019, 4:10:00 PM

现在还有两个疑点没解决:

  1. 没有 integrity 字段到底碍不碍事?
  2. 为啥读取 yarn 离线缓存报错之后停止安装了,但还是会发网络请求?
Colliot9/10/2019, 11:23:26 AM

关于帖子主干中提到的问题,为什么 serve-static 并不是一个 @types 下的包,却依然发生了错误?

这是因为它有一个 @types/serve-static 的对应包,并且 yarn.lockserve-staticintegrity 被写成了 @types/serve-static 的,这样你怎么装都装不对了。

Colliot9/11/2019, 3:28:55 AM

Preview:

Cancel

Elsewhere

Colliot replied to "allowSyntheticDefaultImports" 的作用到底是啥?

这次还真遇到一个库因为没开这个选项导致使用失败的案例:fix(tsconfig): Allow default style import in the commonjs version build. 不过这个 pull request 似乎我也没完全搞定……

Colliot replied to 为什么非 root 用户在启用了 Gnome 的 socks5 代理后执行 `curl`,会报告 `curl: (7) Failed to receive SOCKS4 connect request ack.`?

经过叶子哥哥的提醒,发现是因为 GNOME 的 SOCKS5 代理仅仅是设置了一个环境变量而已……而 root 的环境变量并无法受到 GNOME 的影响,所以其实这个代理就是坏的,root 是因为没有设置代理所以是好的……

Colliot replied to 为什么用 `Obervable.create` 和 `observer.next` 简单创建的 `Observable`,在有多个订阅者的情况下只能生效一次?

这么写的: admin = Observable.create((observer) => { let value = true; observer.next(value);

this.toggleAdmin = () => { value = !value; console.log('changing to ', value) observer.next(value); } });

Colliot replied to 什么是 Young Tableau?

require{mhchem} ce{Zn^2+ <=>[+ 2OH-][+ 2H+] underset{text{zinc hydroxide}}{ce{Zn(OH)2 v}} <=>[+ 2OH-][+ 2H+] nderset{text{tetrahydroxozincate(II)}}{ce{[Zn(OH)4]^2-}}}

Colliot replied to 我们也许需要从邮件提醒功能做起

I hope you are wrong, too.

Colliot replied to 虎哥牛逼,竟然解决了净土网站的bug

我已经注意到了。谢谢!

ice1000 replied to 虎哥牛逼,竟然解决了净土网站的bug

本质原因是不知道是 WebStorm 还是啥给虎哥自动 import 了一个 from 是 import { from } from 'rxjs/internal/observable/from'; 但是 rxjs 实际上打包的时候用的是 esm5 里的。

Colliot replied to 求助帖,需要网站管理员帮助

我等会儿给你处理吧。

xiang replied to 一台电脑如何利用另一台电脑上网?

优质解决方案: 买个好的台式机无线网卡

fumeboy replied to 我们也许需要从邮件提醒功能做起

补充: 册新用户的时候,设置 > 个人档 里 有黄色提醒:“没有验证邮箱”,而我的邮箱里是没有收到邮件的

Home

Babel

Knowledge

Epistemology

Settings