ccls: a fork of the C++ language server cquery

感觉很矛盾，一方面希望自己做的东西能有广泛受众(比如一个学长因此找到了我)，另一方面，项目关注多了issue也多了(没有建设性/用户错误也多了，我真的很想叫这类issue愚蠢)，之前三个月每天看cquery issues很劳累。

现在更多地考虑是自己用着舒服，当然如果能不费太大工夫帮到其他Linux/FreeBSD用户，或是我自己也想尝试知道的一些奇异的配置如cross compiling，我也会愿意做的。有近500个commits加做了大力推广，我确实是居功自傲，但原作者伤人的不仅仅是改变了协作模型，不多提。想到这篇文章会被别人翻译着看挺高兴的呢~LanguageClient-neovim cquery方法、lsp-ui一些东西(主要作者sebastiencs，我早期也做了一点修补)、Wiki、Reddit推广、spacemacs +tools/lsp加已放弃的+tools/cquery(已经转投doom-emacs~)、langserver.org、推动Arch Linux/FreeBSD包、……

Good Friday

如果是今年一月cquery还有很多问题时发生这个变故，我肯定会毫不犹豫fork自立门户再试图超过它。但现在我想不出更加革新性的功能增强，libclang索引的上限我也有所了解，我也没那么多精力在空闲时间再做更多事。前些时候commits多是因为对交叉引用功能不满+拿这个项目学习C++，懂得了一些犄角旮旯的知识。比如clang 3.5推导lambda return type的缺陷，copy initialization用move structor clang 3.9之前的缺陷……玩generic lambda等。

clangd主要开发的人面向超大代码库和Chrome，但他们的方向感觉不对劲，加之code review，一些简单功能也非要用大量代码实现。到现在还在用AST的方法蛮干，没有合适的内存内交叉索引数据结构。现在开始又多了些workspace/symbol等功能，未来重构这些添加的方法只会增加重复劳动。

自己做主，主要为自己服务，就能作出很多cquery难以做的选择：

  • -std=c++17，向telegram-desktop看齐，可以删除variant optional string_view的third-party依赖。用clang++ 6.0.0和系统libstdc++ (gcc 7.3左右)需要这个补丁使得std::get<...>(std::variant<...>)可用。https://gcc.gnu.org/viewcvs/gcc/trunk/libstdc%2B%2B-v3/include/std/variant?view=markup&pathrev=258854
  • 抛弃textDocument/documentLink textDocument/rangeFormatting $cquery/wait等几乎没用的功能。把.h函数定义放到.cc里这类refactor功能clang-*等外部工具能做的，不值得在language server中实现。这些功能未来会形成命令行/clangd refactor框架，libclang可能永远做不了这些事。
  • 删除默认的-fms-compatibility -fdelayed-template-parsing -fms-extensions。这是原作者revert我的一个commit
  • 删除"command"/"arguments"中对compiler scheduler goma clang的特判。提供给libclang的命令行应该做尽可能少的变换，用户自行添加选项适配自己的项目。
  • src/下文件实在太多了，很多东西几十行就写成一个新文件。不必要的东西我删除了一些。
  • 修了一个/usr/include/c++/7.3.0/是指向/usr/include/c++/7 symlink时，跳转到系统头文件没有索引信息的问题。
  • #include ""不补全STL。""中包含系统头文件合法，但是不符合规范。
  • 可以用C++ optional TS filesystem代替各类hack的文件系统函数。
  • 放弃#include <c*>转用C风格#include <*.h>。我比较懒惰，想省std::等几个字。
  • 用stdio，抛弃iostream

import_pipeline file_contents file_consumer等文件，我也比较茫然，每次要改都得重新理论下。这里流程太复杂了，不清楚能怎么简化。

不知道这个项目我能坚持到什么时候，使用请注意风险~

Resurrection Sunday

Building trunk libclang

  • CXSymbolRole: read/write/addr references
  • clang_File_tryGetRealPathName: on Arch Linux, system header include paths extracted from clang -E -v -xc++ /dev/null have several ../ path components, which confuse clang_getFileName. You’ll need clang_File_tryGetRealPathName to correctly resolve paths of system C++ headers.

They require #if CINDEX_VERSION >= 48, while CINDEX_VERSION shipped with clang 6.0.0 is 45.

Here are instructions to build trunk libclang(see https://llvm.org/docs/CMake.html for LLVM cmake options). Note, please use a powerful workstation to build LLVM. 

1
2
3
4
5
6
7
git clone https://git.llvm.org/git/llvm.git
cd llvm
git clone https://git.llvm.org/git/clang.git tools/clang
cmake -G Ninja -DCMAKE_BUILD_TYPE=MinSizeRel -DCMAKE_EXPORT_COMPILE_COMMANDS=On -DCMAKE_CXX_COMPILER=clang++ \
  -DCMAKE_C_COMPILER=clang -DLLVM_OPTIMIZED_TABLEGEN=On -DLLVM_USE_LINKER=lld -Bstatic-release -H.
ninja -C static-release libclang
# Built static-release/lib/libclang.*

If you want to copy built libclang from workstation to local: 

1
2
3
4
5
rsync -a -f '+ lib' -f '+ lib/clang**' -f '+ lib/libclang.*' -f '- *' \
  workstation:~/Dev/llvm/static-release/ ~/Dev/llvm/static-release/
# If you want to use trunk clang as the compiler,
# ninja -C static-release clang
# and add -f '+ bin' -f '+ bin/clang' -f '+ bin/clang++' -f '+ bin/clang-7' on the rsync command line

The libclang headers reside in Dev/llvm/tools/clang while built libraries are in Dev/llvm/static-release. Locate them with CMAKE_PREFIX_PATH. 

1
2
3
4
5
cmake -G Ninja -DCMAKE_CXX_COMPILER=/usr/bin/clang++ -DCMAKE_EXE_LINKER_FLAGS=-fuse-ld=lld \
  -DCMAKE_BUILD_TYPE=Release -DCMAKE_EXPORT_COMPILE_COMMANDS=On -DSYSTEM_LIBCLANG=On \
  -DCMAKE_PREFIX_PATH="$HOME/Dev/llvm/static-release;$HOME/Dev/llvm/tools/clang" -Brelease -H.
cmake --build release
# Built release/ccls whose path can be used to set emacs-ccls variable `ccls-executable`

近况

于是一晃到了2016年底，最终还是去了美国工作……感谢scateu以前给我的劝诫。虽然还是很害怕，但是生存能力已经提高了。感叹国内公司工作强度、薪资和美国公司差距还是太大，特别是对于毕业不久的人来说，阿里星听上去好听却有何用，“机会很多”是说给冒险家听的。一位前老板问我为何选择出去，回答的理由一条是背书。他说平台和机会是创造出来的。毕业这一年看了那么多，感慨万千。身边的同学学长朋友也看到了好多想去国外大公司却被跨国工作壁垒拦下来的例子，毕业生的前几年是掉价最快的时候，感叹与国外master PhD差距不知凡几，尽力赶上去吧。好公司也非没有，过了这个村，就没那个店，这一年也曾有良缘经历过两家，但为了对得起拿的一点薄薪却是如履薄冰，别人对你的期望是只涨不跌的，这难以可持续发展。感谢几次DEFCON CTF大家带我玩，趁着游玩的机会终于看清了，如果再像毕业后一年那样混下去，以后职业发展肯定越来越难，道路越来越窄，机会越来越少。不知是否记错，有位最小费用流、线段树学长说人生不是冲刺，细水长流。现在有广阔的平台，有数不清可以学习的东西。干的活不是自己最喜欢的但感觉能发挥出自己足够的价值，努力做上更有趣的活。

Read More