Giter VIP home page Giter VIP logo

sjtu_hpc_tools's Introduction

SJTU HPC Guide For HD Group

本工具包使用

首先,运行

sudo chmod 777 ./*

赋予权限

其次,运行

./myInstall.sh

安装程序

所有需要修改的参数在var.sh里修改 temp.sh用来临时运行一些脚本
其他对应的sh文件即为名字对应的功能

SJTU HPC快速入门——以Ubuntu系统使用Openfoam为例

更新时间:2021.12.23

一、基本认识

1、学校的超算系统主要有三个功能:登录查看,上传下载和运行脚本

2、如未接触过Linux系统,建议先学习Linux操作系统基本命令,可参考

https://zhuanlan.zhihu.com/p/36801617

3、一些资料

π 实时利用率:https://account.hpc.sjtu.edu.cn/top
用户文档:https://docs.hpc.sjtu.edu.cn
计费系统 (HPC 账号登陆):https://account.hpc.sjtu.edu.cn
充值记录和方法 (jAccount 登陆):https://net.sjtu.edu.cn/wlfw/tyzd.htm
HPC 网站:https://hpc.sjtu.edu.cn
公众号/视频号:交我算
超算用户简明手册:https://docs.hpc.sjtu.edu.cn/_static/hpcbriefmanual.pdf

4、注意事项

交大计算平台严禁用于涉密课题 cpu, small 和 dgx2 队列上的作业运行时间最长 7 天
若预计超过 7 天,需提前两个工作日发邮件告知作业 ID,以便延长时间
存储超过 3T 后,按天计费
机时费缴纳问题,请联系交大网络信息中心基础部王老师,电话 34206060-8011,邮箱 [email protected]
使用中若遇到问题,请将用户名、作业 ID、路径、作业脚本名,邮件发至 [email protected]

5、费用标准(大致)

类型 费用
debug 免费
cpu/small/arm 0.05元/核时(其他cpu队列0.1元/核时)
存储空间 16.6元/TB/月
GPU 1~4元/卡时

二、登录查看

1、两种登录方法

登陆方法一(浏览器直接登录)
https://studio.hpc.sjtu.edu.cn
可以进行可视化操作,如查看运行任务,文件管理,云端shell,云端软件或桌面等。

登陆方法二(SSH 登录)
登陆节点:login.hpc.sjtu.edu.cn
登陆端口:22
(不要在登录节点进行大量计算和上下传,包括大量文件删除,环境编译等,可以使用debug队列提交脚本运行,环境编译时间较长(>20min)使用small队列)

2、ssh具体登录方式

修改var.sh内对应的用户名user和密码password,保存后运行

./login.sh

3、登录后操作——了解HPC组成

https://docs.hpc.sjtu.edu.cn/system/index.html

4、登录后操作——tmux终端后台挂载

https://docs.hpc.sjtu.edu.cn/login/index.html#tmux

5、登录后操作——文件管理

使用Linux操作了解登录位置,创建自己的文件夹,不要动同账号下别人的文件夹。
建议使用VScode远程ssh操作
https://code.visualstudio.com/docs/remote/ssh

三、上传下载

应当使用data节点 data.hpc.sjtu.edu.cn 上传下载。

1、文件上传

修改var.sh内对应的上传文件夹local_upload_dir和目标文件夹remote_dir,保存后运行

./upload.sh

2、文件下载

修改var.sh内对应的上传文件夹local_download_dir和目标文件夹remote_dir,保存后运行

./download.sh

3、tmux本地实时同步下载

修改var.sh内对应的tmux窗口名tmux_shell,保存后运行

./tmux_new.sh

修改var.sh内对应的上传文件夹local_download_dir、目标文件夹remote_dir和并发下载线程数num_worker,保存后运行

./always_download.sh
建议使用一个本地文件夹存放运行脚本和参数文件,使用另一个容量足够的硬盘或另一个文件夹同步结果,因为通常结果文件较大,如果二次修改同步较慢
建议一个工况使用一个后台下载同步,使用的是更新同步,会覆盖旧文件
不建议超过10个线程并发

四、运行脚本

基本超算操作请参考:
https://docs.hpc.sjtu.edu.cn/job/index.html

Openfoam等软件请参考:
https://docs.hpc.sjtu.edu.cn/app/engineeringscience/openfoam.html

五、Ubuntu工具包&VSCode

组里可以使用编写的Ubuntu工具包,给出了上述常用的功能。
推荐使用VSCode编写代码并进行Git版本管理,内置terminal运行,以及SSH远程调试。

sjtu_hpc_tools's People

Contributors

universalhenry avatar

Watchers

James Cloos avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.