release 2022-09版本 新版本功能

[data-infra]

1、部署：

• 更新：简化istio部署模式为istiod 模式 1.14.1版本，取代1.3.1版本中运维组件太多的问题。在k8s 1.21之上，部署1.15版本istio

• 更新：修正istio gateway部署端口重复问题，支持非80端口的网关入口

# 添加代理80端口的gateway，需要在istio-ingressgateway 的相关配置中打开80端口
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: kubeflow-gateway
  namespace: kubeflow
spec:
  selector:
    istio: ingressgateway         # pod的label
  servers:
  - hosts:
    - '*'
    port:
      number: 80        # svc服务的外部端口，会对应在ingressgateway的容器内启动svc的目标端口，但无法启动80和443内部端口，所以要先修改svc的目标端口，再创建gateway。（也会监听svc目标端口变化进行更改）
      protocol: HTTP   # HTTP协议在第一个创建时就有端口(80端口可能受限)开启，第二个会vs才启动，
---
# 添加代理8080端口的gateway，需要在istio-ingressgateway 的相关配置中打开8080端口
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: kubeflow-gateway-8080
  namespace: kubeflow
spec:
  selector:
    istio: ingressgateway
  servers:
  - hosts:
    - '*'
    port:
      number: 8080
      protocol: HTTP       # TCP 协议需要vs tcp match 端口后才会开启

• 更新：合并命名空间

istio-system：sitio网关和控制面
kubeflow：nni/frameworkcontrolle，kfp/argo，training-operator/spark-operator/paddle-controller-manager，volcano
monitoring：监控体系
infra：cube-studio组件
pipeline：用户任务
service：用户服务
jupyter：用户notebook
automl：用户automl任务

• 更新：prometheus部署，grafana看板

apiVersion: monitoring.coreos.com/v1
kind: Prometheus
metadata:
  labels:
    prometheus: k8s
  name: k8s
  namespace: monitoring
spec:
  alerting:
    alertmanagers:
    - name: alertmanager-main
      namespace: monitoring
      port: web
  image: quay.io/prometheus/prometheus:v2.27.1
  replicas: 1
  retention: 3d
  resources:
    requests:
      memory: 400Mi

• 合并部署tfjob/pytorchjob/mpijob/mxnetjob合并到train-operator

• 减少部署镜像

install/kubernetes/all_image.py，如果内网部署，全部拉取

# images = kubeflow + kubernetes_dashboard + new_pipline + new_gpu + new_prometheus + istio+ volcano + kube_batch + nni+ cube_studio
images = kubeflow + kubernetes_dashboard + new_pipline + new_gpu + new_prometheus + istio + volcano + nni

• 支持k8s 1.20，1.21，1.22等版本

修改crd配置，部分组件版本，代码

2、平台：

• 优化前端ui风格，修正前端构建方法

• 支持前后端独立部署方式

virtual service 代理到前端，前端nginx代理到后端

• 新增离线表

• 指标

• 维表

管理远程表

• 数据集

• 数据etl

需要对接调度平台

• 模型管理功能

一键发布到服务

• 修改水印和pipeline跳转链接

后端接口，控制重定向

• 禁用jupyter的xsrf和网关请求大小限制

上传下载中，或使用过程中的一些报错

• 支持k8s共享内存的自动挂载。

volumes:
    - name: tz-config
      hostPath:
        path: /usr/share/zoneinfo/Asia/Shanghai
        type: ''
    - name: dshm
      emptyDir: {}

      ...

      volumeMounts:
        - name: tz-config
          mountPath: /etc/localtime
        - name: dshm
          mountPath: /dev/shm

• 补充coredns的配置，支持内网特殊dns解析

内网host解析，使用coredns配置。

apiVersion: v1
data:
  Corefile: |
    .:53 {
        errors
        health {
          lameduck 5s
        }
        ready
        kubernetes cluster.local in-addr.arpa ip6.arpa {
          pods insecure
          fallthrough in-addr.arpa ip6.arpa
        }
        prometheus :9153
        forward . "/etc/resolv.conf"
        cache 30
        loop
        reload
        loadbalance
    }
    oa.com:53 {
      errors
      cache 30
      hosts {
        1.1.1.1    example1.oa.com
        2.2.2.2    example2.oa.com
        fallthrough
      }
      forward . 4.4.4.4 5.5.5.5
    }
kind: ConfigMap
metadata:
  name: coredns
  namespace: kube-system

• 添加全局用户pod的监控，添加用户任务资源占用监控，修正部分监控页面打开bug

• 添加推理服务sidecar功能，支持ip端口形式的流量监控。

• 添加服务的帮助链接

• 支持右侧菜单自定义配置，添加bug report链接

• 支持多集群下，不同泛域名

• 添加支持bigdata machinelearning deeplearning版本jupyter，

• 支持ssh直连notebook，支持notebook中hadoop，spark，flink数据分析

• 支持notebook中hadoop，spark，flink数据分析

• 添加支持服务部署中内外双网卡和单域名模式

• 添加支持密码修改,支持跨域共享cookie认证，和ifram嵌入跨域问题,

@app.after_request
def myapp_after_request(resp):
    try:
        if g.user and g.user.username:

            resp.set_cookie('myapp_username', g.user.username,domain=conf.get('COOKIE_DOMAIN',None) if conf.get('COOKIE_DOMAIN',None) else None)  # 设置用户信息传递

• 增加任务跳过功能，增加项目组切换后，挂载自动补充

• 添加数据集/模型/推理/内部服务/模板/pipeline示例，添加chatbot/cartoonize/openpose/face/yolo/wenet等内部服务示例，添加triton/tfserving/torchserver镜像构建和推理demo

• 添加mpi/spark-serverless/horovod/paddle/mxnet/tfjob-k8s/分布式训练，添加hadoop模板，支持spark任务提交，添加ner中文实体识别模板，修正模板的使用说明和参数说明，

• github补充wiki，代码规范升级,修正数个isues bug

去除无效引用，https://github.com/tencentmusic/cube-studio/wiki

3、aihub:

• 平台添加aihub 应用市场查看

• 开源aihub python sdk

• 深度学习，添加算法模型animegan,ddddocr,deoldify,detectron2,face-paint,gfpgan,humanseg,paddleocr,panoptic,stable-diffusion,yolov3

• 传统机器学习，添加算法示例

AdaBoost,Bayesian,CRF,CatBoost,FM,HMM,LDA,MCMC,MEM,PCA,SVD,SVM,decision_tree,gbdt,kmean,knn,lightGBM,linear_regression,logistic_regression,neural_networks,random_forest,xgboost,关联分析,最小生成树,极大似然估计,聚类,集成学习