rianico / rianico.github.io Goto Github PK

https://rianico.github.io/2019/06/26/docker-hexo-git%E6%90%AD%E5%BB%BA%E4%B8%AA%E4%BA%BABlog/

前置准备： 一个git账号 docker基础知识 一台Linux云服务器（其实本地windows也行，只不过较为麻烦，第二节有提到windows如何搭建docker的文章） 0x01_搭建hexo初始模板 首先创建一个hexo项目。12345678910# 以epel方式安装nodejsyum install -y epel-release && yum install -

https://rianico.tech/2019/07/25/Scala-try-with-resources/

本文主要针对Scala: try-with-resources进行一些记录，加上个人的理解。文章介绍了scala中对异常的捕获常见的几个误区，主要有以下几点： 0x00_Mistake 1: swallow exception in finally123456val file: InputStream = _try { // read from stream} finally

https://rianico.github.io/2019/09/06/ARTS-Review/

0x01_9 tips about using cats in Scala you might want to know9 tips about using cats in Scala you might want to know 此篇主要是介绍了scala的9个tips，主要是一些实际工程中较好的实践，但是本人目前英文水平尚浅，scala又较难，只能看到一些比较表面的东西，值得时不时的回顾。sc

https://rianico.github.io/2019/09/06/ARTS-Algorithm/

0x01- 两数之和 两数之和 给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。 你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0

https://rianico.tech/2019/11/09/%E8%B4%A3%E4%BB%BB%E9%93%BE%E6%A8%A1%E5%BC%8F%EF%BC%88Java-Scala%EF%BC%89/

1. 介绍责任链模式（Chain of Responsibility）：是由一个源输入以及一系列处理器组成的，在责任链中的每一个处理对象都主要负责一种特定类型的指令，一旦处理完成，则会将其传递给下一个处理对象，如图： 责任链模式主要有利于： 对指令中的发送者和接收者进行解耦 抽象非核心部分，以链式调用的方式对源输入进行处理 标准的责任链模式有以下几个特点： 需要先定义源输入（往往是业务核心

https://rianico.tech/2020/05/03/Java-%E5%A4%9A%E7%BA%BF%E7%A8%8B%E6%83%85%E5%86%B5%E4%B8%8B-while-loop-%E6%9D%A1%E4%BB%B6%E7%9A%84%E9%80%80%E5%87%BA/

这几天在掘金上看到一篇很有意思的文章【编程玄学】一个困扰我122天的技术问题，我好像知道答案了。 里面提及到一段代码：

https://rianico.tech/2020/04/29/Spark-%E6%B6%88%E8%B4%B9-Kafka-%E9%97%B4%E6%AD%87%E6%80%A7%E6%96%AD%E5%BC%80%E5%AF%BC%E8%87%B4%E6%B6%88%E8%B4%B9%E7%BC%93%E6%85%A2/

1. 背景最近新部署了一个新版本（spark-core_2.11-2.1.0.cloudera1）的 Spark Streaming 作业，发现在消费 Kafka 阶段时快时慢，如下：

https://rianico.tech/2019/11/10/Scala%E4%B8%AD%E7%9A%84%E5%B0%BE%E9%80%92%E5%BD%92/

1. 尾调用若函数的最后一步为纯粹的函数调用，则称之为尾调用。 例如： 1234567891011// 场景一def f(x: Int): Int = { if (x == 0) return x return f(x - 1)}// 场景二def f(x: Int): Int = { if (x == 0) return x return 1 * f(x -1)&#

https://rianico.tech/2019/10/29/Kafka-mirror-maker%E5%8F%82%E6%95%B0%E8%B0%83%E4%BC%98/

Kafka Mirror Maker，可以把一个kafka集群中的log复制到另一个kafka集群，架构图如下： 从图中可以看出，Kafka Mirror Maker本质上是通过Consumer消费一个Kafka集群，再通过Producer将数据送往另一个集群的，因此调优的核心在于调整好Producer以及Consumer。 1. Whitelist or blacklistKafka Mirr

https://rianico.github.io/2019/08/18/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%9F%B3--Lecture4_Learning-is-Impossible/

Learning is Impossible?考虑一个例子，根据黑白格子的分布，来确定一个二分类问题，判断$g(x)$为+1还是-1。 由于一种现象可能存在多种解释，所以往往没有一个确定的答案，这时，我们可以说在机器学习中，无论使用了怎样的算法，机器都无法从资料中学到任何东西。 再看一个数学上的二分类例子，其中特征$\mathcal{X}={0,1}^{3}$，$\mathcal{Y}={$O,

https://rianico.tech/2019/10/19/%E7%90%86%E8%A7%A3Java%E4%B8%AD%E7%9A%84Enum/

枚举类型在JDK1.5开始出现，可以将一组类似的值包含到一种类型中，枚举类型的名称会被定义成独一无二的类型描述符（即变量名的名称可以说是类型），对比常量类型，枚举类型可以为申明的变量提供更大的取值范围。

https://rianico.github.io/2019/09/11/Idea-Maven-Git%E6%90%AD%E5%BB%BASpark%E6%BA%90%E7%A0%81%E9%98%85%E8%AF%BB%E7%8E%AF%E5%A2%83/

0x00_环境准备搭建环境时本地各组件的版本： Idea：IntelliJ IDEA 2018.2.4 (Ultimate Edition)，请确保安装了scala插件 JDK：jdk1.8.0_181 Scala：2.11.8 Maven：apache-maven-3.5.4，已配置阿里云国内镜像。 Git 0x01_Git拉取Spark项目首先使用Git拉取官方Spark项目，githu

https://rianico.tech/2020/02/14/GC%E6%97%A5%E5%BF%97%E7%9A%84%E7%9B%B8%E5%85%B3%E5%8F%82%E6%95%B0/

此处主要记录一些打印GC日志的相关参数及输出日志的含义，全文以下面代码为例： 12345678910111213141516171819202122232425262728public class Application { private static Map<String, String> stringContainer = new HashMap<>

https://rianico.github.io/2019/09/07/ARTS-Tip/

0x01Scala隐式转换使用隐式转换对类的功能进行拓展，通常可以用于扩展第三方类的方法（如添加show()展示元素），而无需派生（extends、with等）出新的类型。以拓展String类型为例，将String作为入参（其他类型同理），通常使用隐式扩展功能，要么返回一个已定义的class（spark源码使用的方式），要么隐式定义一个新的class，如下： 1234567891011121314

https://rianico.tech/2019/10/19/Spark%E5%BA%94%E7%94%A8%E6%8C%87%E5%AE%9AHadoop%E5%AE%9E%E9%99%85%E6%93%8D%E4%BD%9C%E7%94%A8%E6%88%B7%EF%BC%88%E9%9D%9E%E5%AE%89%E5%85%A8%E7%8E%AF%E5%A2%83%E4%B8%8B%EF%BC%89/

在集群执行spark-shell --master yarn的时候，由于集群机器上的spark安装文件属于root用户，而HDFS文件系统上的用户名又是hdfs，因此无法使用sudo -u hdfs来使用hdfs用户启动spark，而使用root用户启动在对HDFS进行读写操作时候会出现权限问题

https://rianico.tech/2019/08/11/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%9F%BA%E7%9F%B3-lecture3-Learning-with-Different-Output-Space/

Learning with Different Output Space根据输出空间来分，通常可以划分为分类（classicfication）与回归（regression）两大类，其中分类通常又可以分为二分类与多分类。除此之外，还有结构化学习，这里一类型的输出数据之间存在着结构化的关系（如语音->句子等）。 对于区分是与否的问题，通常称为binary Classification（二元分类）

https://rianico.tech/2019/12/03/Linux%E9%9B%B6%E6%8B%B7%E8%B4%9D%E5%AE%9E%E7%8E%B0/

1. I/O中断与DMACPU访问外部数据分为I/O 中断方式与DMA方式（Direct Memory Access，直接内存访问）。 I/O 中断：外部存储设备（e.g. 磁盘，键盘，鼠标）采用中断方式主动通知CPU，CPU中断响应一次，拷贝数据到内核缓冲区，再拷贝到用户缓冲区，CPU全程参与。这样就会有上下文切换的开销以及CPU拷贝的时间，频繁的中断会让人感觉操作系统响应缓慢。 DMA