Job Reader
https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md

关于分片这里有一个可供参考的计算方法ReaderSplitUtil
public class DemoReader extends Reader{
// job
// 需要实现的方法有
// split(int i) 分片方法
// init() 初始化
// destroy() 销毁
public static class Job extends Reader.Job{
private Configuration originalConfig;
@Override
public List<Configuration> split(int i) {
return null;
}
@Override
public void init() {
this.originalConfig = this.getPluginJobConf();
}
@Override
public void destroy() {
}
}
// Task
// 需要实现的方法
// startRead(RecordSender recordSender) reader的开始方法
// 这里会生成Record 送往Writer
// init() 初始化
// destroy() 销毁
public static class Task extends Reader.Task {
private Configuration readerSliceConfig;
@Override
public void startRead(RecordSender recordSender) {
Record record = recordSender.createRecord();
//
Column column = new StringColumn("");
record.addColumn(column);
recordSender.sendToWriter(record);
}
@Override
public void init() {
this.readerSliceConfig = super.getPeerPluginJobConf();
// init
}
@Override
public void destroy() {
}
}
}